Бесплатный урок

Создать прослеживаемый корпус

Создать прослеживаемый корпус — RAG с локальными embeddings. Выбрать вопросы с ответами; Сохранить corpus.mjs; Зафиксировать ожидаемые доказательства. Практическое задание: Доказательства лабораторной работы.

Демо-версия. Материалы проходят редакторскую проверку.

Что рассмотрим

  • Выбрать вопросы с ответами
  • Сохранить corpus.mjs
  • Зафиксировать ожидаемые доказательства

Выбрать вопросы с ответами

Используйте два вымышленных документа правил. Спросите об отмене и инструментах; добавьте отсутствующую тему парковки для проверки отказа.

RAG передаёт выбранные фрагменты модели во время ответа. Он не переобучает модель и не делает каждый ответ правильным. В работе используются вымышленные правила мастерской в обычном тексте, чтобы механика поиска была видна. Храните вместе идентификаторы документа, ревизии и фрагмента. Похожий фрагмент старой политики может быть хуже отсутствия результата, поскольку создаёт ложное ощущение надёжного подтверждения.

Сохранить corpus.mjs

Каждому документу нужны стабильный ID, ревизия и текст. Они образуют цепочку доказательств; имена файлов могут измениться при копировании.

Корпус намеренно мал для ручного обзора. До индексации укажите точное предложение ответа на каждый поддержанный вопрос. Если документы противоречат, сначала определите текущую ревизию или полномочность: векторное сходство не решает, какое правило организации действует сейчас.

Сохраняйте примеры в названных .mjs-файлах и запускайте из одного учебного каталога. Для документа и запроса используйте одну embedding-модель: векторы разных моделей или размерностей не взаимозаменяемы. Храните точный текст рядом с вектором. Перестраивайте индекс после изменения текста, границ фрагментов или модели, не смешивая несовместимые старые и новые записи. Перед сравнением сохраните прежнюю версию индекса и тестовые запросы.

export const docs=[{id:'policy',revision:1,text:'Cancellation requires 48 hours notice. Refunds use the original payment method.'},{id:'tools',revision:1,text:'The workshop supplies clay tools. Participants bring a washable apron.'}];

Зафиксировать ожидаемые доказательства

Запишите эталонные доказательства до индексации. Отмена должна вести к policy, фартук — к tools. Для парковки подтверждающего документа нет.

Перед изменением запроса генерации изучите найденные фрагменты. Если нужного факта нет, более уверенный генератор не исправит поиск. Для каждого вопроса запишите ID фрагментов, оценки и ожидаемое доказательство. Оценки сходства зависят от embedding-настроек и не являются вероятностью истинности утверждения. Предусмотрите явный отказ без доказательств и проверяйте цитирование по сохранённому тексту, а не названию документа или ответу модели.

export const tests=[{q:'How much cancellation notice?',doc:'policy'},{q:'What should I bring?',doc:'tools'},{q:'Is parking free?',doc:null}];

Практическое задание

Доказательства лабораторной работы

Перейти к обучению

Программа курса

  1. Создать прослеживаемый корпус
  2. Делить текст с сохранением смысла
  3. Получить и сохранить локальные векторы
  4. Найти и изучить ранжированные доказательства
  5. Создать ответы с проверенным цитированием
  6. Оценить поиск и поддерживать индекс