Бесплатный урок

Делить текст с сохранением смысла

Делить текст с сохранением смысла — RAG с локальными embeddings. Начать с полных разделов; Сохранить chunks.mjs; Измерить до перекрытия. Практическое задание: Доказательства лабораторной работы.

Демо-версия. Материалы проходят редакторскую проверку.

Что рассмотрим

  • Начать с полных разделов
  • Сохранить chunks.mjs
  • Измерить до перекрытия

Начать с полных разделов

В небольшом корпусе документ может быть одним фрагментом. Для крупных источников нужны границы разделов: отделение условия от исключения меняет смысл.

RAG передаёт выбранные фрагменты модели во время ответа. Он не переобучает модель и не делает каждый ответ правильным. В работе используются вымышленные правила мастерской в обычном тексте, чтобы механика поиска была видна. Храните вместе идентификаторы документа, ревизии и фрагмента. Похожий фрагмент старой политики может быть хуже отсутствия результата, поскольку создаёт ложное ощущение надёжного подтверждения.

Сохранить chunks.mjs

Создайте стабильные ID фрагментов и скопируйте ревизию источника в каждую запись. Этот простой вариант намеренно сохраняет короткие учебные документы целыми.

ID фрагмента ссылается на сохранённый текст, не позднее вымышленное резюме. После смены границ перестройте ID и индекс вместе. Иначе старая цитата откроет настоящий фрагмент, но с другим содержанием, чем использованное при создании ответа.

Сохраняйте примеры в названных .mjs-файлах и запускайте из одного учебного каталога. Для документа и запроса используйте одну embedding-модель: векторы разных моделей или размерностей не взаимозаменяемы. Храните точный текст рядом с вектором. Перестраивайте индекс после изменения текста, границ фрагментов или модели, не смешивая несовместимые старые и новые записи. Перед сравнением сохраните прежнюю версию индекса и тестовые запросы.

import {docs} from './corpus.mjs';
export const chunks=docs.map(d=>({id:d.id+'-r'+d.revision+'-c1',docId:d.id,revision:d.revision,text:d.text}));
console.log(chunks);

Измерить до перекрытия

Перекрытие повторяет контекст и увеличивает хранилище и запрос. Добавляйте его после обнаруженной потери доказательств на границах; убирайте повторы перед генерацией.

Перед изменением запроса генерации изучите найденные фрагменты. Если нужного факта нет, более уверенный генератор не исправит поиск. Для каждого вопроса запишите ID фрагментов, оценки и ожидаемое доказательство. Оценки сходства зависят от embedding-настроек и не являются вероятностью истинности утверждения. Предусмотрите явный отказ без доказательств и проверяйте цитирование по сохранённому тексту, а не названию документа или ответу модели.

Практическое задание

Доказательства лабораторной работы

Перейти к обучению

Программа курса

  1. Создать прослеживаемый корпус
  2. Делить текст с сохранением смысла
  3. Получить и сохранить локальные векторы
  4. Найти и изучить ранжированные доказательства
  5. Создать ответы с проверенным цитированием
  6. Оценить поиск и поддерживать индекс