Делить текст с сохранением смысла
Делить текст с сохранением смысла — RAG с локальными embeddings. Начать с полных разделов; Сохранить chunks.mjs; Измерить до перекрытия. Практическое задание: Доказательства лабораторной работы.
Демо-версия. Материалы проходят редакторскую проверку.
Что рассмотрим
- Начать с полных разделов
- Сохранить chunks.mjs
- Измерить до перекрытия
Начать с полных разделов
В небольшом корпусе документ может быть одним фрагментом. Для крупных источников нужны границы разделов: отделение условия от исключения меняет смысл.
RAG передаёт выбранные фрагменты модели во время ответа. Он не переобучает модель и не делает каждый ответ правильным. В работе используются вымышленные правила мастерской в обычном тексте, чтобы механика поиска была видна. Храните вместе идентификаторы документа, ревизии и фрагмента. Похожий фрагмент старой политики может быть хуже отсутствия результата, поскольку создаёт ложное ощущение надёжного подтверждения.
Сохранить chunks.mjs
Создайте стабильные ID фрагментов и скопируйте ревизию источника в каждую запись. Этот простой вариант намеренно сохраняет короткие учебные документы целыми.
ID фрагмента ссылается на сохранённый текст, не позднее вымышленное резюме. После смены границ перестройте ID и индекс вместе. Иначе старая цитата откроет настоящий фрагмент, но с другим содержанием, чем использованное при создании ответа.
Сохраняйте примеры в названных .mjs-файлах и запускайте из одного учебного каталога. Для документа и запроса используйте одну embedding-модель: векторы разных моделей или размерностей не взаимозаменяемы. Храните точный текст рядом с вектором. Перестраивайте индекс после изменения текста, границ фрагментов или модели, не смешивая несовместимые старые и новые записи. Перед сравнением сохраните прежнюю версию индекса и тестовые запросы.
import {docs} from './corpus.mjs';
export const chunks=docs.map(d=>({id:d.id+'-r'+d.revision+'-c1',docId:d.id,revision:d.revision,text:d.text}));
console.log(chunks);
Измерить до перекрытия
Перекрытие повторяет контекст и увеличивает хранилище и запрос. Добавляйте его после обнаруженной потери доказательств на границах; убирайте повторы перед генерацией.
Перед изменением запроса генерации изучите найденные фрагменты. Если нужного факта нет, более уверенный генератор не исправит поиск. Для каждого вопроса запишите ID фрагментов, оценки и ожидаемое доказательство. Оценки сходства зависят от embedding-настроек и не являются вероятностью истинности утверждения. Предусмотрите явный отказ без доказательств и проверяйте цитирование по сохранённому тексту, а не названию документа или ответу модели.
Практическое задание
Доказательства лабораторной работы
Перейти к обучению