Безкоштовний урок

Ділити текст зі збереженням змісту

Ділити текст зі збереженням змісту — RAG з локальними embeddings. Почати з повних розділів; Зберегти chunks.mjs; Виміряти перед перекриттям. Практичне завдання: Докази лабораторної роботи.

Демо-версія. Матеріали проходять редакторську перевірку.

Що розглянемо

  • Почати з повних розділів
  • Зберегти chunks.mjs
  • Виміряти перед перекриттям

Почати з повних розділів

У малому корпусі документ може бути одним уривком. Для великих джерел потрібні межі розділів: відрив умови від винятку змінює зміст.

RAG передає вибрані уривки моделі під час відповіді. Він не перенавчає модель і не робить кожну відповідь правильною. У роботі використано вигадані правила майстерні у звичайному тексті, щоб механіка пошуку була видимою. Зберігайте разом ідентифікатори документа, ревізії та уривка. Схожий уривок зі старої політики може бути гіршим за відсутність результату, бо створює хибне відчуття надійного підтвердження.

Зберегти chunks.mjs

Створіть сталі ID уривків і скопіюйте ревізію джерела в кожен запис. Цей простий варіант навмисно зберігає короткі навчальні документи цілими.

ID уривка посилається на збережений текст, а не пізніше вигаданий підсумок. Після зміни меж перебудуйте ID та індекс разом. Інакше стара цитата відкриє справжній уривок, але з іншим змістом, ніж той, на якому створили відповідь.

Зберігайте приклади в названих .mjs-файлах і запускайте з одного навчального каталогу. Для документа й запиту використовуйте одну embedding-модель: вектори різних моделей або розмірностей не взаємозамінні. Зберігайте точний текст поруч із вектором. Перебудовуйте індекс після зміни тексту, меж уривків або моделі, не змішуючи несумісні старі та нові записи. Перед порівнянням збережіть попередню версію індексу й тестові запити.

import {docs} from './corpus.mjs';
export const chunks=docs.map(d=>({id:d.id+'-r'+d.revision+'-c1',docId:d.id,revision:d.revision,text:d.text}));
console.log(chunks);

Виміряти перед перекриттям

Перекриття повторює контекст і збільшує сховище та запит. Додавайте його після виявленої втрати доказів на межах; прибирайте повтори перед генерацією.

Перш ніж змінювати запит генерації, огляньте знайдені уривки. Якщо потрібного факту немає, впевненіший генератор не виправить пошук. Для кожного питання запишіть ID уривків, оцінки та очікуваний доказ. Оцінки схожості залежать від embedding-налаштувань і не є ймовірністю правдивості твердження. Передбачте явну відмову без доказів і перевіряйте цитування за збереженим текстом, а не за назвою документа чи відповіддю моделі.

Практичне завдання

Докази лабораторної роботи

Перейти до навчання

Програма курсу

  1. Створити простежуваний корпус
  2. Ділити текст зі збереженням змісту
  3. Отримати й зберегти локальні вектори
  4. Знайти й оглянути ранжовані докази
  5. Створити відповіді з перевіреним цитуванням
  6. Оцінити пошук і підтримувати індекс