Отделить знания, поиск и model-adapter
Отделить знания, поиск и model-adapter — Создать и передать небольшой частный AI-портал. Модули с видимыми границами; Контролируемый lexical retrieval; Adapter с честным названием режима. Практическое задание: Отделить знания, поиск и model-adapter.
Демо-версия. Материалы проходят редакторскую проверку.
Что рассмотрим
- Модули с видимыми границами
- Контролируемый lexical retrieval
- Adapter с честным названием режима
Модули с видимыми границами
Создай модули без запуска незавершённого сервера. knowledge.json — данные, knowledge.mjs поиск, model.mjs adapter, service.mjs контракт, app.mjs HTTP, server.mjs запуск. public только UI. Это позволяет тестировать retrieval без browser и менять adapter без секретов frontend. Model получает только отобранные passages, не весь knowledge. Сначала фильтр прав, затем релевантность, иначе приватный заголовок утечёт через список/citation. Трём документам достаточно JSON, vector database ради слова RAG не нужна. Большому набору нужны индексы, но доступ проверяется до passages. README описывает начальную архитектуру без обещания масштаба. Ни один модуль не должен принимать пользовательский путь к произвольному серверному файлу.
portal-lab/
knowledge.json
knowledge.mjs
model.mjs
auth.mjs
service.mjs
app.mjs
server.mjs
public/index.html
public/app.js
test/app.test.mjs
Контролируемый lexical retrieval
Сохрани knowledge.mjs. visible выбирает своё/shared, retrieve проверяет явные docIds одинаковым404 для чужих и отсутствующих. Потом токены от трёх символов и несколько stopwords. Это учебный lexical search, не semantic: receipt найдёт receipt, refund может не найти returns. Максимум два passages по500 с version/source без owner. Обрезка может терять смысл, большому набору нужен chunking. Короткий fixture не обрезается. Проверь payroll→[] и Alice+budget→404 с явным ID. Нет совпадения не доказывает отсутствие ответа в мире, только в этом разрешённом retrieval. Функция не читает файлы по пользовательскому пути, набор docs передаётся backend из известного файла.
// knowledge.mjs
export const visible = (docs,user) => docs.filter(d => d.owner===user || d.owner==="shared");
const words = text => (text.toLowerCase().match(/[\p{L}\p{N}]+/gu) ?? []);
export function retrieve(docs,user,question,docIds) {
const allowed = visible(docs,user);
let selected = allowed;
if (docIds !== undefined) {
if (!Array.isArray(docIds) || docIds.length<1 || docIds.length>2 || docIds.some(id=>typeof id!=="string"))
throw Object.assign(new Error("BAD_DOCUMENT_SELECTION"),{status:400});
if (docIds.some(id=>!allowed.some(d=>d.id===id)))
throw Object.assign(new Error("DOCUMENT_NOT_FOUND"),{status:404});
selected = allowed.filter(d=>docIds.includes(d.id));
}
const stop = new Set(["the","and","what","does","how","for","with"]);
const terms = [...new Set(words(question).filter(t=>t.length>=3 && !stop.has(t)))];
return selected.map(d=>({d,score:terms.filter(t=>new Set(words(d.text)).has(t)).length}))
.filter(x=>x.score>0).sort((a,b)=>b.score-a.score || a.d.id.localeCompare(b.d.id))
.slice(0,2).map(({d})=>({id:d.id,title:d.title,version:d.version,source:d.source,text:d.text.slice(0,500)}));
}
Adapter с честным названием режима
Сохрани model.mjs как детерминированный extractive adapter. Нет сети и ответов вне passages: возвращает разрешённые предложения/citations. Проверяет UI, contract, access boundary. Не сравнивай с LLM по скорости/пониманию — генерации нет. Пустые passages дают insufficient_sources. Инструкция документа «открой файлы» остаётся текстом: инструментов нет. При будущей локальной модели сохрани интерфейс, разрешённый контекст, отдельно оцени качество/injection. Valid citation ID не доказывает истинность генерации. В stub цитата извлечена буквально, но fixture/version всё равно важны. Показывай mode пользователю рядом с ответом, чтобы тестовый результат не выглядел продуктовой AI-функцией с неподтверждёнными возможностями.
// model.mjs
export async function answerWithModel({passages}) {
if (!passages.length) return {status:"insufficient_sources",text:"No supporting source.",citations:[],mode:"stub-extractive"};
return {status:"answered",text:passages.map(p=>p.text).join("\n"),
citations:passages.map(p=>({id:p.id,version:p.version,source:p.source})),mode:"stub-extractive"};
}
Практическое задание
Отделить знания, поиск и model-adapter
Перейти к обучению