Відокремити знання, пошук і model-adapter
Відокремити знання, пошук і model-adapter — Створити й передати малий приватний AI-портал. Модулі з видимими межами; Контрольований lexical retrieval; Adapter із правдивою назвою режиму. Практичне завдання: Відокремити знання, пошук і model-adapter.
Демо-версія. Матеріали проходять редакторську перевірку.
Що розглянемо
- Модулі з видимими межами
- Контрольований lexical retrieval
- Adapter із правдивою назвою режиму
Модулі з видимими межами
Створи файли за схемою, але не запускай незавершений сервер. knowledge.json — дані, knowledge.mjs — дозволений пошук, model.mjs — adapter, service.mjs — контракт відповіді, app.mjs — HTTP, server.mjs — запуск. public містить лише UI. Такий поділ дає змогу тестувати retrieval без browser і міняти adapter без передачі секретів у frontend. У модулі model немає доступу до всієї knowledge: він отримує лише відібрані passages. Пошук спочатку відсіює чужі документи, потім оцінює релевантність. Інакше навіть заголовок приватного результату може витекти через список чи citation. Локальний JSON-набір достатній для трьох навчальних документів; не додавай vector database лише заради назви RAG. При більшому наборі будуть потрібні інші індекси, але та сама межа доступу має зберігатися до видачі passages. README має називати цю початкову архітектуру, а не обіцяти масштаб без тесту.
portal-lab/
knowledge.json
knowledge.mjs
model.mjs
auth.mjs
service.mjs
app.mjs
server.mjs
public/index.html
public/app.js
test/app.test.mjs
Контрольований lexical retrieval
Збережи код як knowledge.mjs. visible відбирає власні й shared документи; retrieve перевіряє явні docIds однаковою 404-відмовою для чужих і відсутніх. Потім шукає збіг токенів довжиною від трьох символів, відкидаючи кілька англійських службових слів. Це простий навчальний пошук, не semantic search і не гарантія розуміння синонімів. receipt знаходить receipt; refund без такого слова може не знайти returns. Повертаємо щонайбільше два passages по 500 символів із version/source, без owner. Обрізання може нести неповноту, тому реальний більший набір вимагатиме chunking зі зрозумілими межами. Для нашого короткого fixture нічого не відрізається. Перевір payroll→[] та Alice+budget→404 за явного docIds. Відсутній збіг не доводить, що відповіді у світі немає; лише що цей пошук не дав дозволеного джерела.
// knowledge.mjs
export const visible = (docs,user) => docs.filter(d => d.owner===user || d.owner==="shared");
const words = text => (text.toLowerCase().match(/[\p{L}\p{N}]+/gu) ?? []);
export function retrieve(docs,user,question,docIds) {
const allowed = visible(docs,user);
let selected = allowed;
if (docIds !== undefined) {
if (!Array.isArray(docIds) || docIds.length<1 || docIds.length>2 || docIds.some(id=>typeof id!=="string"))
throw Object.assign(new Error("BAD_DOCUMENT_SELECTION"),{status:400});
if (docIds.some(id=>!allowed.some(d=>d.id===id)))
throw Object.assign(new Error("DOCUMENT_NOT_FOUND"),{status:404});
selected = allowed.filter(d=>docIds.includes(d.id));
}
const stop = new Set(["the","and","what","does","how","for","with"]);
const terms = [...new Set(words(question).filter(t=>t.length>=3 && !stop.has(t)))];
return selected.map(d=>({d,score:terms.filter(t=>new Set(words(d.text)).has(t)).length}))
.filter(x=>x.score>0).sort((a,b)=>b.score-a.score || a.d.id.localeCompare(b.d.id))
.slice(0,2).map(({d})=>({id:d.id,title:d.title,version:d.version,source:d.source,text:d.text.slice(0,500)}));
}
Adapter із правдивою назвою режиму
Збережи model.mjs як детермінований extractive adapter. Він не робить мережевих викликів і не вміє відповідати поза passages; повертає самі дозволені речення й citations. Так можна перевірити UI, contract та access boundary. Не порівнюй цей режим з реальними LLM за швидкістю або «розумінням»: тут немає генерації моделі. Відсутні passages дають insufficient_sources, а не загальну відповідь. Документні інструкції на кшталт «відкрий інші файли» залишаються текстом: adapter взагалі не має таких інструментів. Якщо пізніше підключати локальну модель, збережи інтерфейс і передавай лише дозволений контекст; оцінюй якість і prompt injection окремо. Valid citation ID ще не доводить правдивість згенерованого твердження. Для поточного stub цитата буквально витягнута, але все одно перевіряй fixture й source version.
// model.mjs
export async function answerWithModel({passages}) {
if (!passages.length) return {status:"insufficient_sources",text:"No supporting source.",citations:[],mode:"stub-extractive"};
return {status:"answered",text:passages.map(p=>p.text).join("\n"),
citations:passages.map(p=>({id:p.id,version:p.version,source:p.source})),mode:"stub-extractive"};
}
Практичне завдання
Відокремити знання, пошук і model-adapter
Перейти до навчання