Suddividere senza perdere significato
Suddividere senza perdere significato — RAG con embedding locali. Partire da sezioni complete; Salvare chunks.mjs; Misurare prima della sovrapposizione. Esercitazione pratica: Prove del laboratorio.
Versione demo. I materiali sono in fase di revisione editoriale.
Argomenti trattati
- Partire da sezioni complete
- Salvare chunks.mjs
- Misurare prima della sovrapposizione
Partire da sezioni complete
Nel piccolo corpus un documento può essere un brano. Fonti grandi richiedono confini per sezioni: separare condizione ed eccezione cambia il significato.
RAG passa brani selezionati al modello durante la risposta. Non lo riaddestra e non rende corretto ogni risultato. Il laboratorio usa regole inventate in testo semplice per rendere visibile il recupero. Conserva insieme ID del documento, revisione e brano. Un passaggio simile ma obsoleto può essere peggiore di nessun risultato, perché crea una falsa impressione di conferma affidabile.
Salvare chunks.mjs
Crea ID stabili e copia la revisione in ogni riga. Questa implementazione mantiene volutamente interi i brevi documenti didattici.
Un ID identifica testo memorizzato, non un riassunto inventato successivamente. Quando cambiano i confini ricostruisci ID e indice insieme. Altrimenti una citazione vecchia può aprire un brano reale dal contenuto diverso da quello usato per la risposta.
Salva gli esempi nei file .mjs indicati ed eseguili dalla stessa cartella. Usa un unico modello per vettori di documenti e query: modelli o dimensioni differenti non sono intercambiabili. Conserva il testo esatto accanto al vettore. Ricostruisci l’indice quando cambiano testo, suddivisione o modello, senza mescolare righe incompatibili. Prima del confronto conserva indice precedente e query di valutazione.
import {docs} from './corpus.mjs';
export const chunks=docs.map(d=>({id:d.id+'-r'+d.revision+'-c1',docId:d.id,revision:d.revision,text:d.text}));
console.log(chunks);
Misurare prima della sovrapposizione
La sovrapposizione ripete contesto e aumenta memoria e prompt. Aggiungila quando i test mostrano prove perse ai confini; elimina duplicati prima della generazione.
Controlla i brani recuperati prima di modificare il prompt. Se il fatto manca, un generatore più sicuro non ripara il recupero. Registra ID, punteggi e prove attese per domanda. La similarità dipende dagli embedding e non è una probabilità di verità. Prevedi un ramo senza prove e verifica le citazioni sul testo memorizzato, non soltanto sul nome del documento.
Esercitazione pratica
Prove del laboratorio
Vai alla lezione