Estrarre testo e metadati
Estrarre testo e metadati — Assistente privato per PDF. Installare PDF.js consapevolmente; Salvare pages.mjs; Promuovere solo pagine verificate. Esercitazione pratica: Prove del laboratorio.
Versione demo. I materiali sono in fase di revisione editoriale.
Argomenti trattati
- Installare PDF.js consapevolmente
- Salvare pages.mjs
- Promuovere solo pagine verificate
Installare PDF.js consapevolmente
Nella cartella didattica inizializza npm e installa pdfjs-dist. Confronta i requisiti engine con Node e conserva il lockfile.
Un PDF conserva l’impaginazione, senza garantire frasi leggibili. Una scansione può non avere testo, una tabella può estrarsi nell’ordine errato e l’OCR può produrre errori plausibili. Qualità dell’ingestione, visibilità della fonte e ciclo dei documenti sono quindi requisiti del prodotto. Usa documenti inventati finché ogni pagina è riconducibile al file originale e verificabile manualmente.
// Terminal:
// npm init -y
// npm install pdfjs-dist
// node --version
// npm view pdfjs-dist engines
Salvare pages.mjs
Esegui l’estrattore su policy.pdf sintetico. Conserva i numeri anche per pagine vuote. Unire stringhe è una base; controlla manualmente l’ordine.
L’estrattore accetta un percorso: node pages.mjs policy.pdf oppure quello stampato dall’ingresso. Genera manifesti separati prima di unirli; sostituisci docId fisso con l’ID memorizzato del documento. Altrimenti file diversi produrranno riferimenti di pagina identici.
Il percorso output crea un manifesto per revisione; wx impedisce sovrascritture accidentali. Se esiste, ispezionalo e scegli un nuovo nome senza cancellare file estranei. Finally distrugge il loading task anche con errori di parsing, limite o scrittura. Un PDF respinto non diventa apparentemente un nuovo manifesto completato.
Elabora file sintetici in una cartella locale separata con limiti espliciti. Salva l’originale con un identificatore generato dall’app, non con un percorso fornito dall’utente. Mantieni un manifesto con stato, revisione e metodo per pagina. Il recupero del corso precedente usa solo testo approvato; un upload riuscito non rende automaticamente ogni byte indicizzabile o accessibile a qualsiasi utente.
import {readFile,writeFile} from 'node:fs/promises';
import {getDocument} from 'pdfjs-dist/legacy/build/pdf.mjs';
const data=new Uint8Array(await readFile(process.argv[2]??'policy.pdf'));
const task=getDocument({data,isEvalSupported:false});
try{
const pdf=await task.promise;
if(pdf.numPages>20)throw Error('Training page limit');
const docId=process.argv[3]??'policy';const revision=Number(process.argv[4]??1);
if(!/^[a-zA-Z0-9_-]+$/.test(docId)||!Number.isInteger(revision)||revision<1)throw Error('Document identity');
const pages=[];
for(let page=1;page<=pdf.numPages;page++){
const p=await pdf.getPage(page);const content=await p.getTextContent();
const text=content.items.map(x=>'str'in x?x.str:'').join(' ');
pages.push({docId,revision,page,text,status:text.trim()?'needs_review':'needs_ocr'});
}
await writeFile(process.argv[5]??'pages.json',JSON.stringify(pages,null,2),{flag:'wx'});
}finally{await task.destroy();}
// Usage: node pages.mjs policy.pdf policy 1 policy-r1.pages.json
Promuovere solo pagine verificate
Confronta la regola estratta con il PDF. Dopo verifica imposta ready; lascia needs_review per colonne o tabelle compromesse.
Prova un documento normale, una pagina immagine e un file da rifiutare. Tieni visibile l’originale: una risposta scorrevole non rivela un numero alterato dall’OCR. I controlli di accesso riguardano testo recuperato e download originali. Eliminare un documento richiede rimuovere anche brani attivi e risposte in cache; i backup seguono una politica distinta. Registra il comportamento effettivamente verificato.
Esercitazione pratica
Prove del laboratorio
Vai alla lezione