Безкоштовний урок

Витягти текст і дані сторінок

Витягти текст і дані сторінок — Приватний асистент для PDF. Свідомо встановити PDF.js; Зберегти pages.mjs; Прийняти лише звірені сторінки. Практичне завдання: Докази лабораторної роботи.

Демо-версія. Матеріали проходять редакторську перевірку.

Що розглянемо

  • Свідомо встановити PDF.js
  • Зберегти pages.mjs
  • Прийняти лише звірені сторінки

Свідомо встановити PDF.js

У навчальному каталозі ініціалізуйте npm і встановіть pdfjs-dist. Зіставте engine-вимоги пакета з Node та збережіть lockfile.

PDF зберігає вигляд сторінки, але не гарантує читабельних речень. Скан може не мати текстового шару, таблиця — витягатися в неправильному порядку, а OCR — давати правдоподібні помилки. Тому якість приймання, доступність оригіналу та життєвий цикл тут є вимогами продукту. Використовуйте лише вигадані документи майстерні, доки кожну сторінку не можна буде простежити до вихідного файлу й перевірити вручну.

// Terminal:
// npm init -y
// npm install pdfjs-dist
// node --version
// npm view pdfjs-dist engines

Зберегти pages.mjs

Запустіть витяг для синтетичного policy.pdf. Збережіть номер навіть порожньої сторінки. З’єднання рядків — базовий варіант; порядок читання перевірте вручну.

Витяг приймає шлях: node pages.mjs policy.pdf або карантинний шлях, надрукований intake. Перед об’єднанням створюйте окремий маніфест документа; початковий фіксований docId замініть збереженим ID цього документа. Інакше два різні файли створять однакові посилання на сторінки.

Аргумент виходу дає окремий маніфест ревізії, flag wx забороняє випадковий перезапис. За наявного файла огляньте його й явно виберіть нове ім’я, не видаляйте сторонній маніфест. Finally прибирає loading-task також при помилці парсера, ліміту сторінок чи запису. Відхилений PDF не стає нібито завершеним новим pages-файлом.

Обробляйте синтетичні файли в окремому локальному каталозі з явними лімітами. Зберігайте оригінал під створеним застосунком ідентифікатором, а не шляхом користувача. Ведіть маніфест сторінок зі статусом, ревізією та способом обробки. Пошук із попереднього курсу отримує лише прийнятий текст сторінок. Успішне завантаження не означає, що всі байти вже придатні для індексації або дозволені конкретному користувачу.

import {readFile,writeFile} from 'node:fs/promises';
import {getDocument} from 'pdfjs-dist/legacy/build/pdf.mjs';
const data=new Uint8Array(await readFile(process.argv[2]??'policy.pdf'));
const task=getDocument({data,isEvalSupported:false});
try{
 const pdf=await task.promise;
 if(pdf.numPages>20)throw Error('Training page limit');
 const docId=process.argv[3]??'policy';const revision=Number(process.argv[4]??1);
 if(!/^[a-zA-Z0-9_-]+$/.test(docId)||!Number.isInteger(revision)||revision<1)throw Error('Document identity');
 const pages=[];
 for(let page=1;page<=pdf.numPages;page++){
  const p=await pdf.getPage(page);const content=await p.getTextContent();
  const text=content.items.map(x=>'str'in x?x.str:'').join(' ');
  pages.push({docId,revision,page,text,status:text.trim()?'needs_review':'needs_ocr'});
 }
 await writeFile(process.argv[5]??'pages.json',JSON.stringify(pages,null,2),{flag:'wx'});
}finally{await task.destroy();}
// Usage: node pages.mjs policy.pdf policy 1 policy-r1.pages.json

Прийняти лише звірені сторінки

Зіставте витягнуте правило з PDF. Після звірки позначте сторінку ready; пошкоджені колонки й таблиці залиште needs_review.

Перевірте звичайний документ, сторінку-зображення й файл для відхилення. Під час редактури відкрийте оригінал: плавна відповідь не показує, що OCR змінив число. Перевірка прав стосується й знайденого тексту, й завантаження оригіналів. Видалення документа має прибрати активні уривки та кешовані відповіді; резервні копії живуть за окремою явною політикою. Запишіть конкретну поведінку, яку вдалося перевірити на навчальних файлах.

Практичне завдання

Докази лабораторної роботи

Перейти до навчання

Програма курсу

  1. Оглянути PDF перед прийманням
  2. Витягти текст і дані сторінок
  3. Застосувати OCR зі збереженням сумнівів
  4. Приймати файли з обмеженою обробкою
  5. Підтвердити відповіді й доступ
  6. Підтримувати, замінювати й вилучати