Бесплатный урок

Извлечь текст и данные страниц

Извлечь текст и данные страниц — Приватный ассистент для PDF. Осознанно установить PDF.js; Сохранить pages.mjs; Принять только сверенные страницы. Практическое задание: Доказательства лабораторной работы.

Демо-версия. Материалы проходят редакторскую проверку.

Что рассмотрим

  • Осознанно установить PDF.js
  • Сохранить pages.mjs
  • Принять только сверенные страницы

Осознанно установить PDF.js

В учебном каталоге инициализируйте npm и установите pdfjs-dist. Сопоставьте engine-требования пакета с Node и сохраните lockfile.

PDF хранит вид страницы, но не гарантирует читаемых предложений. Скан может не иметь текстового слоя, таблица — извлекаться в неверном порядке, а OCR — давать правдоподобные ошибки. Поэтому качество приёма, доступность оригинала и жизненный цикл являются требованиями продукта. Используйте только вымышленные документы мастерской, пока каждую страницу нельзя проследить до исходного файла и проверить вручную.

// Terminal:
// npm init -y
// npm install pdfjs-dist
// node --version
// npm view pdfjs-dist engines

Сохранить pages.mjs

Запустите извлечение для синтетического policy.pdf. Сохраните номер даже пустой страницы. Соединение строк — базовый вариант; порядок чтения проверьте вручную.

Извлечение принимает путь: node pages.mjs policy.pdf или карантинный путь из intake. До объединения создавайте отдельный манифест документа; начальный фиксированный docId замените сохранённым ID этого документа. Иначе два разных файла создадут одинаковые ссылки на страницы.

Аргумент вывода даёт отдельный манифест ревизии, flag wx запрещает случайную перезапись. При существующем файле изучите его и выберите новое имя, не удаляйте посторонний манифест. Finally уничтожает loading-task при ошибке парсера, лимита страниц либо записи. Отклонённый PDF не становится якобы завершённым новым pages-файлом.

Обрабатывайте синтетические файлы в отдельном локальном каталоге с явными лимитами. Храните оригинал под созданным приложением идентификатором, а не путём пользователя. Ведите манифест страниц со статусом, ревизией и способом обработки. Поиск из предыдущего курса получает только принятый текст страниц. Успешная загрузка не означает, что все байты пригодны для индексации или разрешены конкретному пользователю.

import {readFile,writeFile} from 'node:fs/promises';
import {getDocument} from 'pdfjs-dist/legacy/build/pdf.mjs';
const data=new Uint8Array(await readFile(process.argv[2]??'policy.pdf'));
const task=getDocument({data,isEvalSupported:false});
try{
 const pdf=await task.promise;
 if(pdf.numPages>20)throw Error('Training page limit');
 const docId=process.argv[3]??'policy';const revision=Number(process.argv[4]??1);
 if(!/^[a-zA-Z0-9_-]+$/.test(docId)||!Number.isInteger(revision)||revision<1)throw Error('Document identity');
 const pages=[];
 for(let page=1;page<=pdf.numPages;page++){
  const p=await pdf.getPage(page);const content=await p.getTextContent();
  const text=content.items.map(x=>'str'in x?x.str:'').join(' ');
  pages.push({docId,revision,page,text,status:text.trim()?'needs_review':'needs_ocr'});
 }
 await writeFile(process.argv[5]??'pages.json',JSON.stringify(pages,null,2),{flag:'wx'});
}finally{await task.destroy();}
// Usage: node pages.mjs policy.pdf policy 1 policy-r1.pages.json

Принять только сверенные страницы

Сопоставьте извлечённое правило с PDF. После сверки обозначьте страницу ready; повреждённые колонки и таблицы оставьте needs_review.

Проверьте обычный документ, страницу-изображение и файл для отклонения. Во время редактуры откройте оригинал: плавный ответ не показывает, что OCR изменил число. Проверка прав относится и к найденному тексту, и к скачиванию оригиналов. Удаление документа должно убрать активные фрагменты и кешированные ответы; резервные копии живут по отдельной явной политике. Запишите конкретное поведение, проверенное на учебных файлах.

Практическое задание

Доказательства лабораторной работы

Перейти к обучению

Программа курса

  1. Проверить PDF до приёма
  2. Извлечь текст и данные страниц
  3. Применить OCR с сохранением сомнений
  4. Принимать файлы с ограниченной обработкой
  5. Подтвердить ответы и доступ
  6. Поддерживать, заменять и удалять