Вузькі інструменти й перевірка аргументів
Вузькі інструменти й перевірка аргументів — Безпека AI-агентів і prompt injection. Право на об’єкт; Структуровані аргументи замість командного рядка; Дозвіл, який швидко закінчується. Практичне завдання: Вузькі інструменти й перевірка аргументів.
Демо-версія. Матеріали проходять редакторську перевірку.
Що розглянемо
- Право на об’єкт
- Структуровані аргументи замість командного рядка
- Дозвіл, який швидко закінчується
Право на об’єкт
Дозвіл читати документи ще не означає дозвіл читати кожен документ. У навчальному сховищі користувач A має файл contract-A, а користувач B — payroll-B. Агент A може вгадати другий ID із тексту вебсторінки. Сервер має перевіряти власника при кожному read_document, а не покладатися на список, показаний у меню. Передай ідентичність користувача з перевіреної сесії, а не з аргументу, який написала модель. Потім знайди документ у межах дозволеного набору та поверни лише потрібні поля. Відмова не повинна розкривати вміст чужого файлу. Перевір позитивний і негативний випадки однією парою запитів: contract-A доступний, payroll-B недоступний. Якщо перевірити лише правильний ID, помилка ізоляції залишиться непоміченою. Цей контроль працює навіть тоді, коли модель не розпізнала атаку.
Структуровані аргументи замість командного рядка
Інструмент run_command може робити значно більше, ніж потрібно для читання PDF. Заміни його операцією extract_text з fileId, максимальним числом сторінок і обмеженням часу. Диспетчер перевіряє схему: невідомі поля відхиляються, fileId має бути дозволеним, ліміт — у визначеному діапазоні. Не склеюй рядок shell із назвою, отриманою з документа. Для навчального виклику fileId=contract-A та maxPages=5 результатом має бути текст щонайбільше п’яти сторінок або явне повідомлення про обрізання. Якщо файл має 40 сторінок, мовчазно підсумувати перші п’ять як весь договір — фактична помилка. Повідом моделі межу витягу й запропонуй користувачеві продовжити читання в дозволених межах. Вузький інтерфейс одночасно зменшує повноваження та робить помилки передбачуваними.
Дозвіл, який швидко закінчується
Навіть вузький інструмент потребує меж у часі та просторі. Для одного підсумку надай читання contract-A до завершення завдання, без запису й доступу до інших папок. Завершення або скасування завдання закриває цей доступ. Розділи облікові дані читача й відправника: витік першого не має автоматично дозволяти відправлення. У навчальному протоколі запиши scope=document:contract-A:read та стан task=active. Два повторні виклики після task=closed мають відхилятися, навіть якщо старе повідомлення моделі містить правильний ID. Не трактуй закінчення строку як причину видати ширший постійний токен. Віднови тільки потрібний дозвіл після нового авторизованого завдання. Такий тест ловить залишкові повноваження, яких не видно під час звичайної успішної сесії.
Практичне завдання
Вузькі інструменти й перевірка аргументів
Перейти до навчання