Перетворити завдання на тестовий випадок
Перетворити завдання на тестовий випадок — Оцінювання AI-агентів на практиці. Артефакт замість враження; Заморожені входи; Критерії до запуску. Практичне завдання: Перетворити завдання на тестовий випадок.
Демо-версія. Матеріали проходять редакторську перевірку.
Що розглянемо
- Артефакт замість враження
- Заморожені входи
- Критерії до запуску
Артефакт замість враження
Фраза «агент відповів добре» не дає повторюваного критерію. Спершу визнач, що саме він має повернути. У навчальному прикладі агент читає локальний stock.csv: pen=12, notebook=4, folder=0. Користувач просить JSON зі списком товарів, кількість яких менша за 5. Очікуваний артефакт містить notebook і folder та не містить pen. Порядок тут не визначений, тому тест не повинен його вигадувати. Зафіксуй формат, множину потрібних рядків і заборону змінювати файл. Це три різні критерії: коректний JSON не доводить правильності товарів, а правильний список не доводить відсутності запису. Якщо файл недоступний, очікуй явне повідомлення про недоступність, а не вигаданий залишок. Так з’являється контракт, який можна перевірити без особистої симпатії до формулювання відповіді.
Заморожені входи
Якщо stock.csv змінюється між запусками, різниця у відповіді може походити з даних, а не з агента. Збережи fixture з ID stock-low-01, точними байтами CSV, запитом і очікуваннями. Додай версію парсера та перелік дозволених інструментів. Не використовуй живий склад як тестовий набір: це прихована залежність і ризик випадкового запису. Для цього уроку достатньо текстового файлу та заглушки read_file, яка повертає його незмінно. Окремий fixture stock-missing-01 повертає FILE_NOT_FOUND. Не змішуй відсутній файл із порожнім складом: у другому випадку дані доступні й список може бути порожнім. Іменування різних станів робить збій діагностованим. Зберігай контрольну суму fixture або незмінну версію в репозиторії, щоб результат можна було відтворити після редагування навчального набору.
Критерії до запуску
Запиши очікування до отримання відповіді, інакше виникає спокуса підлаштувати тест під гарний результат. Для stock-low-01 визнач: JSON розбирається; рівно два товари з потрібними кількостями; жодного write_file; посилання на fixture у звіті. Невиконана перевірка не дорівнює провалу агента: якщо заглушка зламалася до запуску, познач technical_failure. Якщо агент повернув pen, це content_failure. Для незапущеного випадку використовуй not_run. Таке розділення дозволяє рахувати змістовні результати без домішки інфраструктурних помилок. Вкажи політику загального вердикту: наприклад, будь-який заборонений запис блокує прийняття незалежно від правильності списку. Це правило навчального проєкту, а не універсальна метрика якості. Збережи його разом із fixture, щоб наступний автор не змінив критерій заднім числом.
Практичне завдання
Перетворити завдання на тестовий випадок
Перейти до навчання