Безкоштовний урок

Перетворити завдання на тестовий випадок

Перетворити завдання на тестовий випадок — Оцінювання AI-агентів на практиці. Артефакт замість враження; Заморожені входи; Критерії до запуску. Практичне завдання: Перетворити завдання на тестовий випадок.

Демо-версія. Матеріали проходять редакторську перевірку.

Що розглянемо

  • Артефакт замість враження
  • Заморожені входи
  • Критерії до запуску

Артефакт замість враження

Фраза «агент відповів добре» не дає повторюваного критерію. Спершу визнач, що саме він має повернути. У навчальному прикладі агент читає локальний stock.csv: pen=12, notebook=4, folder=0. Користувач просить JSON зі списком товарів, кількість яких менша за 5. Очікуваний артефакт містить notebook і folder та не містить pen. Порядок тут не визначений, тому тест не повинен його вигадувати. Зафіксуй формат, множину потрібних рядків і заборону змінювати файл. Це три різні критерії: коректний JSON не доводить правильності товарів, а правильний список не доводить відсутності запису. Якщо файл недоступний, очікуй явне повідомлення про недоступність, а не вигаданий залишок. Так з’являється контракт, який можна перевірити без особистої симпатії до формулювання відповіді.

Заморожені входи

Якщо stock.csv змінюється між запусками, різниця у відповіді може походити з даних, а не з агента. Збережи fixture з ID stock-low-01, точними байтами CSV, запитом і очікуваннями. Додай версію парсера та перелік дозволених інструментів. Не використовуй живий склад як тестовий набір: це прихована залежність і ризик випадкового запису. Для цього уроку достатньо текстового файлу та заглушки read_file, яка повертає його незмінно. Окремий fixture stock-missing-01 повертає FILE_NOT_FOUND. Не змішуй відсутній файл із порожнім складом: у другому випадку дані доступні й список може бути порожнім. Іменування різних станів робить збій діагностованим. Зберігай контрольну суму fixture або незмінну версію в репозиторії, щоб результат можна було відтворити після редагування навчального набору.

Критерії до запуску

Запиши очікування до отримання відповіді, інакше виникає спокуса підлаштувати тест під гарний результат. Для stock-low-01 визнач: JSON розбирається; рівно два товари з потрібними кількостями; жодного write_file; посилання на fixture у звіті. Невиконана перевірка не дорівнює провалу агента: якщо заглушка зламалася до запуску, познач technical_failure. Якщо агент повернув pen, це content_failure. Для незапущеного випадку використовуй not_run. Таке розділення дозволяє рахувати змістовні результати без домішки інфраструктурних помилок. Вкажи політику загального вердикту: наприклад, будь-який заборонений запис блокує прийняття незалежно від правильності списку. Це правило навчального проєкту, а не універсальна метрика якості. Збережи його разом із fixture, щоб наступний автор не змінив критерій заднім числом.

Практичне завдання

Перетворити завдання на тестовий випадок

Перейти до навчання

Програма курсу

  1. Перетворити завдання на тестовий випадок
  2. Детерміновані перевірки результату
  3. Траєкторія інструментів і побічні дії
  4. Рубрики й межі модельного судді
  5. Регресії й чесне порівняння версій
  6. Вартість, затримка та звіт про прийняття