Бесплатный урок

Превратить задачу в тестовый случай

Превратить задачу в тестовый случай — Оценка AI-агентов на практике. Артефакт вместо впечатления; Зафиксированные входы; Критерии до запуска. Практическое задание: Превратить задачу в тестовый случай.

Демо-версия. Материалы проходят редакторскую проверку.

Что рассмотрим

  • Артефакт вместо впечатления
  • Зафиксированные входы
  • Критерии до запуска

Артефакт вместо впечатления

Фраза «агент ответил хорошо» не даёт повторяемого критерия. Сначала определи, что он должен вернуть. В учебном примере агент читает локальный stock.csv: pen=12, notebook=4, folder=0. Пользователь просит JSON с товарами, у которых количество меньше 5. Ожидаемый артефакт содержит notebook и folder, не содержит pen. Порядок не задан, поэтому тест не должен его придумывать. Зафиксируй формат, множество нужных строк и запрет менять файл. Это разные критерии: корректный JSON не доказывает правильность товаров, верный список не доказывает отсутствие записи. При недоступном файле ожидай явное сообщение об этом, а не выдуманный остаток. Получается контракт, проверяемый без личной симпатии к формулировкам ответа.

Зафиксированные входы

Если stock.csv меняется между запусками, разница ответа может происходить из данных, а не из агента. Сохрани fixture с ID stock-low-01, точными байтами CSV, запросом и ожиданиями. Добавь версию парсера и разрешённые инструменты. Не используй живой склад как тестовый набор: это скрытая зависимость и риск случайной записи. Достаточно текстового файла и заглушки read_file, неизменно возвращающей его содержимое. Отдельный stock-missing-01 возвращает FILE_NOT_FOUND. Не смешивай отсутствие файла с пустым складом: во втором случае данные доступны и список может быть пустым. Названия состояний делают сбой диагностируемым. Храни контрольную сумму fixture или неизменную версию в репозитории, чтобы результат воспроизводился после редактирования учебных данных.

Критерии до запуска

Запиши ожидания до ответа, иначе возникает соблазн подстроить тест под красивый результат. Для stock-low-01 определи: JSON разбирается; ровно два товара с нужными количествами; ни одного write_file; ссылка на fixture в отчёте. Невыполненная проверка не равна провалу агента: если заглушка сломалась до запуска, ставь technical_failure. Если агент вернул pen, это content_failure. Незапущенный случай — not_run. Разделение позволяет считать содержательные результаты без инфраструктурных ошибок. Укажи политику общего вердикта: например, любая запрещённая запись блокирует принятие независимо от правильности списка. Это правило учебного проекта, не универсальная метрика качества. Сохрани его вместе с fixture, чтобы следующий автор не изменил критерий задним числом.

Практическое задание

Превратить задачу в тестовый случай

Перейти к обучению

Программа курса

  1. Превратить задачу в тестовый случай
  2. Детерминированные проверки результата
  3. Траектория инструментов и побочные действия
  4. Рубрики и пределы модельного судьи
  5. Регрессии и честное сравнение версий
  6. Стоимость, задержка и отчёт о приёмке