Детерминированные проверки результата
Детерминированные проверки результата — Оценка AI-агентов на практике. Разбор и схема; Множество и дубликаты; Отрицательные примеры для самого теста. Практическое задание: Детерминированные проверки результата.
Демо-версия. Материалы проходят редакторскую проверку.
Что рассмотрим
- Разбор и схема
- Множество и дубликаты
- Отрицательные примеры для самого теста
Разбор и схема
Начни с проверки без второй модели. Разбери JSON и проверь типы полей. В нашем списке product — непустая строка, quantity — неотрицательное целое число. quantity="4" не равно числу 4, если контракт требует число. Не исправляй ошибку молча в тесте: иначе оцениваешь собственный нормализатор вместо артефакта агента. Если нормализация предусмотрена продуктом, проверяй её отдельным явно описанным этапом. Проверь неизвестные поля: закрытый контракт может их отклонять. Разбор JSON ловит синтаксис, схема — форму, но ни один не определяет, входит ли notebook в правильный список. Записывай результаты отдельно, чтобы ошибка формата не скрывала причину содержательного сбоя. Указывай точный путь ошибочного поля без публикации приватных значений.
Множество и дубликаты
Поиск слова notebook пропустит лишний pen и дубль folder. Сравнивай структуру с ожидаемыми данными. Сначала проверь количество строк, затем уникальность product и значения quantity по ключу. Для notebook=4 и folder=0 должно быть ровно две строки. Если бездумно преобразовать список в Map, второй folder перезапишет первый и скроет дубль. Проверяй уникальность до преобразования либо сравни размер Map с длиной списка. Ниже локальная проверка уже разобранного массива rows. Она не запускает агента, не обращается к сети и не требует платного судьи. Неверное ожидание тоже бывает ошибкой: вручную сверь quantity<5, включая ноль и исключая ровно 5. Это проверяет границу, на которой часто путают «меньше» и «не больше».
const expected = new Map([["notebook", 4], ["folder", 0]]);
const actual = new Map(rows.map(r => [r.product, r.quantity]));
const pass = rows.length === 2 && actual.size === rows.length &&
[...expected].every(([name, quantity]) => actual.get(name) === quantity);
Отрицательные примеры для самого теста
Проверка, всегда возвращающая true, выглядит успешной на правильном ответе. Проверь сам проверяющий код подготовленными артефактами. Подай правильный массив, массив с pen, дубль folder, quantity строкой и malformed JSON. Ожидания запиши до запуска. Правильный массив должен дать pass, каждое нарушение — конкретный failureCode. Если дубль проходит, исправь проверку до оценки агента. Не меняй критерий лишь потому, что агент часто ошибается: сначала выясни, действительно ли контракт слишком строг для продукта. Детерминированная проверка хорошо ловит форму и вычислимые условия, но не доказывает полноту объяснения сложного документа. Для неоднозначного критерия вводи рубрику с примерами, не скрывая неопределённость за точным числом.
Практическое задание
Детерминированные проверки результата
Перейти к обучению