Бесплатный урок

Детерминированные проверки результата

Детерминированные проверки результата — Оценка AI-агентов на практике. Разбор и схема; Множество и дубликаты; Отрицательные примеры для самого теста. Практическое задание: Детерминированные проверки результата.

Демо-версия. Материалы проходят редакторскую проверку.

Что рассмотрим

  • Разбор и схема
  • Множество и дубликаты
  • Отрицательные примеры для самого теста

Разбор и схема

Начни с проверки без второй модели. Разбери JSON и проверь типы полей. В нашем списке product — непустая строка, quantity — неотрицательное целое число. quantity="4" не равно числу 4, если контракт требует число. Не исправляй ошибку молча в тесте: иначе оцениваешь собственный нормализатор вместо артефакта агента. Если нормализация предусмотрена продуктом, проверяй её отдельным явно описанным этапом. Проверь неизвестные поля: закрытый контракт может их отклонять. Разбор JSON ловит синтаксис, схема — форму, но ни один не определяет, входит ли notebook в правильный список. Записывай результаты отдельно, чтобы ошибка формата не скрывала причину содержательного сбоя. Указывай точный путь ошибочного поля без публикации приватных значений.

Множество и дубликаты

Поиск слова notebook пропустит лишний pen и дубль folder. Сравнивай структуру с ожидаемыми данными. Сначала проверь количество строк, затем уникальность product и значения quantity по ключу. Для notebook=4 и folder=0 должно быть ровно две строки. Если бездумно преобразовать список в Map, второй folder перезапишет первый и скроет дубль. Проверяй уникальность до преобразования либо сравни размер Map с длиной списка. Ниже локальная проверка уже разобранного массива rows. Она не запускает агента, не обращается к сети и не требует платного судьи. Неверное ожидание тоже бывает ошибкой: вручную сверь quantity<5, включая ноль и исключая ровно 5. Это проверяет границу, на которой часто путают «меньше» и «не больше».

const expected = new Map([["notebook", 4], ["folder", 0]]);
const actual = new Map(rows.map(r => [r.product, r.quantity]));
const pass = rows.length === 2 && actual.size === rows.length &&
  [...expected].every(([name, quantity]) => actual.get(name) === quantity);

Отрицательные примеры для самого теста

Проверка, всегда возвращающая true, выглядит успешной на правильном ответе. Проверь сам проверяющий код подготовленными артефактами. Подай правильный массив, массив с pen, дубль folder, quantity строкой и malformed JSON. Ожидания запиши до запуска. Правильный массив должен дать pass, каждое нарушение — конкретный failureCode. Если дубль проходит, исправь проверку до оценки агента. Не меняй критерий лишь потому, что агент часто ошибается: сначала выясни, действительно ли контракт слишком строг для продукта. Детерминированная проверка хорошо ловит форму и вычислимые условия, но не доказывает полноту объяснения сложного документа. Для неоднозначного критерия вводи рубрику с примерами, не скрывая неопределённость за точным числом.

Практическое задание

Детерминированные проверки результата

Перейти к обучению

Программа курса

  1. Превратить задачу в тестовый случай
  2. Детерминированные проверки результата
  3. Траектория инструментов и побочные действия
  4. Рубрики и пределы модельного судьи
  5. Регрессии и честное сравнение версий
  6. Стоимость, задержка и отчёт о приёмке