Детерміновані перевірки результату
Детерміновані перевірки результату — Оцінювання AI-агентів на практиці. Розбір і схема; Множина й дублікати; Негативні приклади для самого тесту. Практичне завдання: Детерміновані перевірки результату.
Демо-версія. Матеріали проходять редакторську перевірку.
Що розглянемо
- Розбір і схема
- Множина й дублікати
- Негативні приклади для самого тесту
Розбір і схема
Почни з перевірки, яка не потребує другої моделі. Розбери JSON і перевір типи полів. Для нашого списку кожен рядок має product як непорожній рядок і quantity як невід’ємне ціле число. Рядок quantity="4" не дорівнює числу 4, якщо контракт вимагає число. Не виправляй помилку мовчки у тесті: тоді оцінюватимеш власний нормалізатор, а не артефакт агента. Якщо нормалізація передбачена продуктом, тестуй її як окремий явно описаний етап. Також перевір невідомі поля: для закритого контракту їх можна відхиляти. Розбір JSON ловить синтаксис; схема ловить форму; жоден із них не визначає, чи notebook належить до правильного списку. Записуй ці результати окремо, щоб помилка формату не приховувала причину змістовного збою.
Множина й дублікати
Пошук слова notebook у відповіді пропустить зайвий pen і дубль folder. Порівнюй структуру з очікуваними даними. Спершу перевір кількість рядків, потім унікальність product, потім значення quantity за ключем. Для fixture із notebook=4 і folder=0 результат має містити рівно два рядки. Якщо бездумно перетворити список у Map, другий folder перезапише перший і приховає дубль. Тому перевір унікальність до перетворення або порівняй розмір Map з довжиною списку. Нижче — локальна перевірка вже розібраного масиву rows. Вона не запускає агента, не читає мережу і не вимагає платного судді. Неправильне очікування теж може бути помилкою: вручну звір умову quantity<5, включно з нулем і виключенням рівно 5.
const expected = new Map([["notebook", 4], ["folder", 0]]);
const actual = new Map(rows.map(r => [r.product, r.quantity]));
const pass = rows.length === 2 && actual.size === rows.length &&
[...expected].every(([name, quantity]) => actual.get(name) === quantity);
Негативні приклади для самого тесту
Тест, який завжди повертає true, виглядатиме успішним на правильній відповіді. Перевір сам перевіряльник підготовленими артефактами. Дай йому правильний масив, масив із pen, дубль folder, quantity як рядок і malformed JSON. Очікування запиши до запуску. Для правильного масиву має бути pass; кожне порушення має мати конкретний failureCode. Якщо дубль проходить, виправ перевірку до оцінювання агента. Не змінюй критерій лише тому, що агент часто помиляється: спершу з’ясуй, чи контракт справді надто строгий для продукту. Детермінована перевірка добре ловить форму й обчислювані умови, але не доводить повноту пояснення складного документа. Коли критерій неможливо обчислити однозначно, введи рубрику з прикладами, а не приховуй невизначеність за точним числом.
Практичне завдання
Детерміновані перевірки результату
Перейти до навчання