Controlli deterministici degli artefatti
Controlli deterministici degli artefatti — Valutare gli agenti AI nella pratica. Parsing e schema; Insiemi e duplicati; Esempi negativi per il verificatore. Esercitazione pratica: Controlli deterministici degli artefatti.
Versione demo. I materiali sono in fase di revisione editoriale.
Argomenti trattati
- Parsing e schema
- Insiemi e duplicati
- Esempi negativi per il verificatore
Parsing e schema
Inizia con un controllo che non richiede un secondo modello. Analizza il JSON e verifica i tipi. Ogni riga richiede product come stringa non vuota e quantity come intero non negativo. La stringa quantity="4" non equivale al numero 4 se il contratto richiede un numero. Non correggere silenziosamente l’errore nel test: valuteresti il tuo normalizzatore invece dell’artefatto. Se la normalizzazione fa parte del prodotto, provala come fase specificata separatamente. Decidi come trattare campi sconosciuti: uno schema chiuso può rifiutarli. Il parsing controlla sintassi, lo schema controlla forma. Nessuno determina se notebook appartiene all’elenco corretto. Registra gli esiti separatamente, evitando che un errore di formato nasconda quello di contenuto. Indica il percorso del campo errato senza divulgarne valori privati.
Insiemi e duplicati
Cercare notebook nella risposta non rileva pen aggiuntivo o folder duplicato. Confronta dati strutturati e aspettative. Verifica numero di righe, unicità di product e quantità per chiave. La fixture notebook=4 e folder=0 richiede esattamente due righe. Convertire alla cieca l’elenco in Map permette al secondo folder di sovrascrivere il primo, nascondendo il duplicato. Controlla prima l’unicità oppure confronta dimensione della Map e lunghezza dell’elenco. Il frammento verifica localmente rows già analizzato: non avvia agenti, non usa rete e non richiede giudici a pagamento. Anche le aspettative possono essere sbagliate: verifica manualmente quantity<5, includendo zero ed escludendo esattamente 5. Questa soglia distingue «inferiore a» da «al massimo» e merita una fixture dedicata.
const expected = new Map([["notebook", 4], ["folder", 0]]);
const actual = new Map(rows.map(r => [r.product, r.quantity]));
const pass = rows.length === 2 && actual.size === rows.length &&
[...expected].every(([name, quantity]) => actual.get(name) === quantity);
Esempi negativi per il verificatore
Un verificatore che restituisce sempre true sembra riuscito su una risposta corretta. Provalo con artefatti preparati: elenco corretto, elenco con pen, righe folder duplicate, quantità come stringa e JSON malformato. Scrivi prima le aspettative. L’elenco corretto passa; ogni violazione produce un failureCode specifico. Se passano i duplicati, correggi il verificatore prima di valutare l’agente. Non allentare un criterio soltanto perché l’agente sbaglia spesso: decidi prima se il contratto sia davvero troppo rigido per il prodotto. I controlli deterministici funzionano per forma e condizioni calcolabili, ma non dimostrano completezza della spiegazione di un documento complesso. Per criteri ambigui usa una rubrica con esempi, senza nascondere l’incertezza dietro numeri precisi. Conserva la versione del verificatore con i risultati.
Esercitazione pratica
Controlli deterministici degli artefatti
Vai alla lezione