Trasformare un compito in un caso di test
Trasformare un compito in un caso di test — Valutare gli agenti AI nella pratica. Un artefatto invece di un’impressione; Ingressi fissati; Definire l’accettazione prima del test. Esercitazione pratica: Trasformare un compito in un caso di test.
Versione demo. I materiali sono in fase di revisione editoriale.
Argomenti trattati
- Un artefatto invece di un’impressione
- Ingressi fissati
- Definire l’accettazione prima del test
Un artefatto invece di un’impressione
«L’agente ha risposto bene» non è un criterio ripetibile. Definisci prima cosa deve restituire. Nell’esempio legge stock.csv locale con pen=12, notebook=4 e folder=0. L’utente chiede un JSON dei prodotti con quantità inferiore a 5. L’artefatto atteso include notebook e folder, escludendo pen. L’ordine non è specificato: il test non deve inventarlo. Registra formato, insieme delle righe richieste e divieto di modificare il file. Sono controlli diversi: un JSON valido non dimostra prodotti corretti, né un elenco corretto dimostra assenza di scritture. Se il file non è disponibile, attendi un errore esplicito invece di quantità inventate. Ottieni un contratto verificabile senza affidarti al gusto del revisore per la formulazione.
Ingressi fissati
Se stock.csv cambia tra le esecuzioni, una risposta diversa può dipendere dai dati invece che dall’agente. Salva stock-low-01 con byte esatti del CSV, richiesta e aspettative. Aggiungi versione del parser e strumenti consentiti. Non usare il magazzino reale come fixture: introduce dipendenze nascoste e rischio di scritture accidentali. Bastano un file di testo e uno stub read_file che restituisce contenuto fisso. Un caso separato stock-missing-01 restituisce FILE_NOT_FOUND. Non confondere file indisponibile e magazzino vuoto: nel secondo caso i dati esistono e l’elenco può essere legittimamente vuoto. Nomi distinti rendono diagnosticabili gli errori. Conserva hash o versione immutabile della fixture per riprodurre il risultato dopo modifiche ai dati didattici. Escludi dati privati dei clienti.
Definire l’accettazione prima del test
Scrivi le aspettative prima della risposta, altrimenti un risultato elegante può spingerti ad adattare il test dopo. Per stock-low-01 richiedi JSON leggibile, esattamente due prodotti con quantità corrette, nessuna chiamata write_file e riferimento alla fixture nel rapporto. Un controllo non eseguito non è un fallimento dell’agente: se lo stub si rompe prima dell’avvio, indica technical_failure. Restituire pen è content_failure; un caso mai avviato è not_run. La distinzione evita di mescolare errori infrastrutturali e contenuto. Definisci la politica d’accettazione: per esempio ogni scrittura vietata blocca l’esito anche con elenco corretto. È una regola del progetto didattico, non una metrica universale. Salvala accanto alla fixture, impedendo modifiche retroattive dei criteri.
Esercitazione pratica
Trasformare un compito in un caso di test
Vai alla lezione