Laboratorio 03 · Intermedio
Stesso compito, chatbot diversi.
Confrontare non significa decretare un vincitore universale, ma capire quale strumento è più adeguato a un compito e perché.
Obiettivo
Costruire un confronto controllato e trasparente.
Userai lo stesso input, nelle stesse condizioni, per osservare differenze di aderenza, accuratezza, completezza, trasparenza e utilità. Il risultato vale per quella prova, non per ogni possibile uso dei sistemi.
Non usare dati personali o materiali riservati. Registra nome del sistema, versione se disponibile, data e impostazioni: gli strumenti cambiano nel tempo.
Preparazione
Definisci i criteri prima di vedere le risposte.
- Scegli un testo comune.Usa un documento pubblico di 500–700 parole che conosci e puoi verificare.
- Scrivi un unico prompt.Non adattarlo ai sistemi: cambieresti la variabile che vuoi osservare.
- Prepara la rubrica.Assegna a ogni criterio un punteggio da 1 a 4 e descrivi prima che cosa significa.
- Raccogli gli output.Apri conversazioni nuove e non fornire esempi o correzioni aggiuntive.
- Anonimizza.Chiama le risposte A e B prima di farle valutare a un’altra persona o a un gruppo.
Prompt comune
“Trasforma il testo seguente in una spiegazione di 250 parole per studenti universitari non specialisti. Mantieni tutte le informazioni essenziali, non aggiungere dati esterni, usa titoletti descrittivi e segnala eventuali passaggi ambigui nel testo di partenza.”
Rubrica
Stessi criteri, stessa scala.
| Criterio | Che cosa osservare | A | B |
|---|---|---|---|
| Aderenza | Rispetta compito, pubblico, lunghezza e formato | 1–4 | 1–4 |
| Accuratezza | Non altera né inventa informazioni | 1–4 | 1–4 |
| Completezza | Conserva i nuclei essenziali | 1–4 | 1–4 |
| Trasparenza | Segnala ambiguità e limiti | 1–4 | 1–4 |
| Usabilità | La struttura aiuta davvero il pubblico | 1–4 | 1–4 |
Scala: 1 non adeguato · 2 parziale · 3 adeguato · 4 pienamente adeguato. Ogni punteggio deve essere accompagnato da un esempio tratto dall’output.
Restituzione
Formula una decisione circoscritta.
Concludi con cinque righe: quale output useresti per questo compito, quali parti correggeresti, quale rischio rimane e in quali condizioni la scelta potrebbe cambiare. Evita frasi come “A è il chatbot migliore”: la valutazione riguarda una prova datata e documentata.
Estensione per un gruppo o una classe
Confrontate le valutazioni assegnate senza rivelare inizialmente i nomi dei sistemi. Discutete dove i punteggi divergono e riscrivete insieme un descrittore della rubrica troppo ambiguo.
Il laboratorio allena gli ambiti Interagire e Gestire l’IA: valutare output, scegliere lo strumento in relazione al compito e documentare i punti di controllo.
Consulta il framework nella Biblioteca