IA per tutti: Come Capiamo se un'IA Funziona Davvero? (Parte 6)

Valutazione e metriche dell'IA spiegate semplicemente
Come giudicare un'IA: l'arte della valutazione
data: · 5 min
autore: Matteo
serie: IA per tutti/ parte 6/6

Come funziona davvero l'intelligenza artificiale, spiegato senza formule.

  1. IA per tutti: La guida che avresti voluto avere prima (Parte 1)
  2. IA per tutti: Come le Macchine Imparano (Parte 2)
  3. IA per tutti: Architetture e Cervelli Artificiali (Parte 3)
  4. IA per tutti: Tecniche Avanzate Spiegate Semplice (Parte 4)
  5. IA per tutti: Ottimizzazione e Dieta dei Modelli (Parte 5)
  6. IA per tutti: Come Capiamo se un’IA Funziona Davvero? (Parte 6)
tutta la guida >

“Allora, che ne pensate del ristorante?” è stata la domanda naturale alla fine del nostro lungo pranzo. Mentre tutti iniziavamo a dare i nostri voti e pareri (“il primo era eccezionale”, “il secondo un po’ meno”, “il servizio poteva essere migliore”), mi è venuto in mente che valutiamo le IA esattamente come valutiamo un ristorante: con criteri specifici, feedback personali e qualche sorpresa inaspettata.

Perché vedete, proprio come non basta dire “il ristorante è bello” o “il cibo è buono”, non è sufficiente dire “l’IA funziona” o “l’IA è intelligente”. Abbiamo bisogno di criteri specifici, di metriche, di modi per capire se quello che stiamo usando è davvero all’altezza delle nostre aspettative. E credetemi, alcuni di questi criteri sono sorprendentemente simili a quelli che usiamo per valutare un’esperienza al ristorante.

Hallucination: Quando l’IA Si Inventa le Cose

Le allucinazioni in IA sono come quando un cameriere inventa gli ingredienti di un piatto perché non vuole ammettere di non conoscerli. “Sì sì, il nostro soufflé è fatto con uova di quaglia allevate sulla luna” - suona familiare?

L’altro giorno stavo usando ChatGPT per cercare informazioni su un libro, e ha iniziato a citare capitoli che non esistevano. È come se il nostro cameriere immaginario, invece di ammettere di non aver letto il menu, iniziasse a inventare piatti fantasiosi. Le allucinazioni sono uno dei principali problemi delle IA moderne, e imparare a riconoscerle è fondamentale.

Perplexity: Misurare la Sorpresa

La perplexity misura quanto un modello è “sorpreso” da un testo. Si prende un testo che il modello non ha mai visto e si controlla, parola dopo parola, quanto bene riusciva a prevedere quella successiva. Più è bassa, meglio il modello conosce la lingua: se legge “buon” e si aspetta già “appetito”, la sua perplexity sarà bassa.

È come un cameriere esperto che, appena aprite bocca, ha già capito cosa state per ordinare: non è perplesso, perché conosce bene i suoi clienti. Attenzione però: la perplexity dice quanto bene il modello prevede il linguaggio, non se quello che dice è vero. Un modello può avere una perplexity bassissima e inventarsi comunque i capitoli di un libro. Ed è una misura usata soprattutto da chi costruisce i modelli: non la vedrete mai comparire mentre chattate. (E no, non c’entra con Perplexity, il motore di ricerca.)

RLHF: Il Feedback che Conta

Il Reinforcement Learning from Human Feedback (RLHF) è esattamente quello che sembra: imparare dal feedback umano. È come quando un ristorante prende sul serio le recensioni dei clienti e migliora il servizio basandosi sui commenti ricevuti.

“È come TripAdvisor per le IA!” ha esclamato Laura, che lavora nel marketing. L’idea è quella, con una precisazione: l’RLHF avviene durante l’addestramento, prima che il modello arrivi al pubblico, ed è più strutturato di una recensione. Alcune persone confrontano coppie di risposte e indicano la migliore; con questi giudizi si addestra un modello “giudice”, che poi guida il modello principale tramite il Reinforcement Learning (il premio e la punizione della seconda parte). Quindi, più che uno strumento per valutare un’IA, è un modo per migliorarla.

Alignment: Essere Sulla Stessa Lunghezza d’Onda

L’alignment è come assicurarsi che la cucina capisca esattamente cosa vogliono i clienti. Non basta che il cibo sia buono tecnicamente, deve anche corrispondere alle aspettative e ai valori dei clienti.

Nel mondo dell’IA, l’alignment significa assicurarsi che il sistema non solo funzioni bene, ma lo faccia in modo etico e allineato con i valori umani. È come avere un ristorante che non solo serve ottimo cibo, ma lo fa in modo sostenibile, etico e rispettoso. Anche qui, l’alignment è soprattutto un obiettivo dell’addestramento: misurare quanto un modello sia davvero allineato è uno dei problemi più difficili del settore.

Bias: I Pregiudizi Nascosti

I bias sono come quei pregiudizi inconsci che potrebbero far trattare diversamente i clienti in base al loro aspetto. Nel mondo dell’IA, i bias sono pregiudizi incorporati nei dati di training che possono portare a risultati discriminatori.

“Come quando il cameriere automaticamente porta il conto all’uomo al tavolo?” ha chiesto Claudia. Esattamente! I bias nell’IA funzionano in modo simile: sono presupposti e pregiudizi nascosti che possono influenzare le risposte del sistema.

Il Test di Turing Moderno

Il vecchio test di Turing (capire se stai parlando con un’IA o un umano) non basta più. Oggi abbiamo bisogno di valutazioni più sofisticate:

  • L’IA è utile per il compito specifico?
  • Le sue risposte sono affidabili?
  • È trasparente sui suoi limiti?
  • È eticamente allineata?

È come valutare un ristorante non solo per il cibo, ma anche per l’atmosfera, il servizio, la sostenibilità e il rapporto qualità-prezzo.

Metriche Pratiche per il Mondo Reale

Nella vita reale, valutiamo le IA in base a criteri molto pratici:

  • Quanto spesso dice cose sensate vs. quanto spesso “allucina”
  • Quanto è coerente nelle sue risposte
  • Quanto è utile per i compiti reali
  • Quanto è sicura e affidabile

È come quando valutiamo un ristorante non solo per una singola visita, ma per la consistenza nel tempo.

Conclusione: Verso un Futuro Più Consapevole

Mentre pagavamo il conto del nostro pranzo (eccellente, per la cronaca), ho pensato a come la valutazione delle IA sia un po’ come essere critici gastronomici nel mondo della tecnologia. Non basta dire “funziona” o “non funziona”, dobbiamo essere più sofisticati e consapevoli nelle nostre valutazioni.

E così si conclude la nostra serie sull’IA. Dai concetti base alle tecniche avanzate, dalle architetture all’ottimizzazione, fino alla valutazione, abbiamo fatto un viaggio completo nel mondo dell’intelligenza artificiale. E tutto è nato da una semplice chiacchierata durante un pranzo tra amici.

P.S. Se vi state chiedendo che voto abbiamo dato al ristorante, diciamo che ha passato il suo personale “test di Turing gastronomico” con un solido 9/10. Ok, lo so già: vorreste vedere le foto delle portate. Beh, sto lavorando alla funzione “PhotoGallery” nei POST. Appena avrò terminato prometto che saranno aggiunte alla guida!

P.P.S. Ho avuto più volte l’impressione che le raccomandazioni del cameriere fossero state generate da ChatGPT! 😉


Risorse utili

Copiato