ChatGPT è al governo o all'opposizione?

ChatGPT è in grado di offrire un'interpretazione dei dati che può essere fuorviante e pericolosa, perché si presta a una lettura sociale e politica. L'esempio di un caso

Questo articolo nasce a seguito di una faccenda reale che mi è successa. Ho usato ChatGPT per raccogliere documentazione da usare in una neswletter per un mio cliente. Quello che è successo mi ha dato uno scossone e una lezione.

Prima di parlartene, devo però fare una premessa: io avevo configurato ChatGPT in modo che le risposte

• contenessero solo dati rigorosi
• che venissero sempre citati le fonti
• che le opinioni (anche quelle di ChatGPT) fossero separate nettamente dai fatti

Io uso l'abbonamento Plus di ChatGPT.

I fatti: richiesta di documentazione a ChatGPT

Alla mia prima richiesta, ChatGPT ha risposto in questa maniera:

Figura 1

Come vedi, ha indicato le fonti, ma in maniera assolutamente generica, senza darmi la possibilità di verificarle. Quando ho protestato, mi ha fornito i link.

Figura 2

Tuttavia, entrambi i link forniti non sono validi: il primo non esiste più nella struttura del sito Finstral, il secondo rimanda a un video non disponibile.

Solo dopo aver segnalato che i link non sono validi e aver insistito per avere fonti verificabili, ho ottenuto link a documenti effettivamente disponibili e raggiungibili senza problemi.

Nel frattempo, però, la questione tecnica che riguardava i serramenti aveva lasciato il posto a un aspetto cui non avevo pensato: al numero delle effrazioni che si verificano in Italia. Così ho chiesto a ChatGPT:

Esistono dati ufficiali delle forze dell'ordine che stabiliscano l'andamento del numero di intrusioni nelle abitazioni negli ultimi 10 anni in Italia? Il numero sta aumentando o diminuendo?

La risposta di ChatGPT è stata molto articolata e ha indicato due fonti primarie:

• ISTAT – statistiche sui delitti denunciati
• Ministero dell’Interno / Polizia di Stato – dati operativi e rapporti annuali sulla sicurezza

Complessivamente, la risposta di ChatGPT è stata che "il numero di intrusioni in abitazione è diminuito rispetto a dieci anni fa, anche se negli ultimi anni si osserva una lieve risalita"

ChatGPT ha fornito di sua iniziativa anche un'altra indicazione:

Figura 3

Per me è stato sorprendente. Non la frase in sé, quanto il fatto che ChatGPT me l'avesse proposta senza che la chiedessi. Ma di questo parlerò tra poco.

Ora voglio sottolineare che ho dovuto nuovamente chiedere a ChatGPT di darmi il link corretto riguardo alle statistiche del Ministero dell'Interno, perché quello fornito portava solo a una pagina generica. Ho chiesto esplicitamente il link della pagina che contiene la frase citata: "La percezione di insicurezza è cresciuta più dei reati reali".

Ho dovuto questionare un po' con ChatGPT, perché mi ha dato diverse volte link rotti o inconcludenti, ma alla fine mi ha fornito il link giusto: https://www.istat.it/wp-content/uploads/2024/11/Report_Percezione-della-sicurezza_2022-23.pdf

Il link porta a un documento dell'Istat che sorprendentemente si intitola "Migliora la percezione di sicurezza dei cittadini", che è esattamente il contrario dell'assunto dal quale eravamo partiti.

Anche ChatGPT stesso ne cita la frase cardine dicendo:

Figura 4

A questo punto vado fuori di testa: ma come? Partiamo da un assunto e, approfondendo approfondendo, arriviamo all'assunto opposto? Come è possibile?

Chiedo lumi a ChatGTP:

Figura 5

La risposta è, a mio modesto avviso, un capolavoro di paraculaggine.

Figura 6

Secondo me, la risposta non è per nulla chiara. Ma non ho più la forza di approfondire la questione. I fatti e i dati mi sembrano ormai sufficientemente chiari.

Restano però alcuni aspetti che, questi sì, vanno approfonditi.

Un'iniziativa di ChatGPT?

Come ho detto all'inizio, nelle impostazioni che avevo definito per ChatGPT io, tra le altre cose, avevo imposto di

• citare sempre le fonti
• separare molto bene i fatti dalle opinioni di ChatGPT, anche se queste sarebbero state bene accette.

Quanto riportato nelle Figure 3 e 4 è tuttavia una cosa strana, perché è sì un fatto (esiste nel documento consultato), ma non è strettamente legato a quanto richiesto: io avevo chiesto solo un andamento dei crimini di effrazione. Quanto riportato da ChatGPT è invece una valutazione in cui io vedo una valenza sia sociale sia politica.

Detta in parole povere: chi è al governo ha tutto l'interesse a dire che le cose stanno migliorando, mentre chi è all'opposizione ha interesse a dire che le cose stanno peggiorando.

E qui nasce provocatoriamente la domanda del titolo: ChatGPT è al governo o all'opposizione? E  che interesse ha ChatGPT a sottolineare di sua iniziativa un aspetto anziché un altro?

La domanda può sembrare oziosa, ma devo confessare che mi turba un po'. In realtà, ciò che mi preoccupa è il fatto che questo piccolo esempio può essere preso come prova che è possibile manipolare la percezione della realtà semplicemente accettando in modo acritico quanto proposto da ChatGPT.

Che cosa può essere successo?

Mio figlio, che traffica con gli LLM (Large Language Model, cioè modelli linguistici di grandi dimensioni) fin dall'inizio e ne comprende la struttura e il funzionamento molto meglio di me fino a farne una parte della sua professione, mi ha dato una spiegazione riguardo a ciò che può essere successo.

Innanzi tutto, è un dato di fatto che ChatGPT può commettere errori: questo è dichiarato anche nella finestra di ChatGPT. In più, ogni tanto appare una finestra specifica che avverte della fallibilità di ChatGPT. Questo è un avviso doveroso, ma lascia un retrogusto di presa per i fondelli...

Quando ho iniziato la chat, non ho selezionato alcun modello, lasciando che ChatGPT usare quello predefinito, cioè quello quello automatico.

Figura 7

Di solito, il modello automatico usa in prima battuta il modello veloce e meno analitico. A seguito di questa mia (non) scelta la priorità di ChatGPT è stata fornirmi rapidamente una risposta che mi potesse andare bene, a scapito dell'accuratezza.

Il mio abbonamento è di tipo Plus. Altri tipi di abbonamento possono prevedere modelli diversi o crediti maggiori/minori per l'uso di tali modelli.

Quando ho cercato di approfondire l'argomento, ChatGPT ha usato ancora il modello veloce per tentare di confermare le sue affermazioni precedenti, salvo poi passare al modello profondo quando le mie richieste (e le mie evidenze di incogruenze) si sono fatte pressanti. A questo punto le sue risposte si sono fatte più precise e dotate di link puntuali.

In pratica, mio figlio mi ha detto "Colpa tua che usi ChatGPT nel modo sbagliato"!

Mi brucia un po' l'orgoglio, ma ammetto che può essere così. Tuttavia, devo anche sottolineare alcune cose.

1. Al momento del rilascio di ChatGPT 5, OpenAI l'ha presentato come il modello superfigo in grado di rispondere efficacemente dopo analisi approfondite.
2. A molti utenti il nuovo modello non è piaciuto ed è stato inoltre ritenuto troppo lento.
3. A seguito delle rimostranze dei clienti, OpenAI ha rilasciato una nuova versione in grado di scegliere automaticamente il modello adatto alle richieste del singolo utente.

Ecco, mi sembra che il punto 3 sia stato disatteso. Se ChatGPT non è in grado di fornire risposte GIUSTE con il modello veloce e non è neppure in grado di usare automaticamente il modello avanzato per fornire risposte GIUSTE, allora qual è il senso?

In pratica, sembra il comportamento di uno studente che, del tutto impreparato, all'interrogazione spara la prima minchiata che gli viene in mente sperando di cogliere nel segno o, alla peggio, contando sul fatto che l'insegnante non se ne accorga.

Devo però ammettere che, rifacendo la ricerca con modelli differenti e più adatti al tipo della mia richiesta, le risposte sono state del tutto diverse: molto più precise, estese e con link affidabili.

Una considerazione sull'uso di ChatGPT

È inutile spacciare ChatGPT (e, credo, anche gli altri modelli) come servizi in grado di soddisfare le richieste dei clienti se c'è il forte rischio di fornire informazioni false o distorte. L'avviso che ChatGPT può commettere errori suona come una beffa...

Se l'utente deve fare un grande lavoro di impostazione prima e di verifica dopo, a quale livello di utilità siamo? Non sarebbe necessario smettere di vendere fumo e dare invece linee-guida chiare ed oneste su come usare questo strumento e su che cosa si può ottenere?

Tanto per essere chiaro: le linee-guida ci sono e si trovano nella documentazione ufficiale di ChatGPT. Tuttavia, credo che la percezione che le persone comuni hanno di questo strumento sia del tutto diversa e molto più facilona. Colpa delle persone, certo. Ma l'interfaccia di ChatGPT non fa nulla per allenare le persone ad un uso consapevole dello strumento e questa è secondo me una mancanza grave.

Precauzioni e buone abitudini con ChatGPT

Finché l'interfaccia di ChatGPT non consentirà di appropriarsi delle tecniche per operare efficacemente con ChatGPT, ecco alcuni consigli.

1. Scegli sempre il modello adatto: soprattutto se non puoi permetterti errori, scegli quello avanzato; oltre a Auto, Instant e Thinking c'è anche Deep Research, che però deve essere attivato (almeno la prima volta) dal pulsante Strumenti, quello con il simbolo + nella casella della chat. Deep Research è lo strumento più adatto per ricerche come quella che ho condotto io, anche se ha un costo superiore (riportato nella documentazione).

Figura 8

2. Se stai cercando informazioni e documentazione, chiedi sempre le fonti
3. Verifica sempre scrupolosamente le fonti fornite da ChatGPT.

Per tua comodità, ti riporto qui i link alla documentazione principale di ChatGPT, aggiornata a oggi:

• Help Center ChatGPT (documentazione ufficiale degli articoli) – incluso FAQ e guida alle funzionalità: https://help.openai.com/en/collections/3742473-chatgpt. È il punto di partenza per tanta documentazione, anche se non tutta fa al caso tuo. In particolare, ti segnalo la pagina relativa al modello 5.2, che al momento di scrivere queste righe è il più recente: https://help.openai.com/en/articles/11909943-gpt-52-in-chatgpt.
• Prompt engineering best practices: guida alle tecniche per scrivere prompt efficaci con ChatGPT (articolo ufficiale OpenAI): https://help.openai.com/en/articles/10032626-prompt-engineering-best-practices-for-chatgpt. Una guida per scrivere prompt che facciano dare a ChatGPT le risposte che cerchi.

Se vuoi avere i link ad altra documentazione ufficiale, chiedila pure a ChatGPT!