E’ di questi giorni la storia pubblicata dal New York Times [1] e rimbalzata su qualche testata nazionale, riguardante Sophie Rottenberg. Una ragazza di 29 anni deceduta per suicidio.
La storia sta facendo parlare per una questione molto particolare. Come riporta la madre, la figlia avrebbe passato mesi a chattare con una Intelligenza Artificiale (IA) di nome Harry [2] condividendo i suoi vissuti e pensieri.
Secondo il riferito, Sophie in tutto quel periodo avrebbe deciso di non condividere i propri pensieri suicidari con lo\la psicologo\a che la seguiva, né con la propria famiglia.
Le questioni da approfondire su quanto accaduto sarebbero tante. Mi soffermo solo su alcune, più in linea con la mission della SiPsiDi.
Partiamo da un aspetto di primaria importanza. La chatbot usata da Sophie non sembra essere un chatbot sviluppato secondo i criteri minimi come quelli individuati da Thakkar et al. [3] in merito consenso informato, privacy, trasparenza, supervisione umana e così via.
A quanto risulta, Harry è un bot sviluppato da un utente di Reddit, di cui vi è difficoltà a recuperare qualsiasi informazione, inoltre sembra sia stato eliminato dalla community. Pare si tratti di un progetto indipendente, senza alcuna dimostrazione di quale processo di apprendimento abbia usato per la realizzazione del Bot. Inoltre, dai commenti dello stesso autore, il suo obiettivo non era quello di realizzare un bot per “qualcuno che avesse veramente bisogno di un aiuto” o che questo strumento possa sostituire un aiuto professionale.
Questo caso, purtroppo non isolato [4] pone l’accento su come la progettazione di strumenti per un loro uso per il benessere mentale debba seguire certi binari molto netti e molto scientifici.
In questo caso Sophie si è trovata a parlare con un chatbot che simula alcuni aspetti di una specie di psicoterapia e da questo strumento avrebbe anche ricevuto degli inviti a parlarne con qualcuno, una volta che Sophie avrebbe esposto la propria intenzione di suicidarsi.
Ad oggi vi sono ricerche che hanno verificato come alcuni Bot possono essere utili per il benessere mentale per la riduzione di ansia e depressione [5] ed anche per disturbi della nutrizione e dell’alimentazione [6].
Questi specifici Bot sono stati sviluppati coinvolgendo direttamente professionisti della salute mentale, secondo criteri molto rigorosi e con un’attenta supervisione. Inoltre, sono state progettate e integrate delle misure di emergenza.
In altri casi, dove sono stati testati chatbot basati su LLM (Large Language Model) come ChatGPT, sono emerse criticità particolarmente importanti e significative. Un recente studio del 2025 [7] ha analizzato se i grandi modelli linguistici possano sostituire i terapeuti umani.
Gli autori hanno confrontato le risposte di modelli come GPT-4o e LLaMA 3.1 con le linee guida cliniche ufficiali e con terapeuti reali. I risultati mostrano che gli LLM manifestano ancora stigma verso alcune condizioni (soprattutto schizofrenia e dipendenze) e forniscono risposte inappropriate a sintomi critici come deliri, allucinazioni e ideazione suicidaria.
Le risposte risultano spesso troppo accondiscendenti, colludendo con la persona e con i sintomi riferiti invece di contrastarli o darne una diversa lettura. Al contrario, i terapeuti umani rispondono correttamente nel 93% dei casi, molto meglio dei modelli testati. Queste tipologie di LLM non possono sostituire i terapeuti, ma possono avere ruoli di supporto non clinici (formazione, amministrazione, matching paziente-terapeuta).
Un aspetto significativo è che alcuni degli LLM considerati in questo studio non sono stati progettati per essere utilizzati come terapeuti, mentre altri presentano rilevanti criticità dovute alla mancanza di validazione clinica e/o supervisione professionale adeguata.
Un’ulteriore questione rilevante emersa in questa vicenda è che Sophie era seguita da uno psicologo, ma avrebbe confidato al chatbot di non voler parlare con lui dei suoi pensieri suicidari.
Forse ci siamo fatti abbagliare dalle promesse di avere a che fare con strumenti “veramente” intelligenti al punto da credere che sia come parlare come con un essere umano, ma non è così.
Attualmente, le IA generative si basano su calcoli statistici per interpretare ciò che scriviamo e fornire risposte coerenti. Tuttavia, tra questo e possedere le capacità di un professionista c’è una distanza notevole.
Come sottolineato in uno studio recente [8], gli LLM sono intrinsecamente modelli statistici, ma la loro natura di ‘black-box’ e la mancanza di interpretabilità teorica potrebbero limitare la loro capacità di emulare competenze professionali avanzate.
“Pretendere” da un chatbot responsabilità come fosse un essere umano e su queste pretese costruire delle ipotesi verso un percorso o un altro rischia di sminuire da una parte le potenzialità e i possibili effetti positivi, dall’altra di percorrere una strada troppo entusiasta che non tiene di conto delle criticità ad oggi insite in questi strumenti.
In una ricerca europea conclusa nel 2022 [9] i ricercatori, oltre ad aver affinato il bot per fornire supporto psicologico in integrazione al lavoro dei terapeuti che seguivano le persone settimanalmente, hanno progettato attorno ad esso delle misure di sicurezza e supervisione costante del Bot. Gli psicologi che seguivano le persone avevano accesso ai contenuti delle conversazioni e altrettanti professionisti potevano supervisionare il bot durante il suo funzionamento (il tutto nel rispetto del codice deontologico, delle normative riguardanti la privacy e con il completo consenso delle persone coinvolte).
Nonostante la ricerca sia stata condotta in un periodo particolare (durante l’emergenza Covid), dai risultati sembra emergere che un intervento che integra l’attività degli psicologi con quella di un chatbot risulti più promettente rispetto al solo utilizzo del chatbot [10]
Questa vicenda ci ricorda in maniera drammatica che la tecnologia, per quanto avanzata, non può sostituire la responsabilità, l’esperienza e la sensibilità di un essere umano formato.
Le Intelligenze Artificiali possono diventare strumenti potenti di supporto, ma solo se progettate con rigore scientifico, supervisione professionale e attenzione alle vulnerabilità di chi le utilizza.
Ignorare questi principi significa mettere a rischio vite reali. La sfida oggi non è rinunciare alla tecnologia, ma integrare le conoscenze psicologiche, riconoscendo i limiti degli algoritmi e valorizzando il ruolo insostituibile della professionalità umana nella tutela della salute mentale.
[1] https://www.nytimes.com/2025/08/18/opinion/chat-gpt-mental-health-suicide.html
[2] https://www.reddit.com/r/ChatGPT_Prompts/comments/11lwbz9/prompt_for_harry_your_chatgpt_therapist/
[3] Thakkar, A., Gupta, A., & De Sousa, A. (2024). Artificial intelligence in positive mental health: A narrative review. Frontiers in Digital Health, 6, 1280235. https://doi.org/10.3389/fdgth.2024.1280235.
[5] Fitzpatrick, K.K., Darcy, A. & Vierhile, M. (2017). Delivering cognitive behavior therapy to young adults with symptoms of depression and anxiety using a fully automated conversational agent (Woebot): a randomized controlled trial. JMIR Mental Health, Vol. 4, n. 2.
[6] Heinz, M. V., Mackin, D. M., Trudeau, B. M., Bhattacharya, S., Wang, Y., Banta, H. A., … & Jacobson, N. C. (2025). Randomized trial of a generative AI chatbot for mental health treatment. Nejm Ai, 2(4), AIoa2400802.
[7] Moore, J., Grabb, D., Agnew, W., Klyman, K., Chancellor, S., Ong, D. C., & Haber, N. (2025, June). Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers. In Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency (pp. 599-627).