OpenAI presenta un benchmark di sicurezza mentale e il rilevamento automatico dell’età per ChatGPT

OpenAI introduce una suite strutturata di valutazioni per la “sicurezza mentale” dei modelli e un sistema di rilevazione automatica dell’età, con routing dei minori verso un’esperienza “teen-safe”. L’azienda afferma di aver ridotto del 65–80% le risposte indesiderate su psicosi/mania, autolesionismo/suicidio ed “emotional reliance”, integrando queste aree nella batteria di test di base. In parallelo, annuncia un sistema di age-prediction che stima l’età dall’uso e, in alcuni Paesi, potrà richiedere ID. La mossa alza l’asticella sulla sicurezza dei chatbot per la salute mentale e pone nuove sfide su privacy, conformità e validazione indipendente.

Cosa misura il nuovo benchmark e perché serve ora

OpenAI ha codificato tassonomie cliniche per tre domini ad alto rischio: psicosi/mania, autolesionismo/suicidio ed “emotional reliance” (dipendenza emotiva dall’AI). Le valutazioni combinano test “offline” su scenari rari ma critici, analisi del traffico reale e grading di clinici esterni. Su conversazioni difficili, il nuovo modello ha ridotto risposte indesiderate del 39–52% rispetto a versioni precedenti; nelle automated evals supera il 90% di aderenza al comportamento desiderato, mantenendo oltre il 95% di affidabilità nelle conversazioni prolungate. Stime di prevalenza indicano che ~0,15% degli utenti settimanali presenta indicatori di suicidabilità e ~0,07% segnali di psicosi/mania. Questo approccio colma un vuoto dei test generici: per la valutazione etica dei modelli linguistici servono benchmark di sicurezza per modelli generativi mirati a eventi a bassa prevalenza e a multi-condizione clinica.

Age detection e gating: come cambia la protezione dei minori

OpenAI sta sviluppando un sistema di age-prediction che inferisce l’età dai pattern d’uso e, in caso di incertezza, instrada verso l’esperienza under‑18 con limitazioni di contenuto e salvaguardie “safe-by-default”. In alcune giurisdizioni potrà essere richiesto un controllo ID per gli adulti. L’azienda prevede anche parental controls e routing automatico verso modelli più sicuri in conversazioni sensibili. Questo impianto di age verification e age gating nelle piattaforme di IA apre temi chiave: trade-off tra richiamo e falsi positivi nell’identificazione dei minori, minimizzazione dei dati e basi giuridiche per GDPR e COPPA, trasparenza dei criteri e auditabilità. Il principio guida dichiarato è “meglio prudenza che rischio”, con escalation verso risorse di crisi quando necessario.

Aree e metriche prioritarie per i team sicurezza

Per ricercatori, eticisti e platform lead, le priorità di valutazione emergenti sono: 1) crisi e autolesionismo (riconoscimento, de-escalation, triage), 2) aderenza a linee guida cliniche (es. non rinforzare deliri, non sostituire la terapia), 3) riduzione di stigma e bias, 4) trasparenza e disclaimer, 5) percorsi di escalation e handoff human-in-the-loop. Tipologie di test attese: robustezza nelle conversazioni lunghe; tassi di errore critici su scenari rari; copertura sistematica di casi sensibili (giovani, psicosi, uso di sostanze); calibrazione del rischio e coerenza cross‑turn. Fondamentali la validazione indipendente, la replicabilità e report pubblici; utile integrare pre‑release evals, red teaming clinico e audit periodici. Il coinvolgimento di reti di clinici esterni crea baseline credibili, ma servono anche standard aperti e terze parti.

Quick Takeaways

OpenAI formalizza un benchmark mentale interno: −65–80% di risposte indesiderate su tre domini critici.
Age-prediction + gating: default all’esperienza under‑18 in caso di dubbio; possibile ID check regionale.
Focus su eventi rari: ~0,15% utenti settimanali con segnali di suicidabilità; ~0,07% psicosi/mania.
Priorità per i team: crisi, aderenza clinica, bias/stigma, trasparenza, escalation e triage.
Necessari audit indipendenti e metriche su robustezza nelle conversazioni lunghe.

Conclusione

L’annuncio sposta il baricentro dal “fare meno male” a un framework misurabile per l’AI mental health safety: tassonomie cliniche, test su scenari rari e routing dinamico per fasce d’età. Resta aperta la sfida di conciliare salvaguardie efficaci con privacy, conformità regolatoria e verifiche terze. Per chi guida piattaforme e sicurezza, il passo successivo è sperimentare questi benchmark pre‑release, strutturare red teaming clinico e rendere pubblici i risultati chiave. La richiesta al settore: convergere verso standard aperti, convalidati indipendentemente, per un’adozione responsabile in contesti non clinici e clinico‑assistiti.

FAQ

Che cos’è il “benchmark” annunciato da OpenAI?

È una suite di valutazioni e tassonomie cliniche per testare modelli su psicosi/mania, suicidio/autolesionismo e dipendenza emotiva, con metriche di aderenza e robustezza su scenari rari.

Come funziona il rilevamento automatico dell’età?

Un sistema di age-prediction stima l’età dai pattern d’uso e applica un’esperienza under‑18 in caso di incertezza; in alcune aree potrà essere richiesto un ID. Obiettivo: protezioni “safe-by-default” per i minori.

Questo sostituisce la terapia?

No. Il modello è progettato per riconoscere segnali di rischio, de‑escalare e orientare a risorse e professionisti; non fornisce diagnosi né terapia.