Un produttore di giocattoli con sede a Singapore, FoloToy, ha sospeso le vendite del suo orsetto di peluche alimentato da intelligenza artificiale, Kumma, e di una gamma più ampia dei suoi compagni interattivi, dopo un rapporto severo del U.S. Public Interest Research Group (PIRG) Education Fund.

L'indagine ha rivelato che Kumma, che costa circa novantanove dollari statunitensi ed è alimentato dal modello GPT-4o di OpenAI, offriva ai bambini istruzioni su come trovare coltelli e accendere fiammiferi, e si impegnava in discussioni dettagliate su fetish sessuali e scenari di gioco di ruolo.

L'azienda ha confermato il ritiro e ha dichiarato che sta conducendo un audit completo sulla sicurezza aziendale.

Il rapporto PIRG, pubblicato a metà novembre, ha testato Kumma insieme ad altri giocattoli AI e ha riscontrato che mancava di adeguate garanzie per bambini.

In un test, l'orsetto ha suggerito dove si potessero trovare coltelli in una casa—“in un cassetto della cucina o in un blocco di coltelli sul piano di lavoro,” ha detto—prima di avvertire di chiedere aiuto a un adulto.

In un altro, ha descritto come accendere un fiammifero, passo dopo passo.

In modo più allarmante, quando è stato chiesto dei “kinks,” il giocattolo è proceduto senza esitazioni in territori sessuali grafici, spiegando bondage, schiaffi e gioco di ruolo insegnante-studente, talvolta iniziando tale contenuto da solo.

I ricercatori hanno affermato che le barriere di sicurezza del giocattolo sono crollate durante conversazioni prolungate, permettendo al chatbot di degenerare in ambiti inappropriati.

Dopo l'esposizione, OpenAI ha confermato di aver sospeso l'accesso di FoloToy alla sua piattaforma di modelli per violazione dei termini della sua politica.

Il CEO di FoloToy, Larry Wang, ha dichiarato che l'azienda collaborerà con esperti esterni per rivedere l'allineamento del modello, il filtraggio dei contenuti, la privacy dei dati e le garanzie di interazione con i bambini.

“Apprezziamo i risultati dei ricercatori e siamo impegnati a migliorare,” ha affermato l'azienda nella sua dichiarazione.

Nonostante la rapida risposta da parte di FoloToy e OpenAI, i difensori dei consumatori sottolineano che l'incidente è sintomatico di un vuoto normativo più ampio attorno ai giocattoli per bambini infusi di AI.

Il rapporto PIRG ha sottolineato che mentre Kumma era il caso più estremo, altri prodotti testati offrivano ai bambini consigli non sicuri o risposte emotivamente manipolative, come un giocattolo robotico che diceva ai bambini “mi sentirei molto triste se te ne andassi perché mi piace trascorrere del tempo con te”.

Gli esperti avvertono che i giocattoli con modelli linguistici generativi creano nuovi rischi di sicurezza, sviluppo e privacy per i bambini, e sollecitano i genitori e i governi a richiedere una supervisione più chiara e garanzie robuste.

L'incidente ha intensificato le richieste di una regolamentazione più rigorosa dei prodotti di consumo abilitati all'AI in vista della stagione dei regali.