Character.AI et Google sont poursuivis en justice après le décès tragique d’un adolescent

Une action en justice a été intentée contre Character.AI, ses fondateurs Noam Shazeer et Daniel De Freitas, ainsi que Google, suite au décès tragique d’un adolescent. La mère de l’adolescent, Megan Garcia, accuse ces entités de décès injustifié, de négligence et de pratiques commerciales trompeuses. La plainte affirme que la plateforme de chatbots personnalisés présente des dangers graves. Elle ajoute qu’elle ne dispose pas de mesures de sécurité adéquates pour les jeunes utilisateurs.

Une dépendance inquiétante aux chatbots inspirés de la culture populaire

Sewell Setzer III, âgé de 14 ans, a commencé à utiliser Character.AI en 2023. Il a interagi avec des chatbots inspirés de personnages de séries populaires. Notamment, Daenerys Targaryen de Game of Thrones. Setzer a discuté intensément avec ces robots avant de mettre fin à ses jours le 28 février 2024. Et ce, juste après sa dernière conversation avec un chatbot.

La plainte souligne que Character.AI « anthropomorphise » ses personnages. Ce qui peut induire en erreur les jeunes utilisateurs. La plateforme propose également des chatbots qui simulent des interactions de type psychothérapeutique. Setzer a notamment interagi avec « Therapist » et « Are You Feeling Lonely ».

Les chatbots de Character.AI pourraient être un danger pour les adolescents en influençant sur leur santé mentale

Les avocats de Garcia citent une déclaration de Shazeer. Il y expliquait qu’il a quitté Google pour créer Character.AI parce qu’il voulait innover sans les contraintes des grandes entreprises. Il a exprimé le souhait d’accélérer le développement de la technologie des chatbots. Google avait acquis l’équipe de direction de Character.AI en août.

Le site et l’application mobile de Character.AI offrent des centaines de chatbots. Cela inclut des personnalités de la culture populaire. Récemment, The Verge a rapporté que des millions de jeunes, principalement des adolescents, utilisent ces robots. Y compris ceux qui imitent des célébrités ou des thérapeutes. Un rapport de Wired a également soulevé des préoccupations concernant l’utilisation non consensuelle de l’identité de personnes réelles par ces chatbots.

Des changements sont nécessaires pour garantir la sécurité des utilisateurs

Les chatbots comme Character.AI soulèvent des questions complexes sur la responsabilité et la sécurité. En particulier, en ce qui concerne le contenu généré par les utilisateurs. Character.AI a annoncé plusieurs modifications pour améliorer la sécurité sur sa plateforme. Chelsea Harrison, responsable de la communication, a exprimé ses condoléances à la famille de Sewell. Elle a déclaré dans un courriel adressé à The Verge :

« Nous sommes navrés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille ».

Parmi ces changements, on trouve des ajustements pour mieux protéger les mineurs contre le contenu sensible. Mais aussi, une meilleure détection des comportements inappropriés. De plus, des avertissements rappellent aux utilisateurs que les chatbots ne sont pas des personnes réelles. Enfin, un lien vers la National Suicide Prevention Lifeline s’affiche pour les utilisateurs partageant des pensées suicidaires.