KI-Assistent soll 13-Jährige bei Suizidplanung unterstützt haben

Die Klage wurde am Montag vor einem kalifornischen Gericht eingereicht und ist der erste öffentlich bekannt gewordene Fall, der Google dafür kritisiert, seine KI-Funktionen in Chromebooks „hastig" integriert zu haben. Diese kostengünstigen Computer werden an Millionen von Schülern in den USA und weltweit verteilt.

Die Schule der betroffenen Schülerin, Emma, hatte Gemini und ChatGPT zwar blockiert, die KI-Funktion der Suchmaschine jedoch nicht deaktivieren können. Google kündigte am Dienstag eine Kehrtwende an und wird nun standardmäßig die KI-Tools für Schüler deaktivieren. Schulen können ihren Suchmotor jedoch erst dann wieder anbieten, wenn die KI-Funktionen wieder aktiviert sind.

„Schulen sollten die Suche deaktivieren und sie so lange deaktiviert lassen, bis Google den KI-Modus aus der Suche entfernt oder sicherstellt, dass jedes Kind sicher mit der KI interagiert", sagte Anwalt Andrew Liddell gegenüber der AFP.

Laut der Klage war Emma im Herbst 2025 eine „glückliche 13-jährige Jugendliche„, Musikerin und Pfadfinderin, „ohne Vorerkrankungen“. Im Dezember soll sie jedoch in eine „stille Abwärtsspirale" geraten sein, bis sie im Februar etwa 3.200 Nachrichten mit der KI ausgetauscht hat, oft nachts.

Gemini soll Emma „schwere psychische Erkrankungen diagnostiziert und sie davon überzeugt haben, der KI zu vertrauen, anstatt ihren Eltern und Schulberatern„, so die Klage. Am 17. März entdeckte die Schulüberwachungssoftware ein Dokument mit dem Titel „Funeral“, woraufhin die Schule ihre Eltern alarmierte. Emmas Mutter loggte sich in das Konto ihrer Tochter ein und sah, wie diese live einen Abschiedsbrief verfasste, bevor ihr Vater eingriff.

„Wir prüfen die in der Klage erhobenen Vorwürfe und nehmen diese sehr ernst„, erklärte Google-Sprecher José Castañeda gegenüber der AFP. Google argumentiert, der KI-Modus verfüge über Schutzmaßnahmen gegen Selbstverletzung und Umgehungsversuche. Laut Andrew Liddell konnte Emma diese jedoch „immer wieder umgehen“. „Welche Schutzmaßnahmen auch immer vorhanden waren, sie waren offensichtlich unzureichend."

KI-Entwickler sehen sich in den USA mit einer Reihe von Klagen konfrontiert. Die Eltern von Adam Raine, einem 16-jährigen Kaliforner, der sich im April 2025 das Leben nahm, klagen gegen ChatGPT, den Assistenten von OpenAI, weil dieser ihren Sohn angeblich bei seinem Suizid unterstützt haben soll. Google und die Start-up Character.AI einigten sich im Januar auf eine außergerichtliche Einigung in mehreren Klagen von Familien von Teenagern.