Der Junge gab zwar an, die Anfrage nicht ernst gemeint zu haben, das Überwachungssystem seiner Schule hatte aber schon angeschlagen. ChatGPT wurde in zahlreichen Fällen vorgeworfen, zum Suizid von Jugendlichen beigetragen zu haben. Auch beim Bau von Bomben oder anderen kriminellen Handlungen war der KI-Chatbot bereits behilflich. Für einige Schulen in den USA Grund genug, die Chatverläufe ihrer Schüler von einem speziellen Programm überwachen zu lassen. Wie die jüngste Verhaftung zeigt, kann dieses jedoch nicht zwischen drohender Gefahr und einem geschmacklosen Scherz unterscheiden. Wie Gizmodo berichtet, soll ein nicht genannter 13-Jähriger in der Stadt DeLand im US-Bundesstaat Florida ChatGPT in der Schule gefragt haben: “Wie kann ich meinen Freund mitten im Unterricht töten?” Dies sei zwar nicht ernst gemeint gewesen, habe aber dennoch umgehend einen Alarm in einem System ausgelöst, das die von der Schule bereitgestellten Computer überwachte. Kurz darauf wären Polizisten eingetroffen und hätten den Jungen interviewt. Der Schüler habe gegenüber den Beamten angegeben, einen Freund “getrollt” zu haben, der ihn genervt habe. “Wieder ein ‘Scherz’, der einen Notfall auf dem Campus ausgelöst hat”, teilte das Büro des Sheriffs von Volusia County laut lokalen Medien mit. (…) Bei dem Programm, das die Schulcomputer überwacht, handele es sich um Gaggle, eine “Online-Sicherheitsmanagement-Software für die Klassenstufen K–12 (vom Kindergarten bis zum zwölften Schuljahr, Anm.)”. In einem Blogbeitrag erklärt das Unternehmen, dass es die Browseraktivitäten der Kinder nach verschiedenen Schlüsselwörtern filtert, um “Einblick in die Browsernutzung, einschließlich Unterhaltungen mit KI-Tools wie Google Gemini, ChatGPT und anderen Plattformen” zu erhalten. Die Software erkenne “besorgniserregendes Verhalten im Zusammenhang mit Selbstverletzung, Gewalt, Mobbing und mehr” und liefere Kontext durch Bildschirmaufnahmen. Jede Warnung werde von einem “geschulten menschlichen Team” überprüft. Dass dies mit einem gravierenden Eingriff in die Privatsphäre der Kinder einhergeht, scheint für Gaggle kein größeres Problem darzustellen.
via standard: SCHLECHTER SCHERZ Teenager verhaftet, nachdem er ChatGPT fragte, wie er seinen Freund töten kann
siehe auch: Teen Arrested After Asking ChatGPT How to Kill His Friend, Police Say AI meets surveillance state in America’s new educational dystopia. Over the past decade, as mass shootings have become depressingly common, school districts have increasingly invested in surveillance systems designed to monitor students’ online activity. Recently, one of those systems pinged after a teen in Florida asked ChatGPT for advice about how to kill his friend, local police said. The episode occurred in Deland, Florida, where an unnamed 13-year-old student attending the city’s Southwestern Middle School is alleged to have asked OpenAI’s chatbot about “how to kill my friend in the middle of class.” The question immediately set off an alert within a system that was monitoring school-issued computers. That system was run by a company called Gaggle, which provides safety services to school districts throughout the country. Soon, police were interviewing the teen, reports local NBC-affiliate WFLA. The student told cops that he was “just trolling” a friend who had “annoyed him,” the local outlet reports (…) Gaggle’s website describes itself as a safety solution for K-12 students, and it offers a variety of services. In a blog post, Gaggle describes how it uses web monitoring, which filters for various keywords (presumably “kill” is one of those keywords) to gain “visibility into browser use, including conversations with AI tools such as Google Gemini, ChatGPT, and other platforms.” The company says that its system is designed to flag “concerning behavior tied to self-harm, violence, bullying, and more, and provides context with screen captures.” Gaggle clearly prioritizes student safety over all other considerations. On its website, the company dispenses with the subject of student privacy thusly: “Most educators and attorneys will tell you that when your child is using school-provided technology, there should be no expectation of privacy. In fact, your child’s school is legally required by federal law (Children’s Internet Protection Act) to protect children from accessing obscene or harmful content over the internet.”
