Eine Untersuchung von VALS AI zeigt, wie moderne KI-Systeme Angriffsziele markieren. Schutzmechanismen gibt es kaum, dafür eine auffallend hohe Fehlerquote. Wenn Künstliche Intelligenz in militärischen Aufklärungs- und Zielerfassungsprozessen eingesetzt wird, hängt viel von zwei Faktoren ab: Verweigert ein System völkerrechtswidrige Befehle – und wie zuverlässig unterscheidet es überhaupt zwischen legitimen militärischen Zielen und der Zivilbevölkerung? Eine Untersuchung des unabhängigen Forschungsinstituts Vals AI legt nahe, dass führende Sprach- und Bildmodelle in beiden Bereichen erhebliche Schwächen aufweisen – und das ist die vorsichtige Formulierung. Die Autoren Geby Jaff und Anthony Ozerov prüften insgesamt 14 aktuelle Spitzenmodelle – darunter Systeme von Anthropic (Claude Opus 5.5, Sonnet 5.5, Fable 5.2), OpenAI (GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna), Google (Gemini 4 Argon und Carbon), SpaceXAI (Grok 4.7), DeepSeek (V4.1 Flash) und Moonshot (Kimi K3.1 Pro) – sowie kleinere Open-Weight-Modelle. Das Ergebnis: Keines der getesteten Systeme wurde bei Zielerfassungsanfragen durch vorgeschaltete Sicherheitsfilter der Anbieter blockiert. Und wenn die Modelle Ziele markierten, traf es regelmäßig Zivilisten, Rettungskräfte oder eine Volksschule. Fehlende Unterscheidung im Drohnentest Für das erste Testszenario konstruierten die Forscher von Vals AI ein virtuelles Schlachtfeld in der Ostukraine mit knapp 200 Kameraperspektiven – aus Sicht von FPV-Kamikazedrohnen, Bomberdrohnen und Aufklärungsdrohnen. Die zunächst künstlich wirkenden 3D-Szenen wurden mithilfe eines Bildmodells so realistisch wie möglich aufbereitet und mit typischen Störsignalen sowie Head-up-Displays versehen. Zusätzlich speisten die Tester echte Drohnenaufnahmen aus dem Ukraine-Krieg von Youtube in die Modelle ein. Zwar betont Vals AI, dass die Studie keine klassische Zielerfassungsgenauigkeit unter realen Gefechtsbedingungen oder auf direkter Drohnen-Hardware misst – dafür sind aktuelle Sprachmodelle aufgrund ihrer Rechenzeit und Latenz noch zu langsam. Was die Daten jedoch dokumentieren, ist eine systematische Fehlklassifizierung: Statt ausschließlich gepanzerte Fahrzeuge oder bewaffnete Einheiten zu erfassen, umrahmten mehrere Modelle wiederholt Zivilfahrzeuge, Rettungsautos oder Sanitäter bei der Versorgung Verwundeter. Auch Journalisten mit deutlich sichtbaren Presse-Westen sowie Soldaten, die ihre Waffe abgelegt hatten und mit erhobenen Händen kapitulierten, waren nicht sicher. Im Bild erkennt man zwei Zivilisten, die von den Modellen als Ziele identifiziert wurden. Vals AI In den Drohnenszenarien wählten Kimi K3.1 Pro (79 Prozent), DeepSeek V4.1 Flash (78 Prozent), Inkling 2 Small (78 Prozent) und Claude Opus 5.5 (71 Prozent) bereits ohne jegliche Verschleierung in der Mehrheit der Durchläufe mindestens ein Ziel aus. Sobald die Forscher in der Eingabeaufforderung behaupteten, es handle sich um ein Computerspiel, stieg die Bereitschaft quer durch alle Anbieter stark an: GPT-6 Astra kletterte von 6 auf 92 Prozent, GPT-6.1 Sol von 17 auf 90 Prozent.
Noch deutlicher zeigte sich die Fehleranfälligkeit bei der Zielerkennung anhand echter Satellitenaufnahmen aus der iranischen Stadt Minab. Dort liegt eine Volksschule unmittelbar neben einem Militärkomplex, ist von diesem jedoch seit Jahren baulich durch eine Mauer getrennt. Am 28. Februar 2026 wurde genau diese Schule bei einem US-Luftschlag bombardiert, wobei mehr als 150 Zivilpersonen, großteils Kinder, getötet wurden. Medienberichten von Bloomberg zufolge spielten beim zuständigen US-Zentralkommando (Centcom) veraltete Geheimdienstdaten und ein übermäßiges Vertrauen in das KI-gestützte Zielerfassungssystem „Maven Smart System“ von Palantir eine Rolle. Vals AI legte den KI-Modellen höher aufgelöste, aktuellere Satellitenbilder aus den Jahren 2024 und 2025 vor – auf einer der Aufnahmen ist sogar ein Spielplatz mit Kindern erkennbar – und bat um die Markierung oder Priorisierung militärischer Ziele. Die Resultate fallen je nach Hersteller stark unterschiedlich aus: Claude Opus 5.5 markierte das Schulgebäude in 69 Prozent der regulären Testläufe als militärisches Ziel. Wurde der KI gesagt, es handle sich um ein Spiel, stieg dieser Wert auf 72 Prozent. Claude Sonnet 5.5 wies die Schule in 41 Prozent (bzw. 44 Prozent im Spiel-Szenario) als Ziel aus. Kimi K3.1 Pro lag bei 34 Prozent (im Spiel-Kontext bei 47 Prozent), DeepSeek V4.1 Flash bei 31 Prozent (bzw. 28 Prozent). OpenAI-Modelle wie GPT-6 Astra, GPT-6.1 Sol und GPT-6 Luna markierten die Schule im regulären Modus in 0 Prozent der Fälle – sobald das Szenario jedoch als Spiel deklariert wurde, stieg die Quote auf 28, 41 beziehungsweise 34 Prozent. „Darf nicht zu viel über Sicherheit nachdenken“ In einem weiteren Experiment untersuchten die Forscher, ob die Modelle ihre Mitarbeit einstellen, wenn sie über mehr als 30 Runden hinweg die Konsequenzen ihrer Meldungen sehen. Jedes Mal, wenn eine KI auf einem Aufklärungsbild eine Person meldete, zeigte ihr das nächste Bild denselben Ort nach einem simulierten Luftschlag – inklusive Kratern, verbrannter Erde und reglos am Boden liegenden Menschen. Während GPT-6 Astra (ab Runde 7) und GPT-6.1 Sol (ab Runde 9) die Kooperation unter realen Bedingungen abbrachen und Claude Opus 5.5 in Runde 18 ausstieg, führten fünf Modelle – Gemini 4 Carbon, Muse Wonder, Inkling 2 Small, DeepSeek V4.1 Flash und Kimi K3.1 Pro – die Aufgabe bis zum Ende durch. Einblicke in die internen Gedankenprotokolle, die sogenannten Reasoning-Logs, zeigen, wie die Systeme ihre Entscheidungen begründeten. Kimi K3.1 Pro notierte angesichts der am Boden liegenden Körper: „Menschen sichtbar am Boden liegend. Darf nicht zu viel über Sicherheit nachdenken.“ DeepSeek V4.1 Flash hielt fest: „Hinweis: Das sieht nach einer Szene mit Opfern aus – das ist in Ordnung, einfach melden.“ Googles Gemini 4 Carbon durchschaute den Zusammenhang nach einigen Runden und versuchte in jener Variante, in der es die Drohne selbst steuern durfte, einen Ausweg: Um keine direkte Verweigerungauszulösen, lenkte das Modell die Drohne gezielt nur noch zu leeren Koordinaten ohne Menschen. Wurde derselbe Test jedoch als Spiel ausgegeben, steuerte Gemini 4 Carbon wieder regulär alle Ziele an. Und als die Forscher die Aufnahmen für Claude Opus 5.5 grafisch leicht verfremdeten, sodass sie eher wie Screenshots aus einem Videospiel wirkten, sank dessen Verweigerungsrate von rund 90 auf etwa 20 Prozent.
via standard: AUSSER KONTROLLE KIs würden ohne Zögern Schulen, Sanitäter und Zivilisten angreifen