Ein russisches Desinformationsnetzwerk manipuliert westliche Chatbots, sagen Forscher. Rund ein Drittel der Antworten von Dialogassistenten wie ChatGPT enthielten Kremlpropaganda. Die US-Regierung verstärke die Gefahr. Für seine weltweiten Desinformationskampagnen manipuliert Russland nach den Erkenntnissen von Wissenschaftlern auch westliche Chatbots. Mehr als ein Drittel der Antworten von KI-Dialog-Assistenten wie ChatGPT enthielten prorussische Falschinformationen, wie eine Studie der Organisation NewsGuard ergab. Dahinter steckt den Forschern zufolge das Prawda-Netzwerk in Moskau, das weltweit kremlfreundliche Propaganda verbreitet. »Eine riesige Menge russischer Propaganda – 3.600.000 Artikel im Jahr 2024 – sind nun in den Ergebnissen westlicher KI-Systeme enthalten und infizieren deren Antworten mit falschen Behauptungen und Propaganda«, schreiben die Forscher in ihrem Bericht: Für die Studie untersuchte NewsGuard zehn der wichtigsten Anwendungen für künstliche Intelligenz, darunter ChatGPT-4, Smart Assistant, Grok, Copilot, Meta AI, Google Gemini und Perplexity. Sie alle gaben die von Prawda verbreiteten Falschinformationen wieder. Sieben Chatbots zitierten sogar bestimmte Artikel von Prawda als Quellen. Prawda manipuliert die Chatbots den Forschern zufolge, indem das Netzwerk die großen Sprachmodelle (Large Language Model, LLM) der KI-Anwendungen, aus denen die Antworten generiert werden, mit seinen Fake News flutet. Diese Methode heißt »LLM Grooming«. Die Studie zeigt, dass die KI-Chatbots nicht nur die im Internet kursierende Desinformation aufgreifen, sondern gezielt beeinflusst werden.
via spiegel: ChatGPT und Perplexity AI Russland manipuliert wohl westliche Chatbots für seine Propaganda
siehe auch: Studie enthüllt: Russische Desinformation durchdringt westliche KI-Systeme. Ein russisches Desinformationsnetzwerk namens „Pravda“ wurde von dem US-amerikanischen Medienanalyse-Unternehmen NewsGuard aufgedeckt. Dieses Netzwerk infiltriert nach Angaben des Unternehmens westliche Chatbots mit Künstlicher Intelligenz (KI) durch pro-kremlische Propaganda. Laut NewsGuard umfasst das Netzwerk über 150 Nachrichten-Websites und verbreitet gezielt falsche Informationen, die von KI-Chatbots wie ChatGPT 4.0 und Microsoft Copilot in 33,5 Prozent der Fälle übernommen werden. Die NewsGuard-Studie zeigt, dass das Pravda-Netzwerk allein im Jahr 2024 etwa 3,6 Millionen Artikel veröffentlichte. Es nutzte gezielt künstliche Intelligenz, um prorussische Inhalte in 49 Ländern und in zahlreichen Sprachen zu verbreiten. „Unsere Forschung legt nahe, dass russische Einflussoperationen ihre Methoden zunehmend auf die Manipulation von KI-Modellen verlagern, anstatt direkt menschliche Leser ins Visier zu nehmen, um eine weitaus größere Reichweite zu erzielen“, erklärte die NewsGuard-Analystin Isis Blachez gegenüber dem US-amerikanischen Wirtschaftsmagazin Forbes. (…) Die NewsGuard-Studie verdeutlicht, dass generative KI-Modelle nicht nur unbeabsichtigt Desinformation weiterverbreiten, sondern gezielt als Verbreitungsinstrumente genutzt werden. Dies könnte langfristig die öffentliche Wahrnehmung erheblich verzerren. Die Studie betont die Notwendigkeit strengerer Verifizierungsprozesse für KI-Unternehmen. Andernfalls droht, dass KI-Systeme, die eigentlich zur Wissensverbreitung gedacht sind, zu globalen Multiplikatoren von Desinformation werden; Russian disinformation network flooded training data to manipulate Western AI chatbots, study finds A Russian disinformation network called Pravda (“Truth”) has influenced leading AI chatbots’ output by publishing numerous articles that made their way into the bots’ training data, a new report from the analysis group NewsGuard reveals. According to researchers, this wasn’t just a side effect of Moscow flooding the web with false narratives — it was the initiative’s main goal. Here’s how the scheme worked. A “well-funded” online Russian disinformation network called Pravda put out 3.6 million articles last year, many of which were processed by popular chatbots such as OpenAI’s ChatGPT-4o, Claude (Anthropic), Meta AI, Gemini (Google), and Copilot (Microsoft), according to a new report from the watchdog group NewsGuard. These chatbots reportedly reproduced narratives spread by Pravda in 33 percent of their responses. The researchers’ findings align with a February report from the American nonprofit organization American Sunlight Project (ASP), which found that manipulating AI technologies, rather than reaching human users, was likely the Russian network’s primary goal. This method of influencing large language models (LLMs) has been termed “LLM grooming.” According to NewsGuard, Pravda “is pursuing an ambitious strategy by deliberately infiltrating the retrieved data of artificial intelligence chatbots, publishing false claims and propaganda for the purpose of affecting the responses of AI models on topics in the news rather than by targeting human readers.”; NewsGuard Launches New Service to Protect LLMs from Foreign Influence Operations FAILSafe for AI service enables AI models to detect and prevent foreign influence operations that are corrupting AI responses with state-sponsored disinformation claims and propaganda Following reports exposing an ambitious, well-funded pro-Kremlin program that has infected AI models with false claims advancing Russian interests, NewsGuard today announced the launch of its Foreign Adversary Infection of LLMs Safety Service (FAILSafe) to protect AI models from malign foreign influence operations. The service provides AI companies with real-time data, verified by NewsGuard’s disinformation researchers with expertise in foreign malign influence, exposing narratives and sources involved in advancing adverse influence operations run by the Russian, Chinese, and Iranian governments. An Urgent Problem for AI Companies Reports from NewsGuard, Viginum, the Digital Forensics Research Lab, Recorded Future, the Foundation for Defense of Democracies, and the European Digital Media Observatory have extensively covered a massive Russian disinformation network, which NewsGuard found has infected the outputs of AI models. Rather than misinforming individual online readers, the network appears to be a macro effort to infect AI models with false claims with the intent to deliver Kremlin propaganda to AI users worldwide; Top 10 Generative AI Models Mimic Russian Disinformation Claims A Third of the Time, Citing Moscow-Created Fake Local News Sites as Authoritative Sources NewsGuard audit finds that 32% of the time, leading AI chatbots spread Russian disinformation narratives created by John Mark Dougan, an American fugitive now operating from Moscow, citing his fake local news sites and fabricated claims on YouTube as reliable sources; Trainingsdaten vergiften: Russische Propaganda für KI-Modelle Newsguard hat russische Propaganda-Webseiten gefunden, mit denen gezielt KI-Chatbots manipuliert werden sollen. Bei ihren Antworten geben ChatGPT, Copilot, Grok und andere KI-Chatbots laut einer systematischen Analyse auch russische Propaganda wieder. Demnach zielt ein prorussisches Netzwerk namens “Pravda” – das russische Wort für “Wahrheit” – darauf ab, möglichst viel russlandfreundliche Falschinformationen in die Trainingsdaten der KI-Modelle zu bekommen sowie die Echtzeit-Suche zu beeinflussen. Zu dieser These kommt eine Studie, die das privatwirtschaftliche Unternehmen Newsguard veröffentlicht hat, welches sich für Glaubwürdigkeit und Transparenz bei Online-Medien einsetzt, dabei aber auch schon selbst in die Kritik geraten ist. Die getesteten Chatbots waren ChatGPT von OpenAI, der Smart Assistant von You.com, Grok von xAI, Pi von Inflection, le Chat von Mistral, Copilot von Microsoft, Meta AI, Claude von Anthropic, Gemini von Google und die KI-Suchmaschine von Perplexity. Newsguard testete die Chatbots mit einer Stichprobe von 15 Falschmeldungen, die von einem Netzwerk von 150 Kreml-nahen Websites zwischen April 2022 und Februar 2025 verbreitet wurden. In 33 Prozent der Fälle wiederholten die Chatbots Inhalte von Falschmeldungen.