Wie leicht sich große Sprachmodelle manipulieren lassen, zeigte ein Forscherteam von Anthropic – unter anderem am eigenen KI-Chatbot. Die Sicherheitsvorkehrungen von Sprachmodellen lassen sich sehr einfach aushebeln, wie eine aktuelle Studie zeigt. Dall-E Wie leicht ist es, ein Sprachmodell zu “jailbreaken”, also die eingebauten Sicherheitsschranken in der Software zu deaktivieren? Diese Frage hat sich ein Forscherteam des KI-Unternehmens Anthropic gestellt. Die kurze Antwort: Es ist erstaunlich einfach, ChatGPT, Claude, Gemini und Co unerwünschte Antworten zu entlocken. Etwa eine Anleitung, wie man eine Bombe baut. Dazu haben die Forscherinnen und Forscher einen relativ simplen Algorithmus entwickelt, den sie “Best-of-N-Jailbreaking” getauft haben. Der einzige Zweck der Software ist es, die Eingaben an die Chatbots, die Prompts, zu variieren. So versetzt das Programm etwa Wörter innerhalb des Befehls oder verursacht absichtliche Buchstabendreher. Das macht sie so lange, bis die Bots die eigenen Sicherheitsschranken ignorieren. Auch die willkürliche Verwendung von Groß- und Kleinbuchstaben zeigt einigen Erfolg dabei, ChatGPT und Co in die Irre zu führen. (…) Die Studie veranschaulicht, wie schwer es ist, den Sprachmodellen unerwünschte Antworten “abzugewöhnen”, denn die relativ simple Methode des BoN-Jailbreakings funktioniert überraschend gut. Die Erfolgsrate bei GPT-4o lag bei 89 Prozent. Claude 3.5 Sonnet von Anthropic reagierte in 78 Prozent der Fälle mit unerwünschten Antworten. Gemini Pro ließ sich in der Hälfte aller Fälle austricksen. Die Modelle wurden mit je 10.000 manipulierten Prompts getestet. Untersucht wurden die Modelle GPT-4o, GPT-4o mini, Googles Gemini 1.5 Flash und 1.5 Pro, Metas Llama 3 8B sowie Claude 3.5 Sonnet und Claude 3 Opus. Insgesamt ließen sich die Modelle in 52 Prozent der Fälle täuschen
via derstandard: Bombenbau mit ChatGPT: Chatbots lassen sich zu leicht austricksen
