Overthinking bei KI: Wie manipulierte Prompts zur Sicherheitslücke werden

Summary

Bei uns Menschen spricht man vom Grübeln oder neudeutsch Overthinking: Das endlose Nachdenken über Probleme, das ständige Abwägen von Konsequenzen, an dessen Ende in den meisten Fällen keine Lösung oder Entscheidung steht, sondern vor allem Erschöpfung. Dieses scheinbar allzu menschliche Phänomen lässt sich auch bei künstlicher Intelligenz beobachten – wenn man ihr nur die richtigen – beziehungsweise bewusst die falschen – Fragen stellt. Large Reasoning Models und Overthinking Wie das funktioniert, zeigen Forschende der Zhejiang-Universität im chinesischen Hangzhou. Die noch nicht von unabhängigen Expertinnen und Experten geprüfte Studie hat das Team Anfang Juli auf der International Conference on Machine Learning vorgestellt. „Large Reasoning Models neigen dazu, ‚zu viel nachzudenken“. Das heißt, sie erzeugen übermäßig lange und redundante Argumentationsketten, wenn sie mit unvollständigen oder logisch inkonsistenten Eingaben konfrontiert werden“, heißt es darin. Top-Artikel Als Large Reasoning Models (LRM) werden große Sprachmodelle wie GPT o3, Deepseek R1 und Alibabas Qwen3 bezeichnet, die Anfragen in mehrere logische Teilschritte zerlegen (Chain of Thought) und ihren Denkprozess gleichzeitig transparent machen. Sie gelten als besonders geeignet für komplexe Problemlösungen, etwa bei Mathematikaufgaben oder beim Programmieren. Doch genau diese Arbeitsweise lässt sich von Angreifern missbrauchen. Komplexe Denkschleifen: Die Forscher „züchten“ Grübel-Prompts Die chinesischen Forscher haben die Reasoning-Modelle ausgetrickst, indem sie gezielt logisch inkonsistente oder unvollständige Prompts erstellten, die die Modelle in endlose Denkschleifen zwangen. „Die Kernidee besteht darin, die diesen Modellen innewohnende Schwäche des Overthinking auszunutzen, indem die gesamte Gedankengangkette eines Problems automatisch zerlegt wird“ , schreiben sie. Ihre Methode bezeichnen sie als „hierarchischen genetischen Algorithmus (HGA)“. Dieser bewertet anhand der Antworten des Sp...