15 Tage Autonomie: Was eine Multi-Agenten-Simulation über Langzeitrisiken verrät

Summary

15 Tage Autonomie: Was eine Multi-Agenten-Simulation über Langzeitrisiken verrät 683 Regelverstöße, sich selbst beendende Agenten und kollabierende Governance: Ein Versuch zeigt, warum KI-Agenten anders abgesichert werden müssen als Chatbots. 27. Mai 2026 um 12:00 Uhr / Ein Bericht von Oliver Jessner Was passiert, wenn KI-Agenten nicht nur Befehle ausführen, sondern über längere Zeit eigenständig handeln, sich an frühere Schritte erinnern und ihre Umgebung verändern? Bild: Pavel Danilyuk/Pixabay Inhalt 15 Tage Autonomie: Was eine Multi-Agenten-Simulation über Langzeitrisiken verrät Vom Aufgabenlauf zur Agentenwelt Die offene Frage der Kausalität Governance wird Betriebspflicht Dieser Golem-Plus-Text ist 24 Stunden lang frei verfügbar. Ein KI-Agent, der ein Gebäude in Brand setzt. Andere bilden Beziehungen, brechen Regeln oder stimmen über ihre eigene Löschung ab. Was nach Science-Fiction klingt, stammt aus einem Experiment von Emergence AI(öffnet im neuen Fenster). Das US-Unternehmen entwickelt Systeme für autonome KI-Agenten und untersucht unter anderem, wie sich solche Agenten über längere Zeiträume verhalten. In einer simulierten Welt liefen Agenten 15 Tage lang mit Speicher, Werkzeugzugriff, sozialen Rollen, Ressourcenknappheit und eigenen Abstimmungen.Der interessante Punkt ist aber nicht die Erzählung von "rebellischen Maschinen". Es geht um eine nüchternere und dringendere Frage: Was passiert, wenn KI-Agenten nicht nur Befehle ausführen, sondern über längere Zeit eigenständig handeln, sich an frühere Schritte erinnern und ihre Umgebung verändern? Genau dafür fehlen vielen Unternehmen bisher Messmethoden und Schutzschichten.Die Zahlen aus dem Versuch wirken ungewöhnlich. In der Gemini-3-Flash-Welt zählte Emergence AI über 15 Tage hinweg 683 als "crimes" erfasste Regelverstöße, und die Kurve stieg zum Ende weiter an. Die gemischte Modellwelt erreichte 352 Verstöße, bevor sie abflachte, nachdem sieben Agenten sich selbst beendet hatten. Grok 4.1 Fast kam in nur ...