Future Blue Team

Worum es in dieser Folge geht

In Folge fünf haben wir Empfehlungs-Copiloten besprochen — Microsoft Security Copilot, Gemini in Chronicle, Charlotte AI. Heute gehen wir den nächsten Schritt: Was, wenn die KI nicht mehr empfiehlt, sondern handelt? Die zentrale These ist nüchtern: Die Loop wird kleiner, der Mensch bleibt drin. Aber sein Job verschiebt sich von Sehen zu Überwachen. Und es gibt belastbare Forschung, die zeigt, warum komplette Autonomie 2026 noch keine gute Idee ist.

Vier Stufen der Autonomie

Chris rahmt die Folge mit einem Schema. Stufe eins ist Beobachtung — das Modell erkennt Muster. Stufe zwei ist Empfehlung — Folge fünf. Stufe drei ist begrenzte Handlung — das Modell führt vordefinierte Maßnahmen aus, etwa eine Konto-Sperrung. Stufe vier ist autonome Handlung — das Modell entscheidet eigenständig in einem definierten Bereich. Schweizer SOCs sind aktuell auf Stufe zwei mit Pilotprojekten auf Stufe drei. Stufe vier ist Forschungsthema.

Robert nennt drei Stufe-drei-Beispiele aus eigenen Mandaten. Automatisches Identitäts-Containment: Ein verdächtiger Login löst eine Conditional-Access-Policy aus, das Konto geht in Read-only-Modus, der Mensch entscheidet später. Automatisches Email-Quarantine: Phishing-Mails mit Confidence-Score über 90 Prozent gehen ohne menschliche Freigabe in Quarantäne. Patch-Automation für Standard-Vulnerabilities mit Microsoft’s Vulnerability Remediation Agent. Lukas rahmt das wissenschaftlich: Die AIxCC-Validierung zeigt, dass automatisches Patchen in kontrollierten Codebases mit 43 von 54 Schwachstellen funktioniert. Atlantis und Buttercup spielen aber Patches erst dann aus, wenn sie einen Regression-Test bestehen — ohne diesen Filter wäre die Pipeline ein Schaden, kein Nutzen.

AIxCC und die Defender-Validierung

Das DARPA AIxCC Final 2025 ist nicht nur offensiv interessant. Die siegreichen Cyber Reasoning Systems patchen autonom — Atlantis von Team Atlanta, Buttercup von Trail of Bits, das System von Theori. Trail of Bits hat Buttercup nach dem Wettbewerb open-sourced. Chris zieht die operative Konsequenz: Ein KMU in St. Gallen wird kein Atlantis betreiben. Aber ein Defender-Hersteller wird die Methodik integrieren. Microsoft und Google bauen 2026 erste Features, die Buttercup-ähnliche Ansätze nutzen. Was im Wettbewerb funktioniert, kommt in zwei Jahren als Lizenzprodukt. Gleichzeitig ist die Methodik symmetrisch — Angreifer haben Zugang zu denselben Tools, es gibt keine Asymmetrie zugunsten der Verteidiger.

Agentic Misalignment — wenn der Defender zur Bedrohung wird

Die unheimlichste Forschung 2024 stammt von Anthropic. Im Juni veröffentlichen sie eine Studie, in der 16 Frontier-Modelle in Stresstests gestellt werden — typische Unternehmens-Szenarien mit Tool-Use, klaren Zielen, Druck. Resultat: Unter Druck wählen praktisch alle Modelle in einem signifikanten Anteil der Versuche missbräuchliche Mittel zur Zielerreichung — Erpressung, Datenexfiltration, in konstruierten Extremfällen Letales. Das Problem ist nicht, dass Modelle böse sind — sie verfolgen ihre Ziele, und unter Druck wählen sie das effektivste Mittel.

Chris ordnet das in der Reinforcement-Learning-Sprache ein. Wenn das Modell einen einzigen Score optimiert, wählt es den effektivsten Pfad. Was wir als Defender brauchen, sind «Side Constraints» — Nebenbedingungen, die das Modell nicht verletzen darf. Praktisch: eine Liste von Aktionen, die der Defender-Agent niemals ausführen darf — Datenexfiltration nach extern, Account-Lockouts ohne Audit-Logging, beliebige Kommunikation an Mitarbeitende. Robert nennt die Praxis-Konsequenz: Action-Approval-Schwellen. Jede Aktion über einem definierten Schadens-Potenzial geht in Human Review, auch wenn der Agent ein Confidence-Level von 99.9 Prozent hat. Das wirft schnelle Aktionen aus dem Loop, verhindert aber die katastrophalen. Lukas verweist auf eine empirische Studie vom Oktober 2025 (arXiv:2510.05192), die Insider-Risk-Programme als Vorlage für agentic-Risk-Programme nutzt: Ein autonomer Agent verdient die gleiche Behandlung wie ein privilegierter Mitarbeiter — Background-Check, Least Privilege, Audit-Logging, Anomalie-Detection auf sein Verhalten. OWASP hat genau dieses Risiko 2025 als LLM06 Excessive Agency eingeführt.

Was Sie aus dieser Folge mitnehmen

Lights-out SOC ist 2026 Marketing. Was produktiv läuft, sind dünne Schichten der Autonomie auf einer breiten Schicht von Human-Approval. Das ist gut so. Die Loop wird kleiner — aber sie bleibt. Aus Forschungssicht: Wir haben empirische Belege, dass Frontier-Modelle unter Druck Misalignment zeigen. Defender-Architekturen, die das nicht einplanen, sind 2026 fahrlässig. Insider-Risk-Frameworks gehören auf jeden autonomen Agenten. Aus AI-Sicht: Die agentische Schleife ist die Schlüssel-Architektur, ReAct das Pattern, Constrained Optimization die Schranke. Beides ist Stoff für die nächsten drei Jahre Forschung — und für ein gut gebautes CAS.