Die neue Angriffsfläche

Worum es in dieser Folge geht

Diese Folge gehört im Kern Lukas aus der Forschung — die Grundlagenarbeit zu Indirect Prompt Injection von Greshake, Abdelnabi, Mishra, Endres, Holz und Fritz aus 2023 hat das Forschungsfeld eröffnet, das wir heute besprechen. Die zentrale These: Sprache ist der neue Angriffsvektor. Klassische Application-Security greift nicht, weil Daten und Befehle denselben Kanal teilen — eine fundamentale architektonische Schwäche, die wir nicht ohne Weiteres lösen können.

OWASP Top 10 für LLMs — die Landkarte

OWASP hat die Top-10-Liste für LLM-Anwendungen 2025 aktualisiert. Chris führt durch die drei wichtigsten Risiken: LLM01 Prompt Injection — direkt und indirekt. LLM02 Sensitive Information Disclosure — Datenexfiltration über das Modell. LLM06 Excessive Agency — Agenten dürfen zu viel. Robert berichtet aus der Praxis: Bei Schweizer Mandanten mit produktiven LLM-Anwendungen ist LLM02 am häufigsten — Mitarbeitende kopieren vertrauliche Inhalte in ChatGPT, ohne dass die IT das überblickt. IBM hat dafür im 2025er Report 670’000 Dollar Zusatzkosten pro Breach quantifiziert. Lukas ergänzt aus Forschungssicht zu LLM01 die Arbeit von Andy Zou et al. an CMU 2023 — der GCG-Algorithmus erzeugt gradient-basierte Adversarial Suffixes, die jeden alignment-trainierten Modell-Filter durchbrechen. Was theoretisch klang, ist 2024 in modifizierten WormGPT-Varianten und unzensierten Open-Source-Forks aufgetaucht.

EchoLeak — der erste Real-World Zero-Click Exploit

Im Juni 2025 macht Aim Labs eine zero-click Prompt-Injection-Schwachstelle in Microsoft 365 Copilot publik. CVE-2025-32711, CVSS-Score 9.3, kritisch. Der Angriff funktioniert ohne Klick: Der Angreifer schickt eine E-Mail mit eingebetteten Anweisungen. Die Mail muss nicht geöffnet werden, sie liegt im Index. Wenn die Nutzerin später eine beliebige Frage an Copilot stellt, lädt der das Mail in den Kontext und führt die eingebetteten Anweisungen aus — Datenexfiltration aus OneDrive, SharePoint, Teams.

Microsoft hatte Schutzschichten. Lukas rekonstruiert die Bypass-Techniken aus dem arXiv-Paper 2509.10540 methodisch. Erstens: Reference-Style Markdown — der Angreifer verlinkt Bild-URLs nicht inline, sondern über Referenzen, die der XPIA-Classifier nicht erkennt. Zweitens: Auto-fetched Images — Outlook lädt Bilder automatisch, was die Datenausleitung über den Image-Request ermöglicht. Drittens: Missbrauch eines Microsoft-Teams-Proxies, der von der Content-Security-Policy erlaubt war. Viertens — der eleganteste Teil — semantisches Spraying: Die Anweisungen werden über mehrere Mail-Abschnitte verteilt, jeder einzelne wirkt unauffällig, zusammen ergeben sie den vollständigen Exploit. Aim Labs nennt das «LLM Scope Violation» — das Modell wurde dazu gebracht, seine Vertrauensgrenze zu überschreiten. Microsoft hat gepatcht, keine Ausbeutung in the wild bekannt. Aber EchoLeak ist der Existenzbeweis: Produktive LLM-Apps mit RAG-Komponenten haben reale Angriffsflächen. Johann Rehberger von Embrace the Red hatte im August 2024 bereits eine ähnliche Datenexfiltration in M365 Copilot mit ASCII Smuggling demonstriert — EchoLeak ist die ausgereiftere Variante desselben Patterns.

Model Theft und Output-Manipulation

Lukas verweist auf eine zweite Angriffsklasse, die 2024 in die Realität gerückt ist. Nicholas Carlini und Kollegen bei Google DeepMind haben in der Arbeit «Stealing Part of a Production Language Model» (arXiv:2403.06634) aus produktiven OpenAI-Modellen Teile der Embedding-Matrix extrahiert — nicht das ganze Modell, aber genug, um die Klasse als praktikabel zu belegen. OpenAI hat danach API-Änderungen vorgenommen. Chris beschreibt die andere Seite: Output-Manipulation. Wenn ein LLM in eine Anwendung eingebettet ist, kann der Angreifer das Modell zu manipuliertem Output bringen. Beispiel: ein Code-Review-Assistent. Mit injizierten Anweisungen kann der Output Backdoors empfehlen, die der Mensch beim schnellen Lesen übersieht — 2026 ein realer Risikobereich für DevSecOps-Pipelines. Bei eigenen Mandanten heisst das konkret: LLM-generierter Code in Pull Requests durchläuft grundsätzlich Static Analysis nach. GitHub Copilot ist Produktivitäts-Tool, aber sein Output passiert dieselbe Pipeline wie menschlich geschriebener Code — SonarQube, Snyk, manuelle Reviews bei kritischen Pfaden.

Drei Mitigations-Schichten

Eingangsfilter wie Microsofts XPIA-Classifier — schwach gegen sophisticated Angriffe wie EchoLeak. Ausgangsfilter — etwa keine Markdown-Links zu externen Domains erlauben — stärker, brechen aber legitime Use-Cases. Architektur-Isolation — der LLM-Agent läuft in einem Sandkasten, kein direkter Zugriff auf vertrauliche Daten — stärkste Mitigation, teuerste Implementierung. Chris nennt eine vierte, fundamentale Schicht: Strict Separation auf Modell-Ebene, an der unser Forschungszentrum und andere Gruppen arbeiten. Das ist noch Forschungsthema. NCSC UK und NIST USA haben Prompt Injection 2024 beide als kritisches Risiko klassifiziert — NIST nennt es wörtlich «greatest security flaw of generative AI».

Was Sie aus dieser Folge mitnehmen

Wer LLM-Anwendungen produktiv einsetzt, braucht ein eigenes Threat Model für LLM-spezifische Risiken. Standard-SAST und Standard-DAST greifen nicht. Sprache ist 2026 der neue Angriffsvektor. In der nächsten Folge die andere Seite des Bedrohungsbildes — die Lieferkette, vom XZ-Backdoor bis zum Slopsquatting.