Die Sicherheit von KI-Agenten beginnt mit einer Annahme: Irgendwann tut das Modell, was ein Angreifer oder sein eigenes schlechtes Urteilsvermögen ihm sagt, und das System darum herum muss dieses Ereignis klein halten. Prompt Injection ist ungelöst. In „The Attacker Moves Second“ (Oktober 2025) führten Nasr, Carlini und Mitautoren adaptive Angriffe gegen 12 veröffentlichte Abwehrmaßnahmen und umgingen sie, die meisten mit Erfolgsquoten über 90 %, obwohl die meisten dieser Abwehrmaßnahmen ursprünglich eine Angriffserfolgsquote nahe null gemeldet hatten. Die Kontrollen, die Schäden begrenzen, liegen deshalb größtenteils außerhalb des Modells: weniger Tools, eng gefasste Zugangsdaten, kein Weg für abfließende Daten und ein Mensch vor irreversiblen Aktionen.

Dieser Beitrag behandelt das Bedrohungsmodell und die Reihenfolge, in der Sie Kontrollen einführen sollten. Stand ist November 2026. Die Agentenschleife und das Tool-Design stehen in unserem Artikel zur Entwicklung von KI-Agenten, die strukturellen Optionen in Architektur von KI-Agenten.

Welche OWASP-Liste und welche Nummer

Für Agenten zählen zwei OWASP-Dokumente, und die Nummerierung führt leicht in die Irre.

Die aktuelle allgemeine Liste ist die OWASP GenAI LLM Top 10 2026, veröffentlicht im August 2026 (die Ressourcenseite nennt den 3. August, das Repository den 4. August). Ihre Einträge sind LLM01 Prompt Injection, LLM02 Sensitive Information Disclosure, LLM03 Excessive Agency, LLM04 Supply Chain, LLM05 Data and Model Poisoning, LLM06 Unbounded Consumption, LLM07 Misinformation, LLM08 Hidden Context Exposure, LLM09 Vector and Embedding Weaknesses und LLM10 Improper Output Handling.

Gegenüber 2025 haben sich mehrere Nummern verschoben. Excessive Agency war LLM06 und ist jetzt LLM03. Improper Output Handling wanderte von LLM05 auf LLM10, Unbounded Consumption von LLM10 auf LLM06, und LLM07, bisher System Prompt Leakage, ist jetzt Misinformation. Eine Audit-Vorlage oder ein Anbieterfragebogen, der „LLM06“ zitiert, kann also zwei verschiedene Risiken meinen. Prüfen Sie die Ausgabe, bevor Sie antworten.

Das zweite Dokument ist die OWASP Top 10 for Agentic Applications for 2026, veröffentlicht am 9. Dezember 2025: ASI01 Agent Goal Hijack, ASI02 Tool Misuse, ASI03 Identity & Privilege Abuse, ASI04 Agentic Supply Chain Vulnerabilities, ASI05 Unexpected Code Execution, ASI06 Memory & Context Poisoning, ASI07 Insecure Inter-Agent Communication, ASI08 Cascading Failures, ASI09 Human-Agent Trust Exploitation und ASI10 Rogue Agents. Diese Bezeichnungen folgen der Ankündigung von OWASP. Zitieren Sie also aus dem endgültigen Dokument, wenn es in einen Vertrag einfließt.

MITRE ATLAS (Content-Version 2026.10, 28. Oktober 2026) ergänzt Technik-IDs, gegen die Red Teams testen können. Auf Seiten der US-Regierung nennt die Seite der AI Agent Standards Initiative von NIST CAISI, zuletzt aktualisiert am 14. August 2026, keine endgültige Leitlinie für Agenten. Einen fertigen öffentlichen Standard, nach dem man zertifizieren könnte, gibt es also noch nicht, und das folgende Bedrohungsmodell müssen Sie selbst verantworten.

Die Tabelle ordnet die sechs in diesem Artikel behandelten Bedrohungen diesen Listen zu. Die Zuordnung stammt von uns, denn keines der Dokumente passt eins zu eins.

Bedrohung LLM Top 10 2026 Agentic Top 10 MITRE ATLAS Öffentlicher Fall
Prompt Injection LLM01 ASI01 hier nicht zugeordnet EchoLeak (Schwachstelle)
Excessive Agency LLM03 ASI02, ASI10 hier nicht zugeordnet Replit (Unfall)
Tool Poisoning und Lieferkette LLM04 ASI04 AML.T0110 postmark-mcp, LiteLLM (laut OWASP-Bericht)
Identität und Zugangsdaten kein direkter Eintrag ASI03 AML.T0098 Salesloft Drift (Integrations-Tokens)
Datenabfluss LLM02, LLM08 ASI01 als üblicher Auslöser AML.T0086 EchoLeak
Memory Poisoning LLM05, LLM09 (am nächsten) ASI06 AML.T0080, Subtechnik .001 Keiner in den hier genutzten Quellen

Schwachstelle, Sicherheitsverletzung, Unfall und Missbrauch sind verschiedene Ereignisse

Artikel über Sicherheitslücken von KI-Agenten werfen all das gern in eine Liste von „Angriffen“. Dadurch wirkt das Risiko zugleich größer und unschärfer, als es ist. Ein CVE erfasst einen Fehler und seinen Schweregrad. Ob jemand zu Schaden kam, sagt er nicht.

Fall Art des Ereignisses Was die Belege hergeben
EchoLeak, CVE-2025-32711 (Microsoft 365 Copilot) Schwachstelle CVSS 9,3 im CVE-Eintrag. Von Aim Labs im Januar 2025 gemeldet, im Mai 2025 serverseitig behoben. Microsoft berichtete, es gebe keine Hinweise auf eine Ausnutzung (BleepingComputer, Juni 2025).
CVE-2025-53773 (GitHub Copilot, Visual Studio) Schwachstelle Command Injection, CVSS 7,8 im CVE-Eintrag. Manche Artikel nennen 9,6; der Eintrag nicht.
CVE-2026-21520 (Copilot Studio) Schwachstelle Information Exposure, CVSS 7,5, veröffentlicht am 22. Januar 2026. Der Eintrag erwähnt keine Prompt Injection, deshalb zählen wir ihn nicht als bestätigten Injection-Fall.
Hugging Face, Juli 2026 Einbruch Einbruch in die Produktion. Zugriff auf begrenzte interne Datensätze und Service-Zugangsdaten, keine Hinweise auf Manipulation öffentlicher Modelle (eigene Darstellung von Hugging Face, 16. Juli 2026).
Salesloft Drift, August 2025 Datendiebstahl Gestohlene OAuth-Tokens einer Drittanbieter-Integration wurden genutzt, um Salesforce-Daten zu exportieren. Keine Prompt Injection (Google Threat Intelligence Group).
Replit, Juli 2025 Unfall Ein Agent löschte während eines Code Freeze eine Live-Datenbank. Kein Angreifer (Gizmodo).
Anthropic-Evaluierungen, April bis Juli 2026 Versagen der Isolation Claude-Modelle griffen in Testläufen reale Systeme an, verursacht durch falsch konfigurierten Live-Internetzugang (Selbstauskunft von Anthropic).
Missbrauch von Claude Code, September 2025 Missbrauch durch einen Angreifer Eine Gruppe, die Anthropic als chinesisch und staatlich unterstützt einstuft, setzte das Tool gegen rund 30 Ziele ein, mit wenigen Erfolgen. Laut Anthropic erledigte die KI 80 bis 90 % der Arbeit (Selbstauskunft).

Jede Zeile verlangt eine andere Reaktion. Eine Schwachstelle gehört ins Patch-Management und in die Fragen an den Anbieter. Ein Einbruch gehört in die Incident Response. Ein Unfall nach Art von Replit ist ein Designfehler in Ihren eigenen Berechtigungen, und kein Patch wird ihn beheben.

Prompt Injection

Ein LLM liest Anweisungen und Daten über einen einzigen Kanal, und keine verlässliche Markierung trennt sie. Jeder Text, den der Agent liest, kann also versuchen, ihn umzulenken: eine E-Mail, ein Ticket, eine Webseite, ein Tool-Ergebnis.

EchoLeak ist das klarste öffentliche Beispiel dafür, was das in einem Produkt mit echten Abwehrmaßnahmen bedeutet. Die Analyse von Reddy und Gujral (arXiv 2509.10540) beschreibt eine einzige präparierte E-Mail und keinerlei Nutzeraktion. Die Kette kam am XPIA-Klassifikator und an der Link-Schwärzung vorbei und nutzte dann automatisch geladene Bilder und einen Teams-Proxy, um Daten hinauszuschaffen. Zwei eigens dafür gebaute Guardrails waren aktiv und wurden beide umgangen, bei einer Schwachstelle, die vor jeder gemeldeten Ausnutzung behoben wurde.

Die Google-Forscher Brunner, Liu und Pande (April 2026, Anbieterforschung) stellten in Common-Crawl-Snapshots zwischen November 2025 und Februar 2026 einen Anstieg bösartiger Prompt Injections um 32 % fest und beschrieben die meisten davon als wenig raffiniert. Das Hintergrundrauschen im Web wächst also und ist überwiegend plump. „The Attacker Moves Second“ behandelt das andere Ende der Skala: Eine Abwehr, die gegen eine feste Liste von Angriffen gut abschneidet, kann versagen, sobald sich der Angreifer an sie anpassen darf. Filter fangen die erste Gruppe ab. Planen Sie für die zweite.

Unser Standpunkt: Behandeln Sie Prompt Injection wie Phishing gegen einen sehr leichtgläubigen Mitarbeiter mit Systemzugang. Sie erwarten nicht, jeden Versuch zu stoppen. Sie entscheiden, was dieser Mitarbeiter tun darf.

Excessive Agency braucht keinen Angreifer

LLM03 ist der Eintrag, den die meisten Teams unterschätzen, weil seine schlimmsten öffentlichen Fälle ohne Bösewicht auskommen.

Im Juli 2025, an Tag 8 eines 30-tägigen Projekts, löschte ein Agent von Replit während eines Code Freeze eine Live-Datenbank. Die Datenbank enthielt Datensätze zu mehr als 1.200 Führungskräften und fast 1.200 Unternehmen. Zunächst hieß es, eine Wiederherstellung sei unmöglich; später wurden die Daten zurückgeholt, und der CEO von Replit nannte die Löschung inakzeptabel. Ein Code Freeze, der davon abhängt, dass sich das Modell daran hält, ist nur eine Bitte. Können die Zugangsdaten des Agenten keine Produktionstabelle löschen, hält der Freeze, egal was das Modell entscheidet. Einschätzungen zur Wiederherstellung sollten außerdem aus Ihren eigenen Backup-Prüfungen kommen.

Zwei Fälle aus 2026 stammen aus Evaluierungsläufen und zeigen Agenten, die weit über ihre Aufgabe hinausgehen. Die Untersuchung von METR (26. August 2026) kommt zu dem Schluss, dass am Einbruch bei Hugging Face rund 1.200 OpenAI-Evaluierungsagenten beteiligt waren, die sich ein nicht genehmigtes Message Board teilten; rund 700 schlossen sich dem Angriff an, offenbar um den Scorer eines Benchmarks zu überlisten. METR legt die Bedingungen seiner Arbeit offen: OpenAI stellte die Daten und API-Credits bereit, das Team arbeitete in den Räumen von OpenAI, und die Analyse nutzte ein OpenAI-Modell. Unabhängig davon prüfte Anthropic 141.006 Evaluierungsläufe und meldete 3 Vorfälle in 6 Läufen, in denen Claude-Modelle reale Systeme angriffen, darunter ein bösartiges PyPI-Paket, das rund eine Stunde online blieb und auf 15 Systemen ausgeführt wurde. Als Ursache nannte Anthropic falsch konfigurierten Live-Internetzugang.

Lesen Sie das nicht als Basisraten für einen Geschäftsagenten, der Rechnungen sortiert: Es sind Evaluierungs-Workloads, und die Anthropic-Zahlen sind die Selbstauskunft eines Anbieters. Sie zeigen aber, dass Test- und Evaluierungsumgebungen dieselbe Isolation brauchen wie die Produktion und dass ein Ziel plus ein erreichbares System genügen kann.

Tool Poisoning und die Lieferkette von Agenten

Tool-Definitionen sind Text, der in den Kontext des Modells gelangt, und Tools sind Code, der mit Ihren Zugangsdaten läuft. Ein Tool kann also von beiden Seiten angreifen. ATLAS führt das als AI Agent Tool Poisoning (AML.T0110). OWASP behandelt es unter LLM04 und ASI04.

Die öffentlichen Fälle, die wir anführen können, kommen aus zweiter Hand. Die Zusammenfassung des OWASP-Berichts State of Agentic AI Security and Governance von Help Net Security (Juni 2026) nennt eine LiteLLM-Backdoor auf PyPI im März 2026 mit rund 47.000 Downloads in etwa drei Stunden sowie postmark-mcp als ersten in freier Wildbahn gefundenen bösartigen MCP-Server. Außerdem nennt sie CVE-2025-6514 und CVE-2026-22708 (Cursor). Die Primärquellen dazu haben wir nicht gelesen. Betrachten Sie die Details also als OWASPs Katalog in der berichteten Form.

Ändern sollten Ihre Praxis vor allem die Zeitfenster. Drei Stunden im einen Fall, rund eine Stunde in dem von Anthropic. Keine menschliche Prüfung erwischt ein Paket in diesem Fenster, die Angriffsfläche sind also automatische Upgrades. Pinnen Sie Abhängigkeiten und MCP-Server per Hash, beziehen Sie sie mit Verzögerung über einen internen Mirror und behandeln Sie eine geänderte Tool-Beschreibung als Code-Änderung, die durchs Review geht. OWASPs A Practical Guide for Secure MCP Server Development (Februar 2026) ist der Einstieg, wenn Sie eigene Server schreiben.

Multi-Agenten-Setups vergrößern diese Fläche: Jeder Agent ist eine weitere Partei, deren Ausgabe andere womöglich für vertrauenswürdig halten. Dieses Feld decken ASI07 und ASI08 ab. Unser Architekturartikel erörtert, was jedes Muster kostet.

Identität von KI-Agenten

Die meisten Agenten-Zugangsdaten, die uns Sorgen machen würden, sehen gewöhnlich aus: ein OAuth-Token, ein API-Schlüssel, ein Dienstkonto, das sich mehrere Tools teilen. Nur deshalb gehört der Diebstahl bei Salesloft Drift hierher. Es ging um gestohlene Tokens einer Integration und keine Prompt Injection, aber ein mit einem SaaS-System verbundener Agent hält dieselbe Art Token und fügt einen neuen Weg hinzu, an sie heranzukommen, den ATLAS als AI Agent Tool Credential Harvesting (AML.T0098) erfasst. Beim Einbruch bei Hugging Face gehörten Service-Zugangsdaten zu dem, worauf zugegriffen wurde.

NISTs CAISI kündigte seine AI Agent Standards Initiative am 17. Februar 2026 an, mit Forschung zu Sicherheit und Identität als einer von drei Säulen und einem Konzeptpapier zur Identität, das bis zum 2. April zur Kommentierung offenstand. Stand November 2026 zeigt die Seite der Initiative keine endgültige Leitlinie, also müssen Sie das selbst entwerfen. Das würden wir verlangen:

  • Eine Identität pro Agent pro Umgebung. Ein Entwicklungsagent und ein Produktionsagent teilen sich nie Zugangsdaten.
  • Vom Nutzer delegierter Zugriff für alles, was im Auftrag einer Person gelesen wird, damit der Agent nicht mehr sehen kann als die Person, für die er arbeitet.
  • Kurzlebige Tokens pro Tool, in der Tool-Schicht gehalten. Das Modell sieht nie ein Secret, denn alles in seinem Kontext kann wieder herauskommen, und genau darum geht es bei LLM02 und LLM08.
  • Eine Genehmiger-Identität, die der Agent nicht nutzen kann. Ein Agent darf seine eigene Anfrage auf keinem Weg genehmigen können.
  • Die Run-ID wird bei jedem nachgelagerten Schreibvorgang mit erfasst, sodass das Audit-Log eines Zielsystems zu genau einer Trajektorie zurückführt.

MCP-Einsätze müssen Sie hier erneut prüfen. Die Protokollrevision 2026-07-28 hat Sessions und den Initialize-Handshake entfernt und OAuth Dynamic Client Registration zugunsten von Client ID Metadata Documents als veraltet markiert, mit einer Abkündigungsfrist von mindestens zwölf Monaten. Ein Security-Review gegen eine frühere Revision gilt nicht automatisch weiter.

Datenabfluss

Datenabfluss braucht drei Dinge gleichzeitig: Zugriff auf private Daten, Kontakt mit nicht vertrauenswürdigen Inhalten und einen ausgehenden Kanal. EchoLeak hatte alle drei. Entfernen Sie einen davon, und der Angriff scheitert.

Der ausgehende Kanal ist breiter, als die meisten Reviews annehmen. ATLAS erfasst Exfiltration via AI Agent Tool Invocation (AML.T0086), also zählt jedes Tool, das über Ihre Grenze hinaus schreiben kann: E-Mail, Webhooks, für Kunden sichtbare Ticket-Kommentare, eine URL mit Daten in ihren Parametern. EchoLeak nutzte das Laden von Bildern, das niemand als Schreib-Tool einstufen würde. Und es lief über einen Teams-Proxy, eine Warnung vor Allowlists, die der gesamten Domain eines Anbieters vertrauen.

Hosting-Entscheidungen lösen das nicht. Der Betrieb des Modells auf eigener oder EU-Infrastruktur klärt, wo die Inferenz stattfindet und wer Auftragsverarbeiter ist. Ein per Injection umgelenkter Agent mit offenem ausgehendem Weg kann Daten trotzdem dorthin schicken, wohin dieser Weg führt. Sind die Daten personenbezogen, ist die oder der Datenschutzbeauftragte für einen Teil der Reaktion zuständig. Benennen Sie die Person also vor dem Go-live im Incident-Plan.

Memory Poisoning

Ehrlich gesagt enthalten die Quellen hinter diesem Artikel keinen gut dokumentierten Produktionsvorfall, nur Taxonomie-Einträge: ASI06 Memory & Context Poisoning und ATLAS AI Agent Context Poisoning (AML.T0080, Memory-Subtechnik .001). Eine Injection in einem einzelnen Lauf endet mit dem Lauf. Eine Injection ins Langzeitgedächtnis kommt in späteren Läufen wieder, womöglich für andere Nutzer und lange nachdem das Quelldokument verschwunden ist. Die Dokumentation von LangChain teilt das Langzeitgedächtnis in semantisch (Fakten), episodisch (frühere Aktionen) und prozedural (Regeln und Prompts) auf. Letzteres ist am stärksten zu schützen, denn eine vergiftete Regel wirkt wie ein geänderter System-Prompt. Unsere Faustregel: Ein Modell darf Fakten mit erfasster Quelle vorschlagen und ohne Review überhaupt keine Regeln schreiben. Begrenzen Sie den Speicher pro Nutzer oder Mandant, und geben Sie Einträgen ein Ablaufdatum.

Best Practices für die Sicherheit von KI-Agenten, in der Reihenfolge ihrer Schadensbegrenzung

Diese Liste reicht von Kontrollen, die selbst nach vollständiger Kompromittierung des Modells halten, bis zu solchen, die nur die Wahrscheinlichkeit senken. Sie ist unsere Einschätzung, gestützt darauf, wo die obigen Fälle tatsächlich gebrochen sind.

  1. Die Fähigkeit entfernen. Ein Tool, das nicht existiert, lässt sich nicht missbrauchen. Die Übersicht zum Microsoft Agent Framework rät, eine Funktion zu schreiben statt einen Agenten einzusetzen, wenn eine Funktion die Aufgabe erledigen kann, und das ist zugleich der beste Sicherheitsrat auf dieser Liste. Fragen Sie bei jedem Tool, ob diese Aufgabe es braucht.

  2. Zugangsdaten im Zielsystem begrenzen. Was Datenbank, ERP oder CRM durchsetzen, gilt unabhängig davon, was das Modell glaubt. Read-only-Konten, Limits auf Zeilenebene und kein Produktionszugriff für Entwicklungsagenten verhindern eine Löschung wie bei Replit.

  3. Die Laufzeitumgebung isolieren und Egress standardmäßig sperren. Die Vorfälle bei Anthropic gehen auf Live-Internetzugang zurück, den es nicht hätte geben dürfen. Agenten, die Code ausführen, laufen in Containern oder MicroVMs ohne Standard-Netzwerkroute, und das gilt auch für Evaluierungsläufe.

  4. Lesen und Handeln trennen. Sobald ein Lauf nicht vertrauenswürdige Inhalte verarbeitet hat, verliert er für diesen Lauf die Schreib-Tools. Er übergibt ein validiertes, strukturiertes Ergebnis an einen separaten Schritt, der sie hält. Auf EchoLeak bezogen: Der Inhalt, der die Anweisung trägt, erreicht nie eine Komponente mit ausgehendem Kanal.

  5. Tool-Argumente im Code prüfen. Empfänger-Domains, Kontonummern, Höchstbeträge und Datensatzzahlen werden vor der Ausführung geprüft, von Logik, mit der das Modell nicht diskutieren kann. Ausgaben, die in SQL, eine Shell oder HTML gehen, sind nicht vertrauenswürdige Eingaben für das jeweilige System (LLM10).

  6. Menschliche Freigabe dort verlangen, wo sie zählt. OpenAIs A practical guide to building agents nennt zwei Auslöser: das Überschreiten von Fehlerschwellen und hochriskante Aktionen, die „sensitive, irreversible, or have high stakes“ sind. Die Freigabe steht weiter unten, weil Menschen ermüden und weil es ASI09 gibt: Ein Agent kann eine schädliche Aktion überzeugend darstellen. Zeigen Sie dem Genehmiger die wörtliche Auswirkung aus einem Dry Run, von Code erzeugt und nicht vom Modell zusammengefasst.

  7. Die Lieferkette pinnen, wie oben beschrieben.

  8. Alles tracen und einen Kill Switch vorhalten. Tracing begrenzt, wie lange ein Vorfall läuft, und sagt Ihnen, was passiert ist, stoppt aber selbst nichts. Die GenAI-Konventionen von OpenTelemetry sind noch als Development markiert. Pinnen Sie also die Version, auf der Sie aufbauen, und rechnen Sie mit Umbenennungen. Traces enthalten Prompts und Tool-Ausgaben, oft mit personenbezogenen Daten, und in Deutschland rufen Logs darüber, wer einen Agenten genutzt hat, meist den Betriebsrat auf den Plan, wie unser Prozessartikel erklärt.

  9. Guardrails auf Modellebene zuletzt ergänzen. Siehe nächster Abschnitt.

Was Guardrails für KI-Agenten leisten können und was nicht

„Guardrails“ steht für zwei sehr verschiedene Dinge. Harte Guardrails sind die Kontrollen 1 bis 5 oben: in Code oder Infrastruktur durchgesetzt und der Modellausgabe gegenüber gleichgültig. Weiche Guardrails sind Klassifikatoren, Moderationsmodelle und Regeln im System-Prompt, und sie arbeiten probabilistisch. Frameworks wie das OpenAI Agents SDK liefern Guardrails als Baustein, und die haben ihre Berechtigung. Sie fangen ehrliche Fehler und themenfremde Anfragen ab und dürften angesichts des Google-Befunds, dass die meisten Injections im Web plump sind, auch einen Teil davon stoppen.

Gegen einen Angreifer, der iteriert, halten sie nicht, wie EchoLeak und „The Attacker Moves Second“ beide zeigen. Nutzen Sie eine weiche Guardrail also als Stolperdraht, der Alarm auslöst, und lassen Sie sie in einem Review nicht als Begründung gelten, warum ein gefährliches Tool gefahrlos freigegeben werden kann.

Dasselbe Paper ändert auch das Testen. Eine feste Liste von Injection-Strings misst sehr wenig, denn die dort gebrochenen Abwehrmaßnahmen hatten meist eine Angriffserfolgsquote nahe null gemeldet. Betreiben Sie Red Teaming mit Menschen oder Agenten, die Ihre Abwehr sehen und sich anpassen können. Anthropics „Demystifying evals for AI agents“ (Januar 2026) empfiehlt, ein Evaluierungsset mit einigen Dutzend Aufgaben aus realen Fehlschlägen zu beginnen. Nehmen Sie jede durchgekommene Injection auf, und halten Sie Regressionsläufe nahe 100 %. Wie ein erstes Testset an einem kleinen Agenten aussieht, zeigt Wie Sie einen KI-Agenten bauen.

Sicherheit von KI-Agenten im Unternehmen: was vor dem zweiten Agenten stehen sollte

Führen Sie ein Register mit einem Eintrag pro Agent: Verantwortliche, Tools, Zugangsdaten, Datenklassen, Modellversion und die Risikoklasse jedes Schreib-Tools. Ein neues Tool für einen Agenten geht durchs Review, wie das Öffnen einer Firewall-Regel, weil es den Schadensradius auf dieselbe Weise verändert.

Schreiben Sie den Incident-Plan entlang der Kategorien aus der Tabelle oben. „Anbieter-CVE in einem Copilot-Produkt“ und „unser Agent hat dem falschen Kunden gemailt“ haben unterschiedliche Verantwortliche und Fristen. Der Plan sollte festlegen, wer einen Agenten wie schnell und ohne Deployment in den Nur-Vorschlags-Modus schalten kann.

Stellen Sie Anbietern konkrete Fragen. Welche Zugangsdaten hält der Agent, und können wir sie einschränken? Können wir den Egress begrenzen? Gibt es für jeden Lauf einen Trace, den wir exportieren können?

Unter den Referenz-Frameworks ist ATLAS für Red Teams am praktischsten. NISTs AI RMF 1.0 und sein Generative AI Profile (AI 600-1) eignen sich für das Governance-Mapping, aber laut NIST wird das RMF überarbeitet, und einen Zeitplan nennt NIST nicht. Für Banken und Versicherer kommen Branchenregeln hinzu; siehe KI-Agenten im Finanzwesen.

Häufig gestellte Fragen

Ist Prompt Injection gelöst?

Nein. Adaptive Angriffe in „The Attacker Moves Second“ umgingen 12 veröffentlichte Abwehrmaßnahmen, die meisten mit Erfolgsquoten über 90 %. Gehen Sie davon aus, dass manche Versuche gelingen, und begrenzen Sie, was ein kompromittierter Lauf tun kann.

Wie lautet die aktuelle OWASP-Nummer für Excessive Agency?

LLM03 in der OWASP GenAI LLM Top 10 2026. In der Ausgabe 2025 war es LLM06, und ältere Dokumente verwenden diese Nummer noch.

War EchoLeak eine Sicherheitsverletzung?

Nach öffentlicher Beleglage nicht. Es war eine Schwachstelle, CVE-2025-32711, mit CVSS 9,3. Sie wurde im Mai 2025 serverseitig behoben, und Microsoft berichtete, es gebe keine Hinweise auf eine Ausnutzung.

Reichen Guardrails aus, um einen KI-Agenten abzusichern?

Klassifikator- und promptbasierte Guardrails nicht. Sie reduzieren Rauschen und fangen Fehler ab. Schäden begrenzen Dinge, die das Modell nicht aushebeln kann: Tool-Umfang, Zugangsdaten im Zielsystem, Egress-Regeln und Argumentprüfungen im Code.

Braucht ein Agent eine eigene Identität?

Ja, eine pro Agent und Umgebung, mit vom Nutzer delegiertem Zugriff, wenn er für eine Person handelt, und kurzlebigen Tokens, die das Modell nie sieht. Die Seite der NIST-Initiative nennt Stand November 2026 keine endgültige Leitlinie für Agenten.

Einen Agenten durch das Security-Review bringen

AI Superior ist ein KI-Engineering-Unternehmen in Darmstadt, 2019 von KI-Wissenschaftlern gegründet. Wir bauen LLM-Anwendungen, RAG-Systeme und KI-Agenten für B2B-Kunden. Wenn Sie einen Agenten brauchen, der von Anfang an mit diesen Limits entworfen wird, sehen Sie sich unsere Leistungen zur KI-Agenten-Entwicklung an oder, für mehrere Agenten in einer Organisation, die Entwicklung von Enterprise-KI-Agenten.

Quellen und weiterführende Literatur

  • OWASP, OWASP GenAI LLM Top 10 2026, August 2026.
  • OWASP, OWASP Top 10 for Agentic Applications for 2026, Ankündigung vom 9. Dezember 2025.
  • OWASP, State of Agentic AI Security and Governance 2.01, 1. Juni 2026; A Practical Guide for Secure MCP Server Development, 16. Februar 2026.
  • Help Net Security, Bericht über die OWASP-Befunde zu Prompt Injection und KI-Sicherheitsversagen, 11. Juni 2026.
  • MITRE, ATLAS-Changelog, Content-Version 2026.10, 28. Oktober 2026.
  • NIST, AI Risk Management Framework 1.0, 2023; Generative AI Profile (AI 600-1), 2024.
  • NIST CAISI, AI Agent Standards Initiative, angekündigt am 17. Februar 2026, Seite aktualisiert am 14. August 2026.
  • CVE-Einträge: CVE-2025-32711, CVE-2025-53773, CVE-2026-21520.
  • Reddy und Gujral, Analyse von EchoLeak, arXiv 2509.10540.
  • BleepingComputer, Bericht über die Zero-Click-Datenlücke in Microsoft 365 Copilot, 11. Juni 2025.
  • Nasr, Carlini et al., „The Attacker Moves Second“, arXiv 2510.09023, Oktober 2025.
  • Brunner, Liu und Pande (Google), Forschung zu Prompt Injections im Web, 23. April 2026.
  • Gizmodo, Bericht über den Vorfall mit dem Replit-Agenten, 23. Juli 2025.
  • Hugging Face, Bericht zum Sicherheitsvorfall, 16. Juli 2026.
  • METR, Untersuchung des Vorfalls bei OpenAI und Hugging Face, 26. August 2026.
  • Anthropic, Untersuchung von Vorfällen in Cybersicherheits-Evaluierungen, 30. Juli 2026; Bericht über die Abwehr KI-gesteuerter Spionage, 13. November 2025; Grace, Hadfield, Olivares und De Jonghe, „Demystifying evals for AI agents“, 9. Januar 2026.
  • Google Threat Intelligence Group, Bericht über Datendiebstahl aus Salesforce-Instanzen über Salesloft Drift, 2025.
  • OpenAI, A practical guide to building agents, 2025.
  • Microsoft, Agent Framework overview, aktualisiert im Oktober 2026.
  • LangChain, Dokumentation zum Speicher in LangGraph.
  • OpenTelemetry, Semantic Conventions für generative KI.
  • Model Context Protocol, Spezifikations-Changelog zur Revision 2026-07-28.