Maschinelles Lernen bei Adversarial Attacks: Leitfaden 2026

Kurzzusammenfassung: Maschinelles Lernen im Kontext von Adversarial Attacks bezeichnet gezielte Versuche, KI-Systeme durch Ausnutzung von Schwachstellen in ihren Trainingsdaten oder deren Eingabeverarbeitung zu manipulieren. Angreifer erstellen speziell entwickelte Eingaben – sogenannte Adversarial Examples –, die Modelle zu falschen Vorhersagen veranlassen, oft mit kaum wahrnehmbaren Veränderungen. Diese Angriffe stellen ernsthafte Sicherheitsrisiken für verschiedenste Anwendungen dar, von autonomen Fahrzeugen bis hin zur medizinischen Diagnostik, und erfordern robuste Verteidigungsstrategien sowie kontinuierliche Forschung.

KI-Systeme sind heute allgegenwärtig. Sie genehmigen Kreditanträge, diagnostizieren Krankheiten, filtern Spam und steuern sogar autonome Fahrzeuge durch belebte Straßen.

Aber hier liegt das Problem: Diese Systeme haben eine gravierende Schwäche. Angreifer können sie mit subtilen Manipulationen austricksen, die Menschen gar nicht bemerken würden.

Das ist adversarielles maschinelles Lernen in Kürze. Es untersucht, wie Angreifer Schwachstellen in KI-Modellen ausnutzen und, noch wichtiger, wie Sicherheitsforscher sich gegen diese Angriffe verteidigen. Wie das NIST in seinem Bericht „Trustworthy and Responsible AI 2025“ hervorhebt, werden KI-Systeme weltweit immer häufiger eingesetzt, wodurch die Behebung von Sicherheitslücken zunehmend an Bedeutung gewinnt.

Dieser Leitfaden erklärt alles von grundlegenden Angriffsarten bis hin zu modernsten Verteidigungsmechanismen. Mal ehrlich: Das Verständnis von Angriffen ist heutzutage unerlässlich – es ist grundlegend für die Entwicklung von KI-Systemen, die nicht zusammenbrechen, wenn jemand versucht, sie auszutricksen.

Was ist adversarielles maschinelles Lernen?

Adversarial Machine Learning liegt an der Schnittstelle von KI und Cybersicherheit. Laut IBM ist es die Kunst, KI-Systeme auszutricksen – ein Feld, das sowohl böswillige Angreifer als auch gutmeinende Forscher umfasst, die Sicherheitslücken aufdecken.

Im Gegensatz zu traditionellen Cyberangriffen, die Softwarefehler oder Konfigurationsfehler ausnutzen, zielen adversarial attacks auf die grundlegende Art und Weise ab, wie Modelle des maschinellen Lernens lernen und Entscheidungen treffen.

So funktioniert es: Modelle des maschinellen Lernens lernen Muster aus Trainingsdaten. Sie sind darauf optimiert, mit Daten, die ihnen bereits bekannt sind, gute Ergebnisse zu erzielen. Angreifer nutzen dies aus, indem sie Eingaben erstellen, die speziell darauf ausgelegt sind, das Modell zu täuschen – Eingaben, die für Menschen normal aussehen, aber die KI zu schwerwiegenden Fehlern verleiten.

Forscher des MIT haben gezeigt, dass Angreifer immer dann, wenn maschinelles Lernen zur Verhinderung illegaler Aktivitäten eingesetzt wird und ein wirtschaftlicher Anreiz besteht, versuchen werden, den Schutz zu umgehen. Dies führt zu einem ständigen Wettrüsten zwischen Angreifern und Verteidigern.

Adversarial Attacks vs. Traditional Cyberattacks

Klassische Cyberangriffe nutzen Implementierungsfehler aus: Pufferüberläufe, SQL-Injection, schwache Passwörter. Fehler beheben, System patchen, Problem gelöst.

Adversarial Attacks unterscheiden sich grundlegend. Sie nutzen die mathematischen Eigenschaften von Algorithmen des maschinellen Lernens selbst aus. Selbst ein perfekt implementiertes, fehlerfreies KI-System bleibt angreifbar, da die Schwachstelle in der Informationsverarbeitung des Modells liegt.

Man kann es sich so vorstellen: Bei einem traditionellen Einbruch dringt man durch ein zerbrochenes Fenster in ein Haus ein. Bei einem gezielten Einbruch wird der Hausbesitzer davon überzeugt, dass der Einbrecher tatsächlich der Hausbesitzer ist.

Wie Angriffe von Gegnern funktionieren

Das Grundprinzip von Adversarial Attacks ist überraschend einfach: Man findet die Richtung im Eingaberaum, die die Ausgabe des Modells maximal verändert, und verschiebt dann die Eingabe in diese Richtung.

Die meisten Bildklassifizierungsmodelle können entweder nur die vorhergesagte Klasse oder vollständige Wahrscheinlichkeitsverteilungen ausgeben. Wenn ein Modell beispielsweise “99,9% Flugzeug, 0,1% Katze” ausgibt, kann eine winzige Änderung der Eingabedaten diese Vorhersage drastisch verändern.

Angreifer erreichen dies durch Optimierungstechniken. Sie behandeln das maschinelle Lernmodell wie eine mathematische Funktion und verwenden gradientenbasierte Methoden, um Eingaben zu finden, die den Vorhersagefehler maximieren.

Laut einer Studie des MIT haben Angreifer automatisierte Systeme entwickelt, die Schadsoftware über viele Versuche hinweg tarnen können, indem sie KI selbst nutzen, um den Verschleierungsprozess zu optimieren.

Beispiele für kontradiktorische Verfahren erklärt

Adversarial Examples sind speziell erstellte Eingaben, die zu Fehlklassifizierungen führen sollen. OpenAI beschreibt sie als “optische Täuschungen für Maschinen”.”

Das Beängstigende daran? Diese Manipulationen sind für Menschen oft nicht wahrnehmbar. Fügt man einem Panda-Bild eine winzige Menge sorgfältig berechneten Rauschens hinzu, erkennt ein hochmoderner Bildklassifikator plötzlich mit einer Wahrscheinlichkeit von 99% einen Gibbon.

Im Jahr 2020 entwickelten Forscher des MIT CSAIL TextFooler, ein System, das erfolgreich Modelle der natürlichen Sprachverarbeitung, darunter BERT, angriff. Es täuschte die Zielmodelle mit einer Genauigkeit von über 90 Prozent bis unter 20 Prozent, indem es lediglich 10 Prozent der Wörter in einem gegebenen Text veränderte.

Adversarial Examples funktionieren über verschiedene Medien hinweg – Bilder, Texte, Audio und sogar physische Objekte. Forscher haben gezeigt, dass das Anbringen einiger kleiner Aufkleber auf dem Boden einer Kreuzung dazu führen kann, dass selbstfahrende Autos Fehlentscheidungen treffen und in den Gegenverkehr geraten.

Arten von Adversarial Attacks auf maschinelles Lernen

Adversarial Attacks treten in vielfältigen Formen auf, jede mit unterschiedlichen Zielen, Fähigkeiten und Bedrohungsmodellen. Das Verständnis dieser Kategorien hilft Sicherheitsteams bei der Priorisierung ihrer Verteidigungsmaßnahmen.

Ausweichangriffe

Ausweichangriffe sind die häufigste und am besten untersuchte Kategorie. Hierbei manipulieren Angreifer die Eingaben zur Testzeit, um einer Erkennung zu entgehen oder eine Fehlklassifizierung zu verursachen.

Der Angreifer verändert weder die Trainingsdaten noch die Modellarchitektur. Er erstellt lediglich bösartige Eingaben, die das trainierte Modell falsch klassifizieren wird.

Beispiele aus der Praxis sind:

• Spamfilter, die durch geschickt gewählte Wortersetzungen getäuscht werden können
• Schadsoftware, die ihren Code verändert, um der Virenerkennung zu entgehen
• Gesichtserkennungssysteme, die durch Spezialbrillen oder Make-up getäuscht werden
• Stoppschilder mit Aufklebern, die von autonomen Fahrzeugen fälschlicherweise als Geschwindigkeitsbegrenzungsschilder interpretiert werden.

Laut einer auf arXiv veröffentlichten Studie variiert die Übertragbarkeit von Angriffen je nach Architektur erheblich. Werden auf ResNet-18 generierte adversarial examples mit anderen Modellen getestet, zeigen die Erfolgsraten interessante Muster: 100,01 TP3T gegen ResNet-18 selbst (erwartungsgemäß), 46,21 TP3T gegen VGG-16-Modelle, 38,71 TP3T gegen DenseNet-121 und 32,11 TP3T gegen MobileNetV2.

In ähnlicher Weise erzielen mit VGG-16 generierte Angriffe eine Erfolgsquote von 100,01 TP3T auf VGG-16, 41,31 TP3T auf ResNet-18, 35,91 TP3T auf DenseNet-121 und 281 TP3T auf MobileNetV2.

Vergiftungsangriffe

Vergiftungsangriffe zielen auf die Trainingsphase ab. Angreifer schleusen schädliche Daten in den Trainingsdatensatz ein und beschädigen so das Modell, noch bevor es eingesetzt wird.

Dies ist besonders gefährlich, da das manipulierte Modell bei den meisten Eingaben scheinbar normal funktioniert, bei vom Angreifer gewählten Auslösern jedoch katastrophal versagt.

Die Herausforderung bei Vergiftungsangriffen besteht darin, dass sie Zugriff auf die Trainingspipeline erfordern. Doch im Zeitalter von Crowdsourcing-Datensätzen und externen Datenanbietern ist das nicht so schwierig, wie es klingt.

Forschungen des MIT Lincoln Laboratory betonen, dass Einschränkungen bei der Manipulation von Trainings- und Testdaten durch Angreifer diese Probleme beherrschbar machen. Das Forschungsfeld umfasst mehrere Disziplinen, darunter Spam-Erkennung, Angriffserkennung und Suchmaschinenoptimierungsmanipulation.

Modellextraktionsangriffe

Manchmal geht es nicht darum, das Modell auszutricksen, sondern es zu stehlen. Modellextraktionsangriffe fragen ein System für maschinelles Lernen wiederholt ab und verwenden dann die Antworten, um ein Ersatzmodell zu erstellen, das das Original nachahmt.

Sobald ein Angreifer über ein Ersatzmodell verfügt, kann er Angriffsbeispiele lokal testen, bevor er sie gegen das reale System einsetzt. Dies reduziert die Kosten und die Entdeckungswahrscheinlichkeit nachfolgender Angriffe erheblich.

Cloudbasierte ML-Dienste sind besonders anfällig, da sie Vorhersage-APIs offenlegen, die Angreifer in großem Umfang abfragen können.

Hintertürangriffe

Hintertürangriffe fügen versteckte Auslöser in Modelle ein. Das Modell verhält sich bei regulären Eingaben normal, erzeugt aber vom Angreifer gesteuerte Ausgaben, sobald der Auslöser erkannt wird.

Stellen Sie sich ein Gesichtserkennungssystem vor, das perfekt funktioniert, außer wenn jemand ein bestimmtes Aufklebermuster trägt – dann identifiziert es ihn immer als autorisierten Benutzer.

Diese Angriffe sind besonders besorgniserregend für Modelle, die mit nicht vertrauenswürdigen Daten trainiert oder aus Modellrepositorien von Drittanbietern bereitgestellt wurden.

Angriffstechniken und -methoden

Die Forschungsgemeinschaft im Bereich des adversariellen maschinellen Lernens hat zahlreiche Angriffsalgorithmen entwickelt, von denen jeder unterschiedliche Fähigkeiten und Anforderungen aufweist.

White-Box-Angriffe

Bei White-Box-Angriffen wird davon ausgegangen, dass der Angreifer über vollständige Kenntnisse des Zielmodells verfügt: Architektur, Parameter, Trainingsdaten, einfach alles.

Das mag unrealistisch klingen, ist aber tatsächlich ein gängiges Szenario. Viele Organisationen setzen Open-Source-Modelle ein, und selbst proprietäre Systeme geben durch ihre Vorhersagen oft genügend Informationen preis, um Angriffe mit Ersatzmodellen zu ermöglichen.

Zu den gängigen White-Box-Methoden gehört die Fast Gradient Sign Method (FGSM), die adversarial examples erzeugt, indem sie einen einzigen Gradientenschritt in die Richtung durchführt, die den Verlust maximiert.

Komplexere Angriffe wie der projizierte Gradientenabstieg (PGD) verfeinern die gegnerischen Störungen iterativ in mehreren Schritten. Forschungsergebnisse aus dem Jahr 2017 zeigten, dass PGD-basiertes adversarielles Training Modelle erzeugt, die resistenter gegen Angriffe sind.

Black-Box-Angriffe

Black-Box-Angriffe funktionieren ohne Kenntnis des internen Modells. Der Angreifer kann das Modell lediglich abfragen und die Ausgaben beobachten.

Diese Angriffe nutzen häufig die Übertragbarkeit aus – für ein Modell erstellte adversarische Beispiele täuschen oft andere Modelle, die mit ähnlichen Daten trainiert wurden. Ein Angreifer kann ein eigenes Ersatzmodell trainieren, adversarische Beispiele dagegen generieren und diese Beispiele auf das Zielsystem übertragen.

Black-Box-Angriffe sind für die meisten Bedrohungsszenarien realistischer, erfordern aber im Allgemeinen mehr Abfragen und erzielen geringere Erfolgsquoten als White-Box-Methoden.

Physische Angriffe

Beispiele für digitale Angriffe sind eine Sache. Physische Angriffe, die in der realen Welt funktionieren, sind eine ganz andere.

Forscher haben physische Angriffsobjekte demonstriert: speziell entwickelte Brillen, die die Gesichtserkennung täuschen, T-Shirts mit Mustern, die Menschen für Objektdetektoren “unsichtbar” machen, und mit Aufklebern modifizierte Verkehrsschilder, die von autonomen Fahrzeugen falsch interpretiert werden.

Physische Angriffe stoßen auf zusätzliche Einschränkungen – Blickwinkel ändern sich, Lichtverhältnisse variieren, Kameras erzeugen Bildrauschen. Doch die Tatsache, dass Angriffe diese Veränderungen überstehen können, macht sie besonders besorgniserregend für den realen Einsatz von KI.

Erforschen Sie die Forschung zu Adversarial Attacks mit KI Superior

Systeme des maschinellen Lernens können angreifbar werden, wenn die Modelle manipulierten Eingaben, adversariellen Beispielen oder Daten ausgesetzt werden, die darauf abzielen, die Vorhersagegenauigkeit zu beeinträchtigen. AI Superior Sie können Teams unterstützen, die zu Angriffen, Modellrobustheit und KI-Sicherheitstests forschen. Ihre Arbeit umfasst KI-Beratung, maschinelles Lernen, Data Science, KI-Softwareentwicklung, Machbarkeitsstudien und Modellevaluierung.

AI Superior kann Ihnen helfen bei:

• Definition von adversariellen Testszenarien
• Überprüfung von Datensätzen und Modellarchitekturen
• Bewertung des Modellverhaltens unter adversariellen Bedingungen
• Erstellung von Proof-of-Concept-Sicherheitsmodellen
• Unterstützung von Arbeitsabläufen zum Robustheitstest von KI-Modellen
• Planung der Integration in bestehende KI-Systeme
• Unterstützung der Entwicklung sicherer KI-Modelle

Im Bereich der Forschung zu adversariellen Angriffen kann dies Anwendung finden auf Robustheitstests von Modellen, die Erkennung adversarieller Beispiele, die Sicherheitsanalyse von KI und defensive ML-Strategien.

Sprechen Sie mit KI Superior zum Projektumfang.

Beispiele für Angriffe aus der realen Welt

Adversarial Attacks sind nicht nur akademische Kuriositäten. Sie wurden bereits gegen Produktionssysteme in verschiedenen Bereichen demonstriert.

Angriffe autonomer Fahrzeuge

Forscher der UC Berkeley haben gezeigt, dass kleine Aufkleber auf Stoppschildern dazu führen können, dass die Bildverarbeitungssysteme autonomer Fahrzeuge diese fälschlicherweise als Geschwindigkeitsbegrenzungsschilder einstufen. Die Folgen sind erschreckend: Ein paar Dollar für Aufkleber könnten Verkehrsunfälle verursachen.

Ähnliche Angriffe haben bereits Fahrspurerkennungssysteme getäuscht und dazu geführt, dass Testfahrzeuge in die entgegengesetzte Fahrspur abdrifteten, wenn feindliche Markierungen auf den Straßen angebracht wurden.

Umgehung der Gesichtserkennung

Spezielle Brillen und Make-up-Muster können Gesichtserkennungssysteme täuschen, während sie für Menschen relativ normal aussehen. Diese Angriffe funktionieren selbst bei veränderten Lichtverhältnissen und Blickwinkeln.

Raffiniertere Angriffe können eine gezielte Fehlidentifizierung bewirken – das System erkennt Person A als Person B und gewährt so möglicherweise unbefugten Zugang zu gesicherten Bereichen.

Manipulation der medizinischen Diagnose

Studien haben gezeigt, dass unmerkliche Veränderungen an medizinischen Bildern diagnostische KI-Systeme täuschen können. Ein Angreifer könnte beispielsweise Rauschen in eine MRT-Aufnahme einbringen, wodurch Krebserkennungsalgorithmen Tumore übersehen oder gesundes Gewebe fälschlicherweise als bösartig einstufen.

Hier geht es buchstäblich um Leben und Tod, weshalb robuste Abwehrmechanismen für den Einsatz von KI im medizinischen Bereich unerlässlich sind.

Spam- und Malware-Umgehung

Angreifer verändern regelmäßig Spam-E-Mails und Schadsoftware, um einer Erkennung zu entgehen. Sie nutzen eigene KI-Systeme, um diese Verschleierungstaktiken zu optimieren und so ein automatisiertes Wettrüsten auszulösen.

Laut einer Studie des MIT haben Angreifer Bots entwickelt, die Schadsoftware automatisch tarnen, indem sie diese iterativ gegen Erkennungssysteme testen.

Wie man sich gegen Angriffe verteidigt

Die Abwehr von Angriffen durch Angreifer bleibt eine aktive Forschungsherausforderung. Keine einzelne Verteidigungsstrategie bietet vollständigen Schutz, aber ein mehrschichtiger Ansatz erhöht die Hürde für Angreifer erheblich.

Gegnerisches Training

Der bisher effektivste Abwehrmechanismus ist das adversarielle Training – die Ergänzung des Trainingsdatensatzes um adversarische Beispiele und deren korrekte Bezeichnungen.

Das Modell lernt, sowohl normale als auch gegnerische Eingaben korrekt zu klassifizieren. Studien haben gezeigt, dass Modelle, die mit PGD-gegnerischen Beispielen trainiert wurden, deutlich robuster gegenüber Angriffen werden.

Der Nachteil? Adversarial Training ist rechenintensiv und kann die Genauigkeit bei fehlerfreien Beispielen verringern. Außerdem ist es nur gegenüber Angriffsarten robust, die während des Trainings beobachtet wurden.

Eingabetransformation und -erkennung

Eine weitere Verteidigungsstrategie besteht darin, feindliche Störungen zu erkennen oder zu beseitigen, bevor sie das Modell erreichen.

Zu den Techniken gehören:

• Bildvorverarbeitung zur Entfernung von hochfrequentem Rauschen
• JPEG-Komprimierung, die subtile Störungen zerstört
• Statistische Anomalieerkennung von Eingangsdaten
• Ensemble-Methoden, die Vorhersagen über mehrere Modelle hinweg überprüfen

Anpassungsfähige Angreifer können diese Abwehrmechanismen jedoch oft umgehen, indem sie Störungen erzeugen, die die Transformationen überstehen.

Defensive Quantisierung

Die standardmäßige Quantisierung nach dem Training macht Modelle aufgrund des Fehlerverstärkungseffekts oft anfälliger für Angriffe. Im Gegensatz dazu kann die defensive Quantisierung (DQ) – eine spezielle Technik zur Kontrolle der Lipschitz-Konstante – die Robustheit gegenüber solchen Störungen verbessern und gleichzeitig die Recheneffizienz erhalten.

Die Quantisierung schränkt die Fähigkeit des Angreifers ein, präzise adversarielle Störungen zu erzeugen, wodurch Angriffe weniger effektiv werden, ohne die Modellleistung bei sauberen Daten wesentlich zu beeinträchtigen.

Zertifizierte Verteidigung

Einige neuere Ansätze bieten zertifizierte Robustheitsgarantien – mathematische Beweise dafür, dass sich die Vorhersage des Modells bei keiner Störung innerhalb einer festgelegten Grenze ändert.

Diese Methoden tauschen Genauigkeit gegen nachweisbare Sicherheit. Sie sind für großflächige Implementierungen noch nicht praktikabel, stellen aber eine wichtige Forschungsrichtung dar.

Modellensemble und Diversität

Die Verwendung mehrerer unterschiedlicher Modelle und die Forderung nach Konsens können Angriffe erschweren. Wenn sich adversarial examples nicht gut zwischen Modellen übertragen lassen, muss ein Angreifer alle Ensemblemitglieder gleichzeitig täuschen.

Dies funktioniert am besten, wenn die Ensemblemitglieder unterschiedliche Architekturen, Trainingsverfahren oder Eingabevorverarbeitungen verwenden – eine Maximierung der Diversität verringert die Übertragbarkeit.

Die Herausforderung der Farbverlaufsmaskierung

Frühe Verteidigungsversuche beruhten oft auf Gradientenmaskierung – wodurch es für Angreifer schwieriger wurde, Gradienten zu berechnen oder zu verwenden.

Die Abwehrmechanismen würden Rauschen hinzufügen, nicht differenzierbare Operationen verwenden oder auf andere Weise die Gradienteninformationen verschleiern, die Angreifer benötigen, um adversarielle Beispiele zu generieren.

Hier liegt das Problem: Gradientenmaskierung bietet trügerische Sicherheit. Untersuchungen von OpenAI haben gezeigt, dass diese Schutzmechanismen bei adaptiven Angriffen versagen. Angreifer können Gradienten approximieren, Ersatzmodelle verwenden oder einfach so lange zufällige Störungen ausprobieren, bis etwas funktioniert.

Die Sicherheitscommunity erkennt Gradientenmaskierung mittlerweile als unzureichend an. Effektive Abwehrmechanismen müssen das Modell gegenüber Störungen durch Angreifer robust machen und nicht nur den Weg zu deren Erzeugung verschleiern.

Warum Verteidigung so schwierig ist

Die Robustheit gegenüber Angreifern ist grundsätzlich schwieriger zu handhaben als traditionelle Sicherheitsprobleme. Dafür gibt es mehrere Gründe:

• Die Angriffsfläche ist enorm: In der traditionellen Sicherheitstechnik schützen Verteidiger spezifische Zugangspunkte – Netzwerkports, API-Endpunkte, Anmeldeformulare. Beim adversariellen maschinellen Lernen hingegen stellt jede mögliche Eingabe einen potenziellen Angriffsvektor dar.
• Kleine Störungen sind wichtig: Sicherheitssysteme ignorieren typischerweise kleinste Abweichungen in den Eingabedaten. Angreifer nutzen jedoch die Tatsache aus, dass Modelle des maschinellen Lernens auf unmerkliche Veränderungen reagieren.
• Das Bedrohungsmodell ist unklar: Welche Einschränkungen sollten wir bei Angreifern annehmen? Nur digitale oder auch physische? White-Box- oder Black-Box-Angriffe? Unterschiedliche Annahmen führen zu unterschiedlichen Verteidigungsstrategien.
• Zwischen Genauigkeit und Robustheit besteht ein inhärenter Widerspruch: Modelle, die bei sauberen Daten am besten abschneiden, sind oft am anfälligsten für Adversarial Examples. Die Robustheitssteigerung von Modellen verschlechtert typischerweise die Genauigkeit bei sauberen Daten.

Laut umfangreichen, auf arXiv veröffentlichten Forschungsarbeiten, die Angriffe im gesamten Lebenszyklus des maschinellen Lernens behandeln, bleibt dies eine offene Herausforderung, die eine fortgesetzte multidisziplinäre Zusammenarbeit erfordert.

Branchenanwendungen und Sicherheitsaspekte

Unterschiedliche Branchen stehen aufgrund ihrer Einsatzkontexte und Bedrohungsmodelle vor einzigartigen Herausforderungen im Bereich des adversariellen maschinellen Lernens.

Internet-Sicherheit

Maschinelles Lernen ist die Grundlage moderner Cybersicherheitssysteme: Erkennung von Eindringlingen, Klassifizierung von Schadsoftware, Erkennung von Phishing-Angriffen, Erkennung von Anomalien.

Forscher des MIT, die künstliche gegnerische Intelligenz entwickeln, nutzen KI, um das Verhalten und die Entscheidungsmuster von Angreifern nachzubilden. Diese Systeme verarbeiten Cyberwissen, planen Angriffsschritte und treffen fundierte Entscheidungen innerhalb von Angriffskampagnen – im Wesentlichen nutzen sie KI, um Schwachstellen in KI-Systemen aufzuspüren, bevor Angreifer dies tun.

Angriffe auf Sicherheitsklassifikatoren stellen eine existenzielle Bedrohung dar. Gelingt es Angreifern, unentdeckt zu bleiben, bricht die gesamte Sicherheitsinfrastruktur zusammen.

Autonome Systeme

Selbstfahrende Autos, Drohnen und Roboter sind stark von Computer Vision und maschinellem Lernen abhängig. Physische Angriffe auf diese Systeme könnten Unfälle, Sachschäden oder Todesfälle verursachen.

Die physische Welt birgt sowohl Einschränkungen als auch Möglichkeiten für Angreifer. Störungen müssen Kamerarauschen und sich ändernden Bedingungen standhalten, doch erfolgreiche Angriffe lassen sich mithilfe physischer Objekte in großem Umfang durchführen.

Gesundheitswesen und medizinische Bildgebung

Die KI-gestützte Diagnostik breitet sich rasant aus. Angriffe auf medizinische Bildgebungssysteme könnten zu Fehldiagnosen führen – entweder werden tatsächliche Erkrankungen übersehen oder es werden falsch-positive Befunde ausgelöst, die unnötige Behandlungen nach sich ziehen.

Der medizinische Bereich birgt einzigartige Herausforderungen: extrem hohe Einsätze, regulatorische Anforderungen und das Bedürfnis nach Verständlichkeit und Vertrauen.

Finanzdienstleistungen

Banken nutzen maschinelles Lernen zur Betrugserkennung, Kreditvergabe, für Handelsalgorithmen und zur Risikobewertung. Angriffe durch Cyberkriminelle könnten Finanzbetrug ermöglichen, Märkte manipulieren oder geschützte Gruppen diskriminieren.

Der wirtschaftliche Anreiz für Angriffe ist enorm, was Finanz-ML-Systeme zu Hauptzielen für hochentwickelte Angreifer macht.

Forschungsrichtungen und Zukunftsaussichten

Das Gebiet des adversariellen maschinellen Lernens entwickelt sich weiterhin rasant. Mehrere vielversprechende Forschungsrichtungen zeichnen sich ab.

Theoretisches Verständnis

Forscher arbeiten daran zu verstehen, warum adversarial examples überhaupt existieren. Sind sie grundlegend für hochdimensionales maschinelles Lernen oder Artefakte aktueller Architekturen?

Eine bessere theoretische Grundlage würde die Verteidigungsentwicklung leiten und dazu beitragen, von Natur aus robuste Modellklassen zu identifizieren.

Skalierbares, robustes Training

Aktuelle Methoden des adversariellen Trainings sind rechenintensiv und skalieren nicht gut auf große Modelle und Datensätze. Die Forschung an effizienteren robusten Trainingsmethoden könnte die Verteidigungssysteme für den praktischen Einsatz nutzbar machen.

Erkennung ohne Klassifizierung

Manche Ansätze konzentrieren sich auf die Erkennung von Angriffsbeispielen, ohne sich notwendigerweise dagegen zu verteidigen. Kann ein System verdächtige Eingaben zuverlässig identifizieren, kann es diese ablehnen oder zur menschlichen Überprüfung markieren.

In der Forschung wurden die Verwendung von Statistiken natürlicher Szenen und anderen Verteilungseigenschaften untersucht, um schädliche von legitimen Eingaben zu unterscheiden.

Verteidigungsmechanismen auf Hardwareebene

Einige Forscher untersuchen hardwarebasierte Sicherheitsmechanismen, die speziell für ML-Inferenz entwickelt wurden. Spezialisierte Prozessoren könnten robuste Transformationen oder zertifizierte Berechnungen auf Hardwareebene implementieren.

Bewährte Verfahren für die Bereitstellung sicherer ML-Systeme

Organisationen, die maschinelles Lernen in feindlichen Umgebungen einsetzen, sollten diese bewährten Sicherheitspraktiken befolgen:

• Bedrohungsmodellierung: Identifizieren Sie realistische Angriffsszenarien für den jeweiligen Einsatzkontext. Welche Zugriffsrechte haben Angreifer? Was sind ihre Ziele? Dies bestimmt die Prioritäten der Verteidigung.
• Verteidigung in der Tiefe: Setzen Sie mehrere Verteidigungsmechanismen übereinander. Verlassen Sie sich nicht auf eine einzige Technik – kombinieren Sie adversarielles Training, Eingabevalidierung, Ensemble-Methoden und Überwachung.
• Kontinuierliche Bewertung: Die Bedrohungen durch Angreifer entwickeln sich ständig weiter. Testen Sie Ihre eingesetzten Modelle regelmäßig auf neue Angriffstechniken und passen Sie Ihre Abwehrmaßnahmen entsprechend an.
• Überwachung und Protokollierung: Implementieren Sie eine umfassende Protokollierung der Modelleingaben und -ausgaben. Die Anomalieerkennung von Vorhersagemustern kann laufende Angriffe aufdecken.
• Menschliche Aufsicht: Bei wichtigen Entscheidungen sollte der Mensch unbedingt einbezogen werden. KI sollte die menschliche Entscheidungsfindung unterstützen, nicht aber in Konfliktsituationen vollständig ersetzen.
• Transparenz und Offenlegung: Wenn Modelle aufgrund von Angriffen versagen, sollten die Erfahrungen dokumentiert und geteilt werden. Die Sicherheitscommunity lernt aus aufgedeckten Schwachstellen.

Die Rolle von Regulierung und Standards

Wie das NIST in seinem Bericht „Trustworthy and Responsible AI 2025“ hervorhob, erfordert die zunehmende Verbreitung von KI-Systemen besondere Aufmerksamkeit für Sicherheit und Robustheit.

Regierungsbehörden und Normungsorganisationen beginnen, Rahmenwerke für die Sicherheit von KI zu entwickeln. Das IEEE hat mehrere technische Standards zu Angriffen und Schwachstellen bei der Interpretation neuronaler Netze veröffentlicht.

Es werden voraussichtlich regulatorische Rahmenbedingungen entstehen, die Robustheitstests gegen Angriffe vor dem Einsatz von ML in kritischen Anwendungen vorschreiben – ähnlich wie sicherheitskritische Software heute strengen Tests unterzogen wird.

Häufig gestellte Fragen