Apprentissage automatique dans les attaques adverses : guide 2026

Résumé rapide : L'apprentissage automatique dans le cadre d'attaques adverses désigne les tentatives délibérées de manipulation des systèmes d'IA par l'exploitation de vulnérabilités dans leurs données d'entraînement ou le traitement de leurs entrées. Les attaquants conçoivent des entrées spécialement adaptées, appelées exemples adverses, qui induisent les modèles en erreur, souvent de manière imperceptible. Ces attaques représentent un risque de sécurité majeur pour de nombreuses applications, des véhicules autonomes au diagnostic médical, et nécessitent des stratégies de défense robustes et une recherche continue.

Les systèmes d'IA sont désormais omniprésents. Ils approuvent les demandes de prêt, diagnostiquent les maladies, filtrent les spams et pilotent même les véhicules autonomes dans les rues très fréquentées.

Mais voilà le problème : ces systèmes présentent une faille importante. Les attaquants peuvent les tromper par des manipulations subtiles que les humains ne remarqueraient même pas.

Voilà, en résumé, ce qu'est l'apprentissage automatique adverse. Il s'agit de l'étude de la manière dont les acteurs malveillants exploitent les vulnérabilités des modèles d'IA et, plus important encore, des efforts déployés par les chercheurs en sécurité pour se défendre contre ces attaques. Comme le souligne le NIST dans son rapport 2025 sur une IA fiable et responsable, l'adoption des systèmes d'IA s'accélère à l'échelle mondiale, rendant la correction des failles de sécurité de plus en plus cruciale.

Ce guide détaille tout, des types d'attaques les plus basiques aux mécanismes de défense les plus sophistiqués. Soyons clairs : comprendre les attaques adverses n'est plus une option, c'est fondamental pour concevoir des systèmes d'IA capables de résister aux tentatives de manipulation.

Qu'est-ce que l'apprentissage automatique adverse ?

L'apprentissage automatique adverse se situe à la croisée de l'IA et de la cybersécurité. Selon IBM, il s'agit de l'art de tromper les systèmes d'IA ; un domaine qui englobe aussi bien les acteurs malveillants que les chercheurs bien intentionnés qui mettent en évidence les vulnérabilités.

Contrairement aux cyberattaques traditionnelles qui exploitent les bugs logiciels ou les erreurs de configuration, les attaques adverses ciblent la manière fondamentale dont les modèles d'apprentissage automatique apprennent et prennent des décisions.

Voici comment cela fonctionne : les modèles d’apprentissage automatique apprennent des schémas à partir de données d’entraînement. Ils sont optimisés pour bien fonctionner avec des données similaires à celles qu’ils ont déjà vues. Les adversaires exploitent cette faille en créant des entrées spécifiquement conçues pour tromper le modèle — des entrées qui paraissent normales aux humains, mais qui amènent l’IA à commettre des erreurs catastrophiques.

Des chercheurs du MIT ont démontré que chaque fois que l'apprentissage automatique est utilisé pour prévenir les activités illégales et qu'il existe une incitation économique, les adversaires tentent de contourner le système de protection. Cela engendre une course aux armements permanente entre attaquants et défenseurs.

Attaques adverses contre cyberattaques traditionnelles

Les cyberattaques traditionnelles exploitent les failles de sécurité : dépassements de tampon, injections SQL, mots de passe faibles. Corrigez le bug, mettez à jour le système, et le problème est résolu.

Les attaques adverses sont fondamentalement différentes. Elles exploitent les propriétés mathématiques des algorithmes d'apprentissage automatique eux-mêmes. Même un système d'IA parfaitement implémenté et exempt de bogues reste vulnérable, car la vulnérabilité réside dans la manière dont le modèle traite l'information.

Imaginez ceci : une attaque classique consiste à pénétrer dans une maison par une fenêtre brisée. Une attaque par ruse, quant à elle, fait croire aux occupants que le cambrioleur est en réalité le propriétaire.

Comment fonctionnent les attaques adverses

Le principe fondamental des attaques adverses est étonnamment simple : trouver la direction dans l’espace d’entrée qui modifie au maximum la sortie du modèle, puis pousser l’entrée dans cette direction.

La plupart des modèles de classification d'images peuvent fournir soit la classe prédite, soit la distribution de probabilité complète. Si un modèle prédit “ 99,9% avion, 0,1% chat ”, une infime modification des données d'entrée peut radicalement inverser cette prédiction.

Les adversaires y parviennent grâce à des techniques d'optimisation. Ils traitent le modèle d'apprentissage automatique comme une fonction mathématique et utilisent des méthodes basées sur le gradient pour trouver les entrées qui maximisent l'erreur de prédiction.

Selon une étude du MIT, les attaquants ont développé des systèmes automatisés capables de camoufler des logiciels malveillants lors de nombreux essais, en utilisant l'IA elle-même pour optimiser le processus d'évasion.

Exemples contradictoires expliqués

Les exemples adverses sont des entrées spécifiquement conçues pour provoquer des erreurs de classification. OpenAI les décrit comme des “ illusions d'optique pour machines ”.”

Le plus inquiétant ? Ces manipulations sont souvent imperceptibles pour l’œil humain. Il suffit d’ajouter une infime quantité de bruit soigneusement calculé à l’image d’un panda pour qu’un système de classification d’images de pointe le prenne soudainement pour un gibbon avec un niveau de confiance de 99%.

En 2020, des chercheurs du MIT CSAIL ont développé TextFooler, un système qui a réussi à attaquer des modèles de traitement automatique du langage naturel, notamment BERT. Il a trompé les modèles cibles avec une précision supérieure à 90 % contre moins de 20 %, en modifiant seulement 10 % des mots d'un texte donné.

Les exemples adverses fonctionnent sur différents supports : images, textes, enregistrements audio et même objets physiques. Des chercheurs ont démontré que le simple fait de placer quelques petits autocollants au sol à une intersection peut amener les voitures autonomes à prendre des décisions aberrantes et à s’engager sur les voies de circulation opposées.

Types d'attaques adverses contre l'apprentissage automatique

Les attaques adverses se présentent sous de multiples formes, chacune ayant des objectifs, des capacités et des modèles de menace différents. Comprendre ces catégories aide les équipes de sécurité à prioriser leurs défenses.

Attaques d'évasion

Les attaques par évasion sont la catégorie la plus courante et la mieux étudiée. Elles consistent pour les adversaires à manipuler les données d'entrée lors des tests afin d'échapper à la détection ou de provoquer des erreurs de classification.

L'attaquant ne modifie ni les données d'entraînement ni l'architecture du modèle. Il se contente de créer des entrées malveillantes que le modèle entraîné interprétera mal.

Voici quelques exemples concrets :

• Des filtres anti-spam qui peuvent être trompés par des substitutions de mots soigneusement choisies.
• Logiciel malveillant qui modifie son code pour échapper à la détection antivirus
• Les systèmes de reconnaissance faciale trompés par des lunettes ou du maquillage hostiles
• Panneaux d'arrêt munis d'autocollants que les véhicules autonomes interprètent à tort comme des panneaux de limitation de vitesse

D'après une étude publiée sur arXiv, la transférabilité des attaques varie considérablement selon les architectures. Lorsque des exemples adverses générés sur ResNet-18 sont testés sur d'autres modèles, les taux de réussite présentent des tendances intéressantes : 100,01 TP3T contre ResNet-18 (sans surprise), 46,21 TP3T contre les modèles VGG-16, 38,71 TP3T contre DenseNet-121 et 32,11 TP3T contre MobileNetV2.

De même, les attaques générées par VGG-16 atteignent un succès de 100,0% sur VGG-16, 41,3% sur ResNet-18, 35,9% sur DenseNet-121 et 28% sur MobileNetV2.

Attaques par empoisonnement

Les attaques par empoisonnement ciblent la phase d'entraînement. Les adversaires injectent des données malveillantes dans l'ensemble d'entraînement, corrompant ainsi le modèle avant même son déploiement.

Ceci est particulièrement dangereux car le modèle empoisonné semble fonctionner normalement sur la plupart des entrées, mais échoue de manière catastrophique sur les déclencheurs choisis par l'attaquant.

Le problème des attaques par empoisonnement est qu'elles nécessitent un accès au processus d'entraînement. Mais à l'ère des jeux de données participatifs et des fournisseurs de données tiers, c'est moins difficile qu'il n'y paraît.

Les recherches menées au MIT Lincoln Laboratory soulignent que les limitations imposées à la manipulation des données d'entraînement et de test par les adversaires rendent ces problèmes traitables. Ce domaine englobe plusieurs disciplines, dont la détection de spam, la détection d'intrusion et la manipulation des techniques d'optimisation pour les moteurs de recherche.

Attaques par extraction de modèles

Parfois, l'objectif n'est pas de tromper le modèle, mais de le voler. Les attaques par extraction de modèle consistent à interroger un système d'apprentissage automatique de manière répétée, puis à utiliser les réponses pour construire un modèle de substitution qui imite l'original.

Une fois qu'un attaquant dispose d'un modèle de substitution, il peut tester localement des exemples d'attaques avant de les déployer sur le système réel. Cela réduit considérablement le coût et la détectabilité des attaques ultérieures.

Les services d'apprentissage automatique basés sur le cloud sont particulièrement vulnérables car ils exposent des API de prédiction que les attaquants peuvent interroger à grande échelle.

Attaques par porte dérobée

Les attaques par porte dérobée insèrent des déclencheurs cachés dans les modèles. Le modèle fonctionne normalement avec des entrées classiques, mais produit des sorties contrôlées par l'attaquant lorsqu'il détecte le déclencheur.

Imaginez un système de reconnaissance faciale qui fonctionne parfaitement, sauf lorsqu'une personne porte un motif spécifique d'autocollants ; dans ce cas, il l'identifie systématiquement comme un utilisateur autorisé.

Ces attaques sont particulièrement préoccupantes pour les modèles entraînés sur des données non fiables ou déployés à partir de référentiels de modèles tiers.

Techniques et méthodes d'attaque

La communauté de recherche en apprentissage automatique adverse a développé de nombreux algorithmes d'attaque, chacun présentant des capacités et des exigences différentes.

Attaques en boîte blanche

Les attaques en boîte blanche supposent que l'adversaire possède une connaissance complète du modèle cible : architecture, paramètres, données d'entraînement, absolument tout.

Cela peut paraître irréaliste, mais c'est en réalité un scénario courant. De nombreuses organisations déploient des modèles open source, et même les systèmes propriétaires révèlent souvent suffisamment d'informations dans leurs prédictions pour permettre des attaques par modèle de substitution.

Les méthodes de boîte blanche populaires incluent la méthode de signe de gradient rapide (FGSM), qui crée des exemples adverses en prenant une seule étape de gradient dans la direction qui maximise la perte.

Des attaques plus sophistiquées, comme la descente de gradient projetée (PGD), affinent itérativement les perturbations adverses en plusieurs étapes. Des recherches menées en 2017 ont montré que l'entraînement adverse basé sur la PGD crée des modèles plus résistants aux attaques.

Attaques en boîte noire

Les attaques en boîte noire fonctionnent sans que l'attaquant ait connaissance du modèle interne. Il peut seulement interroger le modèle et observer les résultats.

Ces attaques exploitent souvent la transférabilité : des exemples adverses conçus pour un modèle trompent fréquemment d’autres modèles entraînés sur des données similaires. Un attaquant peut entraîner son propre modèle de substitution, générer des exemples adverses contre celui-ci, puis transférer ces exemples au système cible.

Les attaques en boîte noire sont plus réalistes pour la plupart des scénarios de menaces, mais elles nécessitent généralement plus de requêtes et obtiennent des taux de réussite inférieurs à ceux des méthodes en boîte blanche.

Attaques physiques adverses

Les exemples d'attaques numériques sont une chose. Les attaques physiques qui fonctionnent dans le monde réel sont d'un tout autre niveau.

Des chercheurs ont démontré l'existence d'objets adverses physiques : des lunettes spécialement conçues pour tromper la reconnaissance faciale, des t-shirts à motifs qui rendent les personnes “ invisibles ” aux détecteurs d'objets et des panneaux de signalisation modifiés avec des autocollants que les véhicules autonomes interprètent mal.

Les attaques physiques sont soumises à des contraintes supplémentaires : les angles de vue changent, l’éclairage varie et les caméras génèrent du bruit. Mais le fait que les perturbations adverses puissent survivre à ces transformations les rend particulièrement préoccupantes pour les déploiements d’IA en conditions réelles.

Explorez la recherche sur les attaques adverses avec AI Superior

Les systèmes d'apprentissage automatique peuvent devenir vulnérables lorsque les modèles sont exposés à des entrées manipulées, à des exemples adverses ou à des données conçues pour affecter la précision des prédictions. IA supérieure Ils peuvent accompagner les équipes de recherche sur les attaques adverses, la robustesse des modèles et les tests de sécurité en IA. Leurs services comprennent le conseil en IA, l'apprentissage automatique, la science des données, le développement de logiciels d'IA, la conception de preuves de concept et l'évaluation de modèles.

AI Superior peut vous aider avec :

• Définition de scénarios de tests adverses
• Examen des ensembles de données et des architectures de modèles
• Évaluation du comportement du modèle dans des conditions adverses
• Élaboration de modèles de sécurité de validation de concept
• Prise en charge des flux de travail de test de robustesse des modèles d'IA
• Intégration planifiée aux systèmes d'IA existants
• Soutenir le développement sécurisé des modèles d'IA

Dans le cadre de la recherche sur les attaques adverses, cela peut s'appliquer aux tests de robustesse des modèles, à la détection d'exemples adverses, à l'analyse de la sécurité de l'IA et aux stratégies de ML défensives.

Parlez à un supérieur de l'IA à propos de la portée du projet.

Exemples d'attaques dans le monde réel

Les attaques adverses ne sont pas de simples curiosités académiques. Elles ont été démontrées contre des systèmes de production dans de multiples domaines.

Attaques de véhicules autonomes

Des chercheurs de l'Université de Californie à Berkeley ont démontré que le simple fait de coller de petits autocollants sur les panneaux d'arrêt peut amener les systèmes de vision des véhicules autonomes à les confondre avec des panneaux de limitation de vitesse. Les conséquences sont alarmantes : quelques euros d'autocollants pourraient provoquer des accidents de la route.

Des attaques similaires ont trompé les systèmes de détection de voies, provoquant des déportations de véhicules d'essai sur les voies opposées lorsque des marquages adverses sont placés sur les routes.

Évasion de la reconnaissance faciale

Des lunettes et un maquillage à motifs trompeurs peuvent duper les systèmes de reconnaissance faciale tout en paraissant relativement normaux aux yeux des humains. Ces techniques fonctionnent même lorsque l'éclairage et l'angle de vue changent.

Des attaques plus sophistiquées peuvent provoquer des erreurs d'identification ciblées, amenant le système à identifier la personne A comme étant la personne B, ce qui peut potentiellement lui accorder un accès non autorisé à des zones sécurisées.

Manipulation du diagnostic médical

Des études ont démontré que des modifications imperceptibles apportées aux images médicales peuvent tromper les systèmes d'IA de diagnostic. Un adversaire pourrait potentiellement ajouter du bruit à une IRM, ce qui empêcherait les algorithmes de détection du cancer de détecter des tumeurs ou les amènerait à identifier des tissus sains comme malins.

L'enjeu est ici littéralement une question de vie ou de mort, ce qui rend des défenses robustes essentielles au déploiement de l'IA médicale.

Évasion des spams et des logiciels malveillants

Les attaquants modifient régulièrement les courriels indésirables et les échantillons de logiciels malveillants pour échapper à la détection. Ils utilisent leurs propres systèmes d'IA pour optimiser ces techniques d'évasion, créant ainsi une course à l'armement automatisée.

Selon une étude du MIT, les attaquants ont développé des bots qui camouflent automatiquement les logiciels malveillants grâce à des tests itératifs contre les systèmes de détection.

Comment se défendre contre les attaques adverses

Se défendre contre les attaques adverses demeure un défi de recherche majeur. Aucune défense n'offre une protection absolue, mais une approche multicouche complique considérablement la tâche des attaquants.

Entraînement à l'affrontement

Le mécanisme de défense le plus efficace identifié à ce jour est l'entraînement adverse, qui consiste à augmenter l'ensemble d'entraînement avec des exemples adverses et leurs étiquettes correctes.

Le modèle apprend à classifier correctement les entrées normales et adverses. Des recherches ont montré que les modèles entraînés avec des exemples adverses PGD deviennent nettement plus robustes aux attaques.

L'inconvénient ? L'entraînement adverse est gourmand en ressources de calcul et peut réduire la précision sur les exemples sans adversaire. De plus, il n'est robuste qu'aux types d'attaques rencontrés lors de l'entraînement.

Transformation et détection des entrées

Une autre stratégie de défense consiste à détecter ou à supprimer les perturbations adverses avant qu'elles n'atteignent le modèle.

Les techniques utilisées comprennent :

• Prétraitement d'image visant à supprimer le bruit haute fréquence
• Compression JPEG qui détruit les perturbations subtiles
• Détection d'anomalies statistiques sur les entrées
• Méthodes d'ensemble qui vérifient les prédictions à travers plusieurs modèles

Cependant, les attaquants adaptatifs peuvent souvent contourner ces défenses en créant des perturbations qui survivent aux transformations.

Quantification défensive

La quantification standard post-entraînement rend souvent les modèles plus vulnérables aux attaques adverses en raison de l'amplification des erreurs. À l'inverse, la quantification défensive (DQ), une technique spécialisée qui contrôle la constante de Lipschitz, permet d'améliorer la robustesse face aux perturbations adverses tout en préservant l'efficacité de calcul.

La quantification limite la capacité de l'attaquant à générer des perturbations adverses précises, ce qui rend les attaques moins efficaces sans dégrader sensiblement les performances du modèle sur des données propres.

Défenses certifiées

Certaines approches récentes fournissent des garanties de robustesse certifiées — des preuves mathématiques que la prédiction du modèle ne changera pas pour toute perturbation dans une limite spécifiée.

Ces méthodes privilégient la sécurité vérifiable au détriment de la précision. Elles ne sont pas encore adaptées aux déploiements à grande échelle, mais constituent une piste de recherche importante.

Ensemble de modèles et diversité

L'utilisation de plusieurs modèles diversifiés et l'exigence d'un consensus peuvent rendre les attaques plus difficiles. Si les exemples adverses ne se transposent pas facilement d'un modèle à l'autre, un attaquant doit tromper simultanément tous les membres de l'ensemble.

Cela fonctionne mieux lorsque les membres de l'ensemble utilisent des architectures, des procédures d'entraînement ou des prétraitements d'entrée différents ; maximiser la diversité réduit la transférabilité.

Le défi du masquage par dégradé

Les premières tentatives de défense reposaient souvent sur le masquage des gradients, rendant ainsi les gradients plus difficiles à calculer ou à utiliser pour les attaquants.

Les défenses ajouteraient du bruit, utiliseraient des opérations non différentiables ou masqueraient d'une autre manière les informations de gradient dont les attaquants ont besoin pour générer des exemples adverses.

Voici le problème : le masquage de gradient offre une fausse sécurité. Les recherches d’OpenAI ont démontré que ces défenses échouent face aux attaques adaptatives. Les attaquants peuvent approximer les gradients, utiliser des modèles de substitution ou simplement tester des perturbations aléatoires jusqu’à obtenir un résultat positif.

La communauté de la sécurité reconnaît désormais que le masquage par gradient est insuffisant. Les défenses efficaces doivent rendre le modèle robuste aux perturbations adverses, et non se contenter de masquer la manière de les provoquer.

Pourquoi la défense est si difficile

La robustesse face aux attaques adverses est fondamentalement plus complexe que les problèmes de sécurité traditionnels. Plusieurs facteurs expliquent cela :

• La surface d'attaque est énorme : En sécurité traditionnelle, les systèmes de défense protègent des points d'entrée spécifiques : ports réseau, points de terminaison d'API, formulaires de connexion. Avec l'apprentissage automatique adverse, chaque entrée possible représente un vecteur d'attaque potentiel.
• Les petites perturbations ont leur importance : Les systèmes de sécurité ignorent généralement les infimes variations dans les données d'entrée. Or, les attaques adverses exploitent la sensibilité des modèles d'apprentissage automatique aux changements imperceptibles.
• Le modèle de menace est flou : Quelles contraintes devons-nous imposer aux attaquants ? Uniquement numériques ou physiques ? Boîte blanche ou boîte noire ? Différentes hypothèses engendrent différentes défenses.
• Il existe une tension inhérente entre précision et robustesse : Les modèles les plus performants sur des données propres sont souvent les plus vulnérables aux exemples adverses. Rendre les modèles robustes dégrade généralement leur précision sur des données propres.

D’après une étude approfondie publiée sur arXiv et portant sur les attaques tout au long du cycle de vie de l’apprentissage automatique, cela reste un défi ouvert nécessitant une coopération multidisciplinaire continue.

Applications industrielles et considérations de sécurité

Différents secteurs d'activité sont confrontés à des défis uniques en matière d'apprentissage automatique adverse, en fonction de leurs contextes de déploiement et de leurs modèles de menaces.

La cyber-sécurité

L'apprentissage automatique est au cœur des systèmes de cybersécurité modernes : détection d'intrusions, classification des logiciels malveillants, détection du phishing, détection d'anomalies.

Des chercheurs du MIT, spécialisés dans l'intelligence artificielle adverse, utilisent l'IA pour reproduire le comportement et les schémas de décision des attaquants. Ces systèmes traitent les connaissances en cybersécurité, planifient les étapes d'une attaque et prennent des décisions éclairées au cours d'une campagne d'attaque, utilisant ainsi l'IA pour identifier les vulnérabilités de l'IA avant les acteurs malveillants.

Les attaques adverses contre les systèmes de classification de sécurité constituent une menace existentielle. Si les attaquants parviennent à échapper systématiquement à la détection, c'est toute l'infrastructure de sécurité qui s'effondre.

Systèmes autonomes

Les voitures autonomes, les drones et les robots dépendent fortement de la vision par ordinateur et de l'apprentissage automatique. Des attaques physiques contre ces systèmes pourraient provoquer des accidents, des dégâts matériels, voire des pertes de vies humaines.

Le monde physique offre à la fois des contraintes et des opportunités aux attaquants. Les perturbations doivent résister au bruit de la caméra et aux conditions changeantes, mais les attaques réussies peuvent être déployées à grande échelle grâce à des objets physiques.

Soins de santé et imagerie médicale

Le diagnostic assisté par l'IA se développe rapidement. Les attaques malveillantes contre les systèmes d'imagerie médicale pourraient entraîner des erreurs de diagnostic, soit en passant à côté de maladies réelles, soit en générant de faux positifs conduisant à des traitements inutiles.

Le domaine médical présente des défis uniques : des enjeux extrêmement élevés, des exigences réglementaires et un besoin d’interprétabilité et de confiance.

Services financiers

Les banques utilisent l'apprentissage automatique pour la détection des fraudes, l'octroi de prêts, les algorithmes de trading et l'évaluation des risques. Les attaques malveillantes pourraient permettre la fraude financière, la manipulation des marchés ou la discrimination à l'encontre de groupes protégés.

L'incitation économique à commettre des attaques est énorme, ce qui fait des systèmes d'apprentissage automatique financiers des cibles de choix pour des adversaires sophistiqués.

Orientations de recherche et perspectives d'avenir

Le domaine de l'apprentissage automatique adverse continue d'évoluer rapidement. Plusieurs pistes de recherche prometteuses émergent.

Compréhension théorique

Les chercheurs s'efforcent de comprendre pourquoi les exemples adverses existent. Sont-ils fondamentaux pour l'apprentissage automatique en grande dimension, ou des artefacts des architectures actuelles ?

Des fondements théoriques plus solides permettraient d'orienter le développement de la défense et d'identifier des classes de modèles intrinsèquement robustes.

Formation robuste et évolutive

Les méthodes d'entraînement adverses actuelles sont gourmandes en ressources de calcul et ne s'adaptent pas bien aux grands modèles et ensembles de données. Des recherches sur un entraînement plus efficace et robuste permettraient de rendre les défenses applicables en conditions réelles.

Détection sans classification

Certaines approches visent à détecter les exemples adverses sans nécessairement s'en défendre. Si un système peut identifier de manière fiable les entrées suspectes, il peut les rejeter ou les signaler pour une vérification humaine.

Des recherches ont exploré l'utilisation des statistiques de scènes naturelles et d'autres propriétés de distribution pour distinguer les entrées adverses des entrées légitimes.

Défenses au niveau matériel

Certains chercheurs étudient des mécanismes de sécurité matériels spécifiquement conçus pour l'inférence en apprentissage automatique. Des processeurs spécialisés pourraient implémenter des transformations robustes ou des calculs certifiés au niveau matériel.

Meilleures pratiques pour le déploiement de systèmes d'apprentissage automatique sécurisés

Les organisations qui déploient l'apprentissage automatique dans des environnements hostiles doivent suivre ces bonnes pratiques de sécurité :

• Modélisation des menaces : Identifiez des scénarios d'attaque réalistes pour le contexte de déploiement spécifique. Quels sont les accès des attaquants ? Quels sont leurs objectifs ? Cela permettra d'orienter les priorités de défense.
• Défense en profondeur : Mettez en place plusieurs mécanismes de défense. Ne vous fiez pas à une seule technique : combinez l’entraînement adverse, la validation des entrées, les méthodes d’ensemble et la surveillance.
• Évaluation continue : Les menaces adverses évoluent. Testez régulièrement les modèles déployés face aux nouvelles techniques d'attaque et mettez à jour les défenses en conséquence.
• Surveillance et journalisation : Mettre en place un système d'enregistrement complet des entrées et sorties du modèle. La détection d'anomalies dans les schémas de prédiction peut révéler des attaques en cours.
• Supervision humaine : Pour les décisions à forts enjeux, il est essentiel de maintenir l'humain impliqué. L'IA doit assister la prise de décision humaine, et non la remplacer entièrement dans des contextes conflictuels.
• Transparence et divulgation : Lorsque des modèles échouent suite à des attaques adverses, documentez et partagez l'expérience. La communauté de la sécurité tire des enseignements des vulnérabilités divulguées.

Le rôle de la réglementation et des normes

Comme le souligne le NIST dans son rapport de 2025 sur l'IA fiable et responsable, l'adoption accélérée des systèmes d'IA exige une attention particulière à la sécurité et à la robustesse.

Les agences gouvernementales et les organismes de normalisation commencent à élaborer des cadres de sécurité pour l'IA. L'IEEE a publié plusieurs normes techniques relatives aux perturbations adverses et aux vulnérabilités d'interprétation des réseaux neuronaux.

Des cadres réglementaires devraient probablement émerger, exigeant des tests de robustesse face aux attaques adverses avant le déploiement de l'apprentissage automatique dans des applications critiques, à l'instar des tests rigoureux auxquels sont soumis aujourd'hui les logiciels critiques pour la sécurité.

Questions fréquemment posées