Aprendizaje automático en ataques adversarios: Guía 2026

Resumen rápido: El aprendizaje automático en ataques adversarios se refiere a los intentos deliberados de manipular sistemas de IA explotando vulnerabilidades en sus datos de entrenamiento o procesamiento de entrada. Los atacantes diseñan entradas específicas —denominadas ejemplos adversarios— que provocan que los modelos realicen predicciones incorrectas, a menudo con cambios imperceptibles. Estos ataques plantean graves riesgos de seguridad en diversas aplicaciones, desde vehículos autónomos hasta diagnósticos médicos, lo que exige estrategias de defensa sólidas e investigación continua.

Los sistemas de IA están por todas partes. Aproban solicitudes de préstamos, diagnostican enfermedades, filtran el correo basura e incluso dirigen vehículos autónomos por calles concurridas.

Pero aquí está el problema: estos sistemas tienen una grave debilidad. Los atacantes pueden engañarlos con manipulaciones sutiles que los humanos ni siquiera notarían.

En resumen, eso es el aprendizaje automático adversario. Se trata del estudio de cómo los ciberdelincuentes explotan las vulnerabilidades de los modelos de IA y, lo que es aún más importante, cómo los investigadores de seguridad trabajan para defenderse de estos ataques. Como destacó el NIST en su informe de 2025 sobre IA confiable y responsable, los sistemas de IA se enfrentan a una adopción cada vez más acelerada a nivel mundial, lo que hace que abordar las vulnerabilidades de seguridad sea cada vez más crucial.

Esta guía desglosa todo, desde los tipos de ataque básicos hasta los mecanismos de defensa más avanzados. En serio: comprender los ataques adversarios ya no es opcional, sino fundamental para construir sistemas de IA que no colapsen cuando alguien intente manipularlos.

¿Qué es el aprendizaje automático adversario?

El aprendizaje automático adversario se sitúa en la intersección de la IA y la ciberseguridad. Según IBM, se trata del arte de engañar a los sistemas de IA, un campo que incluye tanto a actores maliciosos como a investigadores bienintencionados que exponen vulnerabilidades.

A diferencia de los ciberataques tradicionales que explotan fallos de software o errores de configuración, los ataques adversarios se dirigen a la forma fundamental en que los modelos de aprendizaje automático aprenden y toman decisiones.

Así es como funciona: los modelos de aprendizaje automático aprenden patrones a partir de datos de entrenamiento. Se optimizan para funcionar bien con datos similares a los que ya han visto. Los atacantes se aprovechan de esto creando entradas diseñadas específicamente para engañar al modelo: entradas que parecen normales para los humanos, pero que provocan que la IA cometa errores catastróficos.

Investigadores del MIT han demostrado que, siempre que se utiliza el aprendizaje automático para prevenir actividades ilegales y existe un incentivo económico, los adversarios intentarán eludir la protección. Esto genera una constante carrera armamentística entre atacantes y defensores.

Ataques adversarios frente a ciberataques tradicionales

Los ciberataques tradicionales explotan fallos de implementación: desbordamientos de búfer, inyección SQL, contraseñas débiles. Corrige el error, actualiza el sistema y problema resuelto.

Los ataques adversarios son fundamentalmente diferentes. Explotan las propiedades matemáticas de los propios algoritmos de aprendizaje automático. Incluso un sistema de IA perfectamente implementado y sin errores sigue siendo vulnerable, ya que la vulnerabilidad reside en la forma en que el modelo procesa la información.

Piénsalo así: un ataque tradicional entra en una casa por una ventana rota. Un ataque adversario convence a la casa de que el ladrón es en realidad el dueño.

Cómo funcionan los ataques adversarios

El principio fundamental de los ataques adversarios es sorprendentemente simple: encontrar la dirección en el espacio de entrada que modifique al máximo la salida del modelo y, a continuación, dirigir la entrada en esa dirección.

La mayoría de los modelos de clasificación de imágenes pueden generar como resultado solo la clase predicha o la distribución completa de la probabilidad. Si un modelo genera como resultado "99,91 TP3T avión, 0,11 TP3T gato", un pequeño cambio en la entrada puede modificar drásticamente esa predicción.

Los adversarios logran esto mediante técnicas de optimización. Tratan el modelo de aprendizaje automático como una función matemática y utilizan métodos basados en gradientes para encontrar entradas que maximicen el error de predicción.

Según una investigación del MIT, los atacantes han desarrollado sistemas automatizados capaces de camuflar el malware a lo largo de numerosos ensayos, utilizando la propia IA para optimizar el proceso de evasión.

Ejemplos de litigios adversariales explicados

Los ejemplos adversarios son datos de entrada diseñados específicamente para provocar errores de clasificación. OpenAI los describe como “ilusiones ópticas para máquinas”.”

¿Lo más aterrador? Estas manipulaciones suelen ser imperceptibles para los humanos. Si se añade una pequeña cantidad de ruido cuidadosamente calculado a la imagen de un panda, de repente un clasificador de imágenes de última generación detecta un gibón con una confianza del 991% (TP3T).

En 2020, investigadores del MIT CSAIL desarrollaron TextFooler, un sistema que atacó con éxito modelos de procesamiento del lenguaje natural, incluido BERT. Engañó a los modelos objetivo con una precisión de entre el 90 % y el 20 %, modificando tan solo el 10 % de las palabras de un texto dado.

Los ejemplos adversarios funcionan en diferentes medios: imágenes, texto, audio e incluso objetos físicos. Los investigadores han demostrado que colocar unas pocas pegatinas pequeñas en el suelo de una intersección puede provocar que los coches autónomos realicen juicios anómalos y se desvíen hacia los carriles de circulación contrario.

Tipos de ataques adversarios contra el aprendizaje automático

Los ataques adversarios se presentan de diversas formas, cada una con diferentes objetivos, capacidades y modelos de amenaza. Comprender estas categorías ayuda a los equipos de seguridad a priorizar las defensas.

Ataques de evasión

Los ataques de evasión son la categoría más común y mejor estudiada. En estos ataques, los adversarios manipulan los datos de entrada durante la prueba para evitar la detección o provocar una clasificación errónea.

El atacante no toca los datos de entrenamiento ni la arquitectura del modelo. Simplemente crea entradas maliciosas que el modelo entrenado clasificará erróneamente.

Algunos ejemplos del mundo real son:

• Filtros de spam que pueden ser engañados mediante sustituciones de palabras cuidadosamente elegidas.
• Software malicioso que modifica su código para evadir la detección de antivirus.
• Los sistemas de reconocimiento facial son engañados por gafas o maquillaje maliciosos.
• Señales de stop con pegatinas que los vehículos autónomos interpretan erróneamente como señales de límite de velocidad.

Según una investigación publicada en arXiv, la transferibilidad de ataques varía significativamente entre arquitecturas. Cuando se prueban ejemplos adversarios generados en ResNet-18 contra otros modelos, las tasas de éxito muestran patrones interesantes: 100,0% contra ResNet-18 (obviamente), 46,2% contra modelos VGG-16, 38,7% contra DenseNet-121 y 32,1% contra MobileNetV2.

De manera similar, los ataques generados por VGG-16 logran un éxito de 100,0% en VGG-16, 41,3% en ResNet-18, 35,9% en DenseNet-121 y 28% en MobileNetV2.

Ataques de envenenamiento

Los ataques de envenenamiento tienen como objetivo la fase de entrenamiento. Los atacantes inyectan datos maliciosos en el conjunto de datos de entrenamiento, corrompiendo el modelo incluso antes de su implementación.

Esto es particularmente peligroso porque el modelo manipulado parece funcionar con normalidad en la mayoría de las entradas, pero falla catastróficamente ante los desencadenantes elegidos por el atacante.

El problema de los ataques de envenenamiento es que requieren acceso al proceso de entrenamiento. Pero en una era de conjuntos de datos colaborativos y proveedores de datos externos, eso no es tan difícil como parece.

Las investigaciones del Laboratorio Lincoln del MIT destacan que las limitaciones sobre cómo los adversarios pueden manipular los datos de entrenamiento y prueba hacen que estos problemas sean manejables. El campo abarca múltiples disciplinas, incluyendo la detección de spam, la detección de intrusiones y la manipulación de la optimización de motores de búsqueda.

Ataques de extracción de modelos

A veces, el objetivo no es engañar al modelo, sino robarlo. Los ataques de extracción de modelos consultan repetidamente un sistema de aprendizaje automático y luego utilizan las respuestas para construir un modelo sustituto que imita al original.

Una vez que un atacante dispone de un modelo sustituto, puede probar ejemplos adversarios localmente antes de implementarlos contra el sistema real. Esto reduce drásticamente el coste y la detectabilidad de los ataques posteriores.

Los servicios de aprendizaje automático basados en la nube son particularmente vulnerables porque exponen API de predicción que los atacantes pueden consultar a gran escala.

Ataques por la puerta trasera

Los ataques de puerta trasera insertan activadores ocultos en los modelos. El modelo funciona con normalidad ante entradas habituales, pero produce salidas controladas por el atacante cuando detecta el activador.

Imagina un sistema de reconocimiento facial que funciona a la perfección, excepto cuando alguien lleva un patrón específico de pegatinas; en ese caso, siempre lo identifica como usuario autorizado.

Estos ataques son especialmente preocupantes para los modelos entrenados con datos no fiables o implementados desde repositorios de modelos de terceros.

Técnicas y métodos de ataque

La comunidad de investigación en aprendizaje automático adversario ha desarrollado numerosos algoritmos de ataque, cada uno con diferentes capacidades y requisitos.

Ataques de caja blanca

Los ataques de caja blanca parten de la base de que el adversario tiene un conocimiento completo del modelo objetivo: arquitectura, parámetros, datos de entrenamiento, absolutamente todo.

Puede que suene poco realista, pero en realidad es un escenario común. Muchas organizaciones implementan modelos de código abierto, e incluso los sistemas propietarios suelen revelar suficiente información a través de sus predicciones como para permitir ataques de modelos sustitutos.

Entre los métodos populares de caja blanca se encuentra el Método de Signo de Gradiente Rápido (FGSM, por sus siglas en inglés), que crea ejemplos adversarios dando un único paso de gradiente en la dirección que maximiza la pérdida.

Ataques más sofisticados, como el Descenso de Gradiente Proyectado (PGD), refinan iterativamente las perturbaciones adversarias mediante múltiples pasos. Investigaciones de 2017 demostraron que el entrenamiento adversario basado en PGD crea modelos más resistentes a los ataques.

Ataques de caja negra

Los ataques de caja negra operan sin conocimiento del modelo interno. El atacante solo puede consultar el modelo y observar los resultados.

Estos ataques suelen explotar la transferibilidad: los ejemplos adversarios diseñados para un modelo a menudo engañan a otros modelos entrenados con datos similares. Un adversario puede entrenar su propio modelo sustituto, generar ejemplos adversarios contra él y transferir esos ejemplos al sistema objetivo.

Los ataques de caja negra son más realistas para la mayoría de los escenarios de amenazas, pero generalmente requieren más consultas y logran tasas de éxito más bajas que los métodos de caja blanca.

Ataques físicos adversarios

Una cosa son los ejemplos de ataques digitales adversarios, pero otra muy distinta son los ataques físicos que funcionan en el mundo real.

Los investigadores han demostrado la existencia de objetos físicos que dificultan el reconocimiento facial: gafas especialmente diseñadas para engañar a los sistemas de reconocimiento facial, camisetas con estampados que hacen que las personas sean "invisibles" para los detectores de objetos y señales de tráfico modificadas con pegatinas que los vehículos autónomos interpretan erróneamente.

Los ataques físicos se enfrentan a limitaciones adicionales: los ángulos de visión cambian, la iluminación varía y las cámaras generan ruido. Pero el hecho de que las perturbaciones maliciosas puedan sobrevivir a estas transformaciones las hace particularmente preocupantes para las implementaciones de IA en el mundo real.

Explora la investigación de ataques adversarios con IA superior

Los sistemas de aprendizaje automático pueden volverse vulnerables cuando los modelos se exponen a datos de entrada manipulados, ejemplos adversarios o datos diseñados para afectar la precisión de la predicción. IA superior Pueden brindar soporte a equipos que investigan ataques adversarios, robustez de modelos y pruebas de seguridad de IA. Su trabajo abarca consultoría en IA, aprendizaje automático, ciencia de datos, desarrollo de software de IA, desarrollo de pruebas de concepto y evaluación de modelos.

AI Superior puede ayudar con:

• Definición de escenarios de pruebas adversarias
• Revisión de conjuntos de datos y arquitecturas de modelos
• Evaluación del comportamiento del modelo en condiciones adversas
• Creación de modelos de seguridad de prueba de concepto
• Apoyo a los flujos de trabajo de pruebas de robustez de modelos de IA
• Integración de la planificación en los sistemas de IA existentes
• Apoyar el desarrollo seguro de modelos de IA

En el ámbito de la investigación sobre ataques adversarios, esto puede aplicarse a las pruebas de robustez de modelos, la detección de ejemplos adversarios, el análisis de seguridad de la IA y las estrategias defensivas de aprendizaje automático.

Habla con un superior de IA sobre el alcance del proyecto.

Ejemplos de ataques en el mundo real

Los ataques adversarios no son solo curiosidades académicas. Se han demostrado contra sistemas de producción en múltiples ámbitos.

Ataques de vehículos autónomos

Investigadores de la Universidad de California en Berkeley demostraron que colocar pequeñas pegatinas en las señales de stop puede provocar que los sistemas de visión de los vehículos autónomos las confundan con señales de límite de velocidad. Las consecuencias son alarmantes: unas pocas pegatinas, aunque cuesten unos pocos dólares, podrían causar accidentes de tráfico.

Ataques similares han engañado a los sistemas de detección de carriles, provocando que los vehículos de prueba se desvíen hacia los carriles opuestos cuando se colocan marcas viales maliciosas en las carreteras.

Evasión del reconocimiento facial

Las gafas y los patrones de maquillaje maliciosos pueden engañar a los sistemas de reconocimiento facial, aunque parezcan relativamente normales para los humanos. Estos ataques funcionan incluso cuando cambian la iluminación y los ángulos de visión.

Los ataques más sofisticados pueden provocar una identificación errónea dirigida, haciendo que el sistema identifique a la persona A como si fuera la persona B, lo que podría otorgar acceso no autorizado a áreas seguras.

Manipulación de diagnósticos médicos

Diversos estudios han demostrado que cambios imperceptibles en las imágenes médicas pueden engañar a los sistemas de IA de diagnóstico. Un atacante podría añadir ruido a una resonancia magnética, lo que provocaría que los algoritmos de detección de cáncer no detectaran tumores o marcaran tejido sano como maligno.

En este caso, lo que está en juego es literalmente la vida o la muerte, por lo que contar con defensas sólidas es fundamental para la implementación de la IA en el ámbito médico.

Evasión de spam y malware

Los atacantes modifican habitualmente los correos electrónicos no deseados y las muestras de malware para evadir la detección. Utilizan sus propios sistemas de IA para optimizar la evasión, creando una carrera armamentística automatizada.

Según una investigación del MIT, los atacantes han desarrollado bots que camuflan automáticamente el malware mediante pruebas iterativas contra los sistemas de detección.

Cómo defenderse de los ataques adversarios

La defensa contra ataques adversarios sigue siendo un desafío de investigación activo. Ninguna defensa por sí sola proporciona protección completa, pero un enfoque por capas eleva significativamente el listón para los atacantes.

Entrenamiento adversario

El mecanismo de defensa más eficaz identificado hasta la fecha es el entrenamiento adversario: aumentar el conjunto de entrenamiento con ejemplos adversarios y sus etiquetas correctas.

El modelo aprende a clasificar correctamente tanto las entradas normales como las adversarias. Las investigaciones han demostrado que los modelos entrenados con ejemplos adversarios de PGD se vuelven significativamente más resistentes a los ataques.

¿La desventaja? El entrenamiento adversario es computacionalmente costoso y puede reducir la precisión en ejemplos limpios. Además, solo es robusto frente a los tipos de ataque observados durante el entrenamiento.

Transformación y detección de entrada

Otra estrategia de defensa consiste en detectar o eliminar las perturbaciones adversarias antes de que lleguen al modelo.

Las técnicas incluyen:

• Preprocesamiento de imágenes que elimina el ruido de alta frecuencia
• Compresión JPEG que elimina perturbaciones sutiles
• Detección estadística de anomalías en las entradas
• Métodos de conjunto que contrastan las predicciones en múltiples modelos.

Sin embargo, los atacantes adaptativos a menudo pueden eludir estas defensas mediante la creación de perturbaciones que sobreviven a las transformaciones.

Cuantización defensiva

La cuantización estándar posterior al entrenamiento suele hacer que los modelos sean más vulnerables a los ataques adversarios debido al efecto de amplificación de errores. En cambio, la cuantización defensiva (DQ), una técnica especializada que controla la constante de Lipschitz, puede mejorar la robustez frente a perturbaciones adversarias manteniendo la eficiencia computacional.

La cuantización limita la capacidad del atacante para generar perturbaciones adversarias precisas, lo que hace que los ataques sean menos efectivos sin degradar sustancialmente el rendimiento del modelo en datos limpios.

Defensas certificadas

Algunos enfoques recientes proporcionan garantías de robustez certificadas: pruebas matemáticas de que la predicción del modelo no cambiará ante ninguna perturbación dentro de un límite especificado.

Estos métodos priorizan la seguridad demostrable sobre la precisión. Si bien aún no son prácticos para implementaciones a gran escala, representan una importante línea de investigación.

Conjunto de modelos y diversidad

El uso de múltiples modelos diversos y la exigencia de consenso pueden dificultar los ataques. Si los ejemplos adversarios no se transfieren bien entre modelos, un atacante debe engañar a todos los miembros del conjunto simultáneamente.

Esto funciona mejor cuando los miembros del conjunto utilizan arquitecturas, procedimientos de entrenamiento o preprocesamiento de entrada diferentes; maximizar la diversidad reduce la transferibilidad.

El desafío del enmascaramiento de gradientes

Los primeros intentos de defensa a menudo se basaban en el enmascaramiento de gradientes, lo que dificultaba a los atacantes el cálculo o el uso de los mismos.

Las medidas de defensa añadirían ruido, utilizarían operaciones no diferenciables o, de otro modo, ocultarían la información del gradiente que los atacantes necesitan para generar ejemplos adversarios.

El problema radica en que el enmascaramiento de gradientes proporciona una falsa sensación de seguridad. Investigaciones de OpenAI demostraron que estas defensas fallan ante ataques adaptativos. Los atacantes pueden aproximar gradientes, usar modelos sustitutos o simplemente probar perturbaciones aleatorias hasta encontrar una solución.

La comunidad de seguridad reconoce ahora que el enmascaramiento de gradientes es insuficiente. Las defensas eficaces deben hacer que el modelo sea robusto frente a perturbaciones adversarias, no solo ocultar la forma de generarlas.

Por qué defenderse es tan difícil

La robustez frente a adversarios es fundamentalmente más difícil que los problemas de seguridad tradicionales. Varios factores explican por qué:

• La superficie de ataque es enorme: En la seguridad tradicional, los defensores protegen puntos de entrada específicos: puertos de red, puntos finales de API, formularios de inicio de sesión. Con el aprendizaje automático adversario, cualquier posible entrada es un vector de ataque potencial.
• Las pequeñas perturbaciones importan: Los sistemas de seguridad suelen ignorar pequeñas variaciones en los datos de entrada. Sin embargo, los ataques adversarios aprovechan la sensibilidad de los modelos de aprendizaje automático a los cambios imperceptibles.
• El modelo de amenaza no está claro: ¿Qué limitaciones debemos asumir para los atacantes? ¿Solo digitales o físicas? ¿De caja blanca o de caja negra? Diferentes supuestos dan lugar a diferentes defensas.
• Existe una tensión inherente entre precisión y robustez: Los modelos que funcionan mejor con datos limpios suelen ser los más vulnerables a ejemplos adversarios. Hacer que los modelos sean robustos generalmente reduce la precisión con datos limpios.

Según una extensa investigación publicada en arXiv que abarca los ataques a lo largo del ciclo de vida del aprendizaje automático, este sigue siendo un desafío abierto que requiere una cooperación multidisciplinaria continua.

Aplicaciones industriales y consideraciones de seguridad

Las distintas industrias se enfrentan a desafíos únicos de aprendizaje automático adversario en función de sus contextos de implementación y modelos de amenazas.

La seguridad cibernética

El aprendizaje automático impulsa los sistemas modernos de ciberseguridad: detección de intrusiones, clasificación de malware, detección de phishing, detección de anomalías.

Investigadores del MIT que desarrollan inteligencia artificial adversaria utilizan IA para replicar el comportamiento y los patrones de toma de decisiones de los atacantes. Estos sistemas procesan información sobre ciberseguridad, planifican los pasos del ataque y toman decisiones fundamentadas durante las campañas de ataque; en esencia, utilizan la IA para detectar vulnerabilidades en la IA antes que los ciberdelincuentes.

Los ataques adversarios contra los clasificadores de seguridad representan una amenaza existencial. Si los atacantes logran evadir la detección de forma fiable, toda la infraestructura de seguridad se derrumba.

Sistemas Autónomos

Los coches autónomos, los drones y los robots dependen en gran medida de la visión artificial y el aprendizaje automático. Los ataques físicos contra estos sistemas podrían provocar accidentes, daños materiales o incluso la pérdida de vidas.

El mundo físico plantea tanto limitaciones como oportunidades para los atacantes. Las perturbaciones deben sobrevivir al ruido de la cámara y a las condiciones cambiantes, pero los ataques exitosos pueden implementarse a gran escala mediante objetos físicos.

Atención sanitaria e imagen médica

El diagnóstico asistido por IA se está expandiendo rápidamente. Los ataques maliciosos a los sistemas de imágenes médicas podrían provocar diagnósticos erróneos, ya sea pasando por alto enfermedades reales o generando falsos positivos que conduzcan a tratamientos innecesarios.

El ámbito médico presenta desafíos únicos: riesgos extremadamente altos, requisitos normativos y la necesidad de interpretabilidad y confianza.

Servicios financieros

Los bancos utilizan el aprendizaje automático para la detección de fraudes, la aprobación de préstamos, los algoritmos de negociación y la evaluación de riesgos. Los ataques adversarios podrían facilitar el fraude financiero, manipular los mercados o discriminar a grupos protegidos.

El incentivo económico para los ataques es enorme, lo que convierte a los sistemas de aprendizaje automático financiero en objetivos prioritarios para adversarios sofisticados.

Direcciones de investigación y perspectivas futuras

El campo del aprendizaje automático adversario sigue evolucionando rápidamente. Están surgiendo varias líneas de investigación prometedoras.

Comprensión teórica

Los investigadores están trabajando para comprender por qué existen los ejemplos adversarios. ¿Son fundamentales para el aprendizaje automático de alta dimensión o son vestigios de las arquitecturas actuales?

Unas bases teóricas más sólidas guiarían el desarrollo de la defensa y ayudarían a identificar clases de modelos intrínsecamente robustas.

Entrenamiento robusto y escalable

Los métodos actuales de entrenamiento adversario son computacionalmente costosos y no se adaptan bien a modelos y conjuntos de datos grandes. La investigación sobre un entrenamiento robusto y más eficiente podría hacer que las defensas sean prácticas para su implementación en el mundo real.

Detección sin clasificación

Algunos enfoques se centran en detectar ejemplos maliciosos sin necesariamente defenderse de ellos. Si un sistema puede identificar de forma fiable entradas sospechosas, puede rechazarlas o marcarlas para que las revise un humano.

Las investigaciones han explorado el uso de estadísticas de escenas naturales y otras propiedades de distribución para distinguir las entradas maliciosas de las legítimas.

Defensas a nivel de hardware

Algunos investigadores están estudiando mecanismos de seguridad basados en hardware diseñados específicamente para la inferencia de aprendizaje automático. Procesadores especializados podrían implementar transformaciones robustas o cálculos certificados a nivel de hardware.

Mejores prácticas para la implementación de sistemas de aprendizaje automático seguros

Las organizaciones que implementan el aprendizaje automático en entornos hostiles deben seguir estas mejores prácticas de seguridad:

• Modelado de amenazas: Identificar escenarios de ataque realistas para el contexto de despliegue específico. ¿Qué acceso tienen los atacantes? ¿Cuáles son sus objetivos? Esto orienta las prioridades de defensa.
• Defensa en profundidad: Implementa múltiples mecanismos de defensa. No te fíes de una sola técnica: combina el entrenamiento adversario, la validación de datos de entrada, los métodos de conjunto y la monitorización.
• Evaluación continua: Las amenazas adversarias evolucionan. Pruebe periódicamente los modelos implementados frente a nuevas técnicas de ataque y actualice las defensas en consecuencia.
• Monitoreo y registro: Implementar un registro exhaustivo de las entradas y salidas del modelo. La detección de anomalías en los patrones de predicción puede revelar ataques en curso.
• Supervisión humana: Para decisiones de gran trascendencia, es fundamental que los humanos participen en el proceso. La IA debe complementar la toma de decisiones humanas, no reemplazarla por completo en contextos conflictivos.
• Transparencia y divulgación: Cuando los modelos fallan debido a ataques adversarios, documenta y comparte la experiencia. La comunidad de seguridad aprende de las vulnerabilidades reveladas.

El papel de la regulación y las normas

Tal y como destacó el NIST en su informe de 2025 sobre IA confiable y responsable, la creciente adopción de sistemas de IA exige atención a la seguridad y la robustez.

Las agencias gubernamentales y los organismos de normalización están comenzando a desarrollar marcos para la seguridad de la IA. El IEEE ha publicado múltiples normas técnicas relacionadas con perturbaciones adversarias y vulnerabilidades en la interpretación de redes neuronales.

Es probable que surjan marcos regulatorios que exijan pruebas de robustez ante ataques adversarios antes de implementar el aprendizaje automático en aplicaciones críticas, de forma similar a como el software crítico para la seguridad se somete a pruebas rigurosas en la actualidad.

Preguntas frecuentes