Módulo 13

Seguridad de la IA, red teaming y arquitectura de seguridad

Fase del proceso:
Verificar y validar
Nivel de competencia:
Sénior
Tiempo estimado:
12-14 horas
Requisitos previos:
Ingeniería de evaluación y verificación/validación

Trata la seguridad de la IA como una propiedad de la arquitectura, no como una instrucción del tipo "compórtate de forma segura". Parte de los riesgos actuales de OWASP GenAI y añade los límites de confianza propios de los agentes, la autorización, la procedencia, el aislamiento y ejercicios de red teaming.

Al terminar este módulo sabrás

  • Modelar las amenazas de la inyección de prompts directa e indirecta, la revelación de datos sensibles, el envenenamiento de la cadena de suministro o del contexto, el manejo inadecuado de las salidas, la agencia excesiva y el consumo sin límites.
  • Aplicar el mínimo privilegio y puntos de aprobación fuera del modelo.
  • Atacar sistemas de recuperación y de herramientas, y convertir los ataques que funcionan en pruebas de regresión.
  • Diseñar el registro de incidentes, los interruptores de emergencia y modos degradados seguros.

Qué vas a producir: Modelo de amenazas, informe de red teaming y conjunto de regresión de seguridad: Los hallazgos con su activo, impacto, control y prueba; la configuración del agente mitigado; y las pruebas de regresión. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.

Lecciones

  1. 13.1 Modelado de amenazas en sistemas de IA

    Activos, límites de confianza, entradas no fiables, herramientas, almacenes de datos, identidades y dependencias; OWASP como lista de comprobación.

    Punto de práctica: Haz el modelado de amenazas de la arquitectura del proyecto final del curso.

  2. 13.2 Inyección de prompts y envenenamiento del contexto

    Inyección directa e indirecta; los delimitadores ayudan a leer, pero no son un límite de seguridad.

    Punto de práctica: Esconde instrucciones maliciosas en un documento y observa cómo reacciona un agente de RAG vulnerable antes de añadir controles estructurales.

  3. 13.3 Agencia excesiva y autorización

    Reduce al mínimo la funcionalidad, los permisos y la autonomía; credenciales con alcance limitado, aprobaciones, límites y poscondiciones.

    Punto de práctica: Explota una herramienta con más privilegios de los necesarios y después rediseña el modelo de capacidades.

  4. 13.4 Manejo de las salidas, protección de datos y abuso de recursos

    Valida el código, el SQL o el HTML generados antes de ejecutarlos; enmascara los datos; acota los tokens, las llamadas a herramientas y el tiempo de ejecución.

    Punto de práctica: Pasa salidas malintencionadas por un pipeline de presentación o ejecución sin protección y por otro saneado, y compara lo que ocurre.

  5. 13.5 Del red teaming a la regresión

    Convierte cada ataque que funciona en una prueba reproducible, ligada a un requisito, que condicione cada versión nueva.

    Punto de práctica: Añade tres trazas de ataque al conjunto de evaluación y demuestra que fallan en la versión vulnerable y pasan en la mitigada.

Laboratorio: Rompe el agente

Atacas un agente vulnerable a propósito y examinas las trazas.

Se ejecuta en Google Colab: sin instalar nada y sin API key.

Ver el notebook en Colab (se abre en una pestaña nueva)

Reto de ingeniería

Descubre al menos cuatro vulnerabilidades introducidas a propósito, implementa mitigaciones en la arquitectura y demuestra con pruebas de regresión que funcionan.

Artefacto: Modelo de amenazas, informe de red teaming y conjunto de regresión de seguridad

Control de competencia

Ninguna vulnerabilidad conocida de gravedad alta introducida a propósito queda sin resolver.

  • RED-01 Hay al menos 4 vulnerabilidades documentadas
  • RED-02 Cada una tiene activo, impacto, control y prueba
  • RED-03 Las herramientas que modifican datos tienen el mínimo privilegio (crítico)
  • RED-04 Hay pruebas de regresión contra la inyección (crítico)
  • RED-05 Los límites de recursos están definidos
  • RED-06 Ninguna vulnerabilidad conocida de gravedad alta introducida a propósito queda sin resolver (crítico)

Referencias

    Seguridad de la IA, red teaming y arquitectura de seguridad · FMSE Módulo 13 | AgenticAI