Módulo 13
Seguridad de la IA, red teaming y arquitectura de seguridad
- Fase del proceso:
- Verificar y validar
- Nivel de competencia:
- Sénior
- Tiempo estimado:
- 12-14 horas
- Requisitos previos:
- Ingeniería de evaluación y verificación/validación
Trata la seguridad de la IA como una propiedad de la arquitectura, no como una instrucción del tipo "compórtate de forma segura". Parte de los riesgos actuales de OWASP GenAI y añade los límites de confianza propios de los agentes, la autorización, la procedencia, el aislamiento y ejercicios de red teaming.
Al terminar este módulo sabrás
- Modelar las amenazas de la inyección de prompts directa e indirecta, la revelación de datos sensibles, el envenenamiento de la cadena de suministro o del contexto, el manejo inadecuado de las salidas, la agencia excesiva y el consumo sin límites.
- Aplicar el mínimo privilegio y puntos de aprobación fuera del modelo.
- Atacar sistemas de recuperación y de herramientas, y convertir los ataques que funcionan en pruebas de regresión.
- Diseñar el registro de incidentes, los interruptores de emergencia y modos degradados seguros.
Qué vas a producir: Modelo de amenazas, informe de red teaming y conjunto de regresión de seguridad: Los hallazgos con su activo, impacto, control y prueba; la configuración del agente mitigado; y las pruebas de regresión. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.
Lecciones
13.1 Modelado de amenazas en sistemas de IA
Activos, límites de confianza, entradas no fiables, herramientas, almacenes de datos, identidades y dependencias; OWASP como lista de comprobación.
Punto de práctica: Haz el modelado de amenazas de la arquitectura del proyecto final del curso.
13.2 Inyección de prompts y envenenamiento del contexto
Inyección directa e indirecta; los delimitadores ayudan a leer, pero no son un límite de seguridad.
Punto de práctica: Esconde instrucciones maliciosas en un documento y observa cómo reacciona un agente de RAG vulnerable antes de añadir controles estructurales.
13.3 Agencia excesiva y autorización
Reduce al mínimo la funcionalidad, los permisos y la autonomía; credenciales con alcance limitado, aprobaciones, límites y poscondiciones.
Punto de práctica: Explota una herramienta con más privilegios de los necesarios y después rediseña el modelo de capacidades.
13.4 Manejo de las salidas, protección de datos y abuso de recursos
Valida el código, el SQL o el HTML generados antes de ejecutarlos; enmascara los datos; acota los tokens, las llamadas a herramientas y el tiempo de ejecución.
Punto de práctica: Pasa salidas malintencionadas por un pipeline de presentación o ejecución sin protección y por otro saneado, y compara lo que ocurre.
13.5 Del red teaming a la regresión
Convierte cada ataque que funciona en una prueba reproducible, ligada a un requisito, que condicione cada versión nueva.
Punto de práctica: Añade tres trazas de ataque al conjunto de evaluación y demuestra que fallan en la versión vulnerable y pasan en la mitigada.
Laboratorio: Rompe el agente
Atacas un agente vulnerable a propósito y examinas las trazas.
Se ejecuta en Google Colab: sin instalar nada y sin API key.
Ver el notebook en Colab (se abre en una pestaña nueva)Reto de ingeniería
Descubre al menos cuatro vulnerabilidades introducidas a propósito, implementa mitigaciones en la arquitectura y demuestra con pruebas de regresión que funcionan.
Artefacto: Modelo de amenazas, informe de red teaming y conjunto de regresión de seguridad
Control de competencia
Ninguna vulnerabilidad conocida de gravedad alta introducida a propósito queda sin resolver.
- RED-01 Hay al menos 4 vulnerabilidades documentadas
- RED-02 Cada una tiene activo, impacto, control y prueba
- RED-03 Las herramientas que modifican datos tienen el mínimo privilegio (crítico)
- RED-04 Hay pruebas de regresión contra la inyección (crítico)
- RED-05 Los límites de recursos están definidos
- RED-06 Ninguna vulnerabilidad conocida de gravedad alta introducida a propósito queda sin resolver (crítico)
Referencias
- [R9]Inspect AI - Tool Approval (se abre en una pestaña nueva): UK AI Security Institute; revisado el 2026-09-28
- [R12]OWASP GenAI - LLM Top 10 2026 (se abre en una pestaña nueva): OWASP; revisado el 2026-09-28