Módulo 15
Ingeniería de IA en producción, CI/CD y observabilidad
- Fase del proceso:
- Publicar y operar
- Nivel de competencia:
- Arquitectura
- Tiempo estimado:
- 12-14 horas
- Requisitos previos:
- Ingeniería de optimización con DSPy y búsqueda multiobjetivo
Pasa de un notebook que funciona a un sistema en producción bajo control, con versionado, controles de despliegue, observabilidad, control de costos, respuesta a incidentes y disciplina para migrar de modelo o de proveedor.
Al terminar este módulo sabrás
- Diseñar controles de CI/CD para el código, los prompts, los esquemas, los conjuntos de datos y las evaluaciones.
- Instrumentar trazas, llamadas al modelo y a herramientas, latencia, tokens y costo, comportamiento de la caché, errores y métricas de resultado.
- Usar canaries, marcha atrás, pruebas de migración de modelo y la conversión de fallos de producción en pruebas.
- Crear un runbook y un modelo operativo con responsables y procedimientos de incidentes.
Qué vas a producir: Runbook de producción, control de CI/CD y especificación de observabilidad: El manifiesto de versión, la política y la función del control, el esquema de trazas, los criterios de marcha atrás y el runbook. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.
Lecciones
15.1 La configuración de la IA como software desplegable
Versiona juntos el código, los prompts, los esquemas de herramientas, el modelo y su configuración, los conjuntos de datos y los umbrales.
Punto de práctica: Crea un manifiesto de versión con el que se pueda reproducir una ejecución de la evaluación.
15.2 Controles de evaluación en CI/CD
Pruebas unitarias y de integración, más evaluaciones de IA, en cada cambio; casos protegidos de gravedad alta y tolerancia estadística.
Punto de práctica: Crea un flujo de trabajo al estilo de GitHub Actions que bloquee una versión cuando haya una regresión de seguridad o un fallo de esquema.
15.3 Observabilidad y trazas
Traza las llamadas al modelo, la recuperación, las llamadas a herramientas, las aprobaciones, la latencia, los tokens, los reintentos, los errores y los resultados.
Punto de práctica: Instrumenta un agente simulado y reconstruye un fallo a partir de los eventos de la traza.
15.4 Costo, caché y capacidad
Costo por tarea, entrada en caché, costos de herramientas y API, límites de uso, concurrencia y alternativas de respaldo.
Punto de práctica: Haz una simulación de carga y costo, e identifica qué factor pesa más en el costo.
15.5 Publicación, marcha atrás, deriva e incidentes
Canaries, pruebas en sombra, marcha atrás, evaluaciones de migración, monitoreo de la deriva, interruptores de emergencia y análisis post-incidente.
Punto de práctica: Simula un cambio de versión del modelo que rompe un caso protegido y ejecuta la marcha atrás.
Laboratorio: Simulador de controles de CI
Ejecutas una matriz de evaluación contra dos versiones y decides si el despliegue puede seguir adelante.
Se ejecuta en Google Colab: sin instalar nada y sin API key.
Ver el notebook en Colab (se abre en una pestaña nueva)Reto de ingeniería
Construye un paquete de versión con controles automáticos, un esquema de observabilidad, criterios de marcha atrás y un runbook de incidentes.
Artefacto: Runbook de producción, control de CI/CD y especificación de observabilidad
Control de competencia
La simulación de la versión PASA.
- REL-01 El manifiesto de versión está completo
- REL-02 El control de evaluación de gravedad alta bloquea (crítico)
- REL-03 Los criterios de marcha atrás son explícitos
- REL-04 El esquema de trazas cubre los eventos del modelo, de la recuperación y de las herramientas
- REL-05 Los SLO de costo y latencia están ligados a requisitos
- REL-06 La simulación de la versión PASA
Referencias
- [R3]NASA Systems Engineering Handbook - Product Verification (se abre en una pestaña nueva): NASA; revisado el 2026-09-28
- [R4]NASA Systems Engineering Handbook - Product Validation (se abre en una pestaña nueva): NASA; revisado el 2026-09-28
- [R15]OpenAI API - Prompt Caching (se abre en una pestaña nueva): OpenAI; revisado el 2026-09-28
- [R18]Enterprise Prompt and Context Engineering: An Engineering Design Process Curriculum for Foundation Model Systems (2026 Edition): User research (source document supplied to this project); revisado el 2026-09-28