Módulo 15

Ingeniería de IA en producción, CI/CD y observabilidad

Fase del proceso:
Publicar y operar
Nivel de competencia:
Arquitectura
Tiempo estimado:
12-14 horas
Requisitos previos:
Ingeniería de optimización con DSPy y búsqueda multiobjetivo

Pasa de un notebook que funciona a un sistema en producción bajo control, con versionado, controles de despliegue, observabilidad, control de costos, respuesta a incidentes y disciplina para migrar de modelo o de proveedor.

Al terminar este módulo sabrás

  • Diseñar controles de CI/CD para el código, los prompts, los esquemas, los conjuntos de datos y las evaluaciones.
  • Instrumentar trazas, llamadas al modelo y a herramientas, latencia, tokens y costo, comportamiento de la caché, errores y métricas de resultado.
  • Usar canaries, marcha atrás, pruebas de migración de modelo y la conversión de fallos de producción en pruebas.
  • Crear un runbook y un modelo operativo con responsables y procedimientos de incidentes.

Qué vas a producir: Runbook de producción, control de CI/CD y especificación de observabilidad: El manifiesto de versión, la política y la función del control, el esquema de trazas, los criterios de marcha atrás y el runbook. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.

Lecciones

  1. 15.1 La configuración de la IA como software desplegable

    Versiona juntos el código, los prompts, los esquemas de herramientas, el modelo y su configuración, los conjuntos de datos y los umbrales.

    Punto de práctica: Crea un manifiesto de versión con el que se pueda reproducir una ejecución de la evaluación.

  2. 15.2 Controles de evaluación en CI/CD

    Pruebas unitarias y de integración, más evaluaciones de IA, en cada cambio; casos protegidos de gravedad alta y tolerancia estadística.

    Punto de práctica: Crea un flujo de trabajo al estilo de GitHub Actions que bloquee una versión cuando haya una regresión de seguridad o un fallo de esquema.

  3. 15.3 Observabilidad y trazas

    Traza las llamadas al modelo, la recuperación, las llamadas a herramientas, las aprobaciones, la latencia, los tokens, los reintentos, los errores y los resultados.

    Punto de práctica: Instrumenta un agente simulado y reconstruye un fallo a partir de los eventos de la traza.

  4. 15.4 Costo, caché y capacidad

    Costo por tarea, entrada en caché, costos de herramientas y API, límites de uso, concurrencia y alternativas de respaldo.

    Punto de práctica: Haz una simulación de carga y costo, e identifica qué factor pesa más en el costo.

  5. 15.5 Publicación, marcha atrás, deriva e incidentes

    Canaries, pruebas en sombra, marcha atrás, evaluaciones de migración, monitoreo de la deriva, interruptores de emergencia y análisis post-incidente.

    Punto de práctica: Simula un cambio de versión del modelo que rompe un caso protegido y ejecuta la marcha atrás.

Laboratorio: Simulador de controles de CI

Ejecutas una matriz de evaluación contra dos versiones y decides si el despliegue puede seguir adelante.

Se ejecuta en Google Colab: sin instalar nada y sin API key.

Ver el notebook en Colab (se abre en una pestaña nueva)

Reto de ingeniería

Construye un paquete de versión con controles automáticos, un esquema de observabilidad, criterios de marcha atrás y un runbook de incidentes.

Artefacto: Runbook de producción, control de CI/CD y especificación de observabilidad

Control de competencia

La simulación de la versión PASA.

  • REL-01 El manifiesto de versión está completo
  • REL-02 El control de evaluación de gravedad alta bloquea (crítico)
  • REL-03 Los criterios de marcha atrás son explícitos
  • REL-04 El esquema de trazas cubre los eventos del modelo, de la recuperación y de las herramientas
  • REL-05 Los SLO de costo y latencia están ligados a requisitos
  • REL-06 La simulación de la versión PASA

Referencias

    Ingeniería de IA en producción, CI/CD y observabilidad · FMSE Módulo 15 | AgenticAI