Módulo 12

Ingeniería de evaluación y verificación/validación

Fase del proceso:
Verificar y validar
Nivel de competencia:
Sénior
Tiempo estimado:
14-16 horas
Requisitos previos:
Sistemas multimodales, de uso de la computadora y de acción

Convierte la evaluación en la especificación ejecutable del sistema de IA. Construyes conjuntos de datos, evaluadores deterministas, calificadores semánticos, pruebas de robustez y validación operativa, y aprendes a separar la verificación de la validación.

Al terminar este módulo sabrás

  • Diseñar conjuntos de referencia (golden) a partir de los requisitos y de modos de fallo reales.
  • Construir evaluadores deterministas, semánticos, calificados por un modelo y a medida, y usarlos de forma calibrada.
  • Usar pruebas metamórficas para descubrir la fragilidad del sistema sin necesitar una única salida exacta.
  • Distinguir la verificación (el sistema cumple los requisitos especificados) de la validación (cumple lo que esperan las partes interesadas en un uso realista).

Qué vas a producir: Plan de evaluación, conjunto de referencia y banco de pruebas: El conjunto de referencia, los evaluadores, las transformaciones, la trazabilidad y los escenarios de validación, junto con el banco de pruebas. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.

Lecciones

  1. 12.1 Desarrollo guiado por evaluaciones

    Cambia prompts y agentes solo contra un banco de evaluación explícito; organiza los conjuntos de datos; convierte los fallos de producción en casos de regresión.

    Punto de práctica: Crea un conjunto de referencia de 50 muestras antes de tocar un sistema deliberadamente débil.

  2. 12.2 Evaluadores y oráculos de prueba

    Coincidencia exacta, esquema, pruebas ejecutables, precisión/recall/F1, similitud semántica, calificadores basados en modelos y revisión humana.

    Punto de práctica: Sobre el mismo conjunto de salidas, compara las puntuaciones deterministas con las de un calificador basado en un modelo y examina en qué discrepan.

  3. 12.3 Pruebas metamórficas y adversariales

    Transformaciones invariantes y contrastivas, y una puntuación de invariancia.

    Punto de práctica: Construye ocho transformaciones y calcula una puntuación de invariancia.

  4. 12.4 Verificación frente a validación

    La verificación se vincula a los requisitos; la validación, a lo que esperan las partes interesadas y al ConOps en condiciones realistas.

    Punto de práctica: Asigna a cada requisito crítico un método de verificación, y a cada MOE un escenario de validación.

  5. 12.5 Inspect AI e infraestructura de evaluación

    Una tarea de Inspect es conjunto de datos + solver + evaluador, con herramientas, aislamiento y aprobación cuando hacen falta.

    Punto de práctica: Implementa una pequeña tarea de Inspect y ejecútala en un entorno aislado.

Laboratorio: Banco de evaluación

Construyes evaluadores sobre un sistema de extracción de reclamaciones que se te da hecho y después le añades transformaciones metamórficas.

Se ejecuta en Google Colab: sin instalar nada y sin API key.

Ver el notebook en Colab (se abre en una pestaña nueva)

Reto de ingeniería

Crea un conjunto de evaluación que detecte al menos el 90% de los fallos introducidos a propósito en las categorías de corrección, robustez, esquema y resistencia a la inyección.

Artefacto: Plan de evaluación, conjunto de referencia y banco de pruebas

Control de competencia

Se alcanza el objetivo de detección de fallos y no hay ninguna regresión de gravedad alta.

  • EVL-01 El conjunto de referencia está categorizado
  • EVL-02 Hay al menos 3 tipos de evaluador
  • EVL-03 Hay transformaciones metamórficas implementadas
  • EVL-04 Existe trazabilidad de la verificación
  • EVL-05 Hay un escenario de validación definido
  • EVL-06 Se alcanza el objetivo de detección de fallos (crítico)

Referencias

    Ingeniería de evaluación y verificación/validación · FMSE Módulo 12 | AgenticAI