Módulo 11

Sistemas multimodales, de uso de la computadora y de acción

Fase del proceso:
Construir
Nivel de competencia:
Sénior
Tiempo estimado:
8-10 horas
Requisitos previos:
Sistemas de agentes y Model Context Protocol

Lleva el diseño del sistema más allá del texto: imágenes, documentos, audio, video, ejecución de código, interacción con el navegador o la computadora y otros entornos de acción, sin renunciar al aislamiento ni a la verificación.

Al terminar este módulo sabrás

  • Diseñar entradas multimodales que dejen explícita su procedencia y cada paso de transformación.
  • Usar OCR y análisis de documentos solo donde hagan falta, y validar la estructura extraída.
  • Diseñar acciones en la computadora o el navegador con permisos acotados, puntos de control y una forma de recuperarse.
  • Evaluar la percepción y la acción por separado.

Qué vas a producir: Diseño de seguridad multimodal y de acciones: La lista de permitidos, las acciones de alto impacto, los puntos de control de aprobación, los pasos de verificación y el presupuesto de reintentos, junto con el ejecutor. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.

Lecciones

  1. 11.1 Entradas multimodales y evidencia

    Imágenes, PDF, capturas de pantalla, audio y video son evidencia, y cada uno falla a su manera; conserva los originales y las transformaciones.

    Punto de práctica: En una tarea con documentos, compara lo que el modelo entiende al mirar la imagen directamente con lo que obtiene del texto extraído por OCR.

  2. 11.2 Pipelines de documentos y visión

    Análisis que respeta la maquetación, extracción de tablas, recortes y razonamiento multimodal; los cálculos deterministas se quedan fuera del modelo.

    Punto de práctica: Extrae una tabla de una factura sintética y verifica los totales con código.

  3. 11.3 Uso de la computadora y del navegador

    La automatización de interfaces es un entorno de herramientas muy variable: listas de permitidos, capturas de pantalla, puntos de control, confirmación y condiciones de parada.

    Punto de práctica: Ejecuta una tarea simulada en el navegador en la que la página cambia de maquetación a propósito y observa cómo se recupera el agente.

  4. 11.4 Entornos aislados y verificación de las acciones

    Límites de recursos, políticas de sistema de archivos y de red, tiempos de espera y verificación después de cada acción.

    Punto de práctica: Diseña una política de aislamiento para un agente analista que puede ejecutar Python, pero no acceder a cualquier secreto ni a cualquier destino de red.

Laboratorio: Verificación multimodal de documentos

Combinas la comprensión de imágenes y documentos con comprobaciones numéricas deterministas.

Se ejecuta en Google Colab: sin instalar nada y sin API key.

Ver el notebook en Colab (se abre en una pestaña nueva)

Reto de ingeniería

Diseña un plan seguro de uso del navegador o de la computadora para un flujo de compras e impleméntalo como una simulación con puntos de control de aprobación.

Artefacto: Diseño de seguridad multimodal y de acciones

Control de competencia

La simulación supera el escenario normal y el de maquetación cambiada.

  • ACT-01 Se registra la procedencia de la evidencia
  • ACT-02 Hay una lista de acciones permitidas
  • ACT-03 Las acciones de alto impacto requieren aprobación (crítico)
  • ACT-04 Se verifica el resultado después de cada acción
  • ACT-05 El presupuesto de fallos y reintentos está acotado
  • ACT-06 La simulación supera el escenario normal y el de maquetación cambiada

Referencias

  • [R9]Inspect AI - Tool Approval (se abre en una pestaña nueva): UK AI Security Institute; revisado el 2026-09-28
  • [R18]Enterprise Prompt and Context Engineering: An Engineering Design Process Curriculum for Foundation Model Systems (2026 Edition): User research (source document supplied to this project); revisado el 2026-09-28
    Sistemas multimodales, de uso de la computadora y de acción · FMSE Módulo 11 | AgenticAI