Módulo 11
Sistemas multimodales, de uso de la computadora y de acción
- Fase del proceso:
- Construir
- Nivel de competencia:
- Sénior
- Tiempo estimado:
- 8-10 horas
- Requisitos previos:
- Sistemas de agentes y Model Context Protocol
Lleva el diseño del sistema más allá del texto: imágenes, documentos, audio, video, ejecución de código, interacción con el navegador o la computadora y otros entornos de acción, sin renunciar al aislamiento ni a la verificación.
Al terminar este módulo sabrás
- Diseñar entradas multimodales que dejen explícita su procedencia y cada paso de transformación.
- Usar OCR y análisis de documentos solo donde hagan falta, y validar la estructura extraída.
- Diseñar acciones en la computadora o el navegador con permisos acotados, puntos de control y una forma de recuperarse.
- Evaluar la percepción y la acción por separado.
Qué vas a producir: Diseño de seguridad multimodal y de acciones: La lista de permitidos, las acciones de alto impacto, los puntos de control de aprobación, los pasos de verificación y el presupuesto de reintentos, junto con el ejecutor. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.
Lecciones
11.1 Entradas multimodales y evidencia
Imágenes, PDF, capturas de pantalla, audio y video son evidencia, y cada uno falla a su manera; conserva los originales y las transformaciones.
Punto de práctica: En una tarea con documentos, compara lo que el modelo entiende al mirar la imagen directamente con lo que obtiene del texto extraído por OCR.
11.2 Pipelines de documentos y visión
Análisis que respeta la maquetación, extracción de tablas, recortes y razonamiento multimodal; los cálculos deterministas se quedan fuera del modelo.
Punto de práctica: Extrae una tabla de una factura sintética y verifica los totales con código.
11.3 Uso de la computadora y del navegador
La automatización de interfaces es un entorno de herramientas muy variable: listas de permitidos, capturas de pantalla, puntos de control, confirmación y condiciones de parada.
Punto de práctica: Ejecuta una tarea simulada en el navegador en la que la página cambia de maquetación a propósito y observa cómo se recupera el agente.
11.4 Entornos aislados y verificación de las acciones
Límites de recursos, políticas de sistema de archivos y de red, tiempos de espera y verificación después de cada acción.
Punto de práctica: Diseña una política de aislamiento para un agente analista que puede ejecutar Python, pero no acceder a cualquier secreto ni a cualquier destino de red.
Laboratorio: Verificación multimodal de documentos
Combinas la comprensión de imágenes y documentos con comprobaciones numéricas deterministas.
Se ejecuta en Google Colab: sin instalar nada y sin API key.
Ver el notebook en Colab (se abre en una pestaña nueva)Reto de ingeniería
Diseña un plan seguro de uso del navegador o de la computadora para un flujo de compras e impleméntalo como una simulación con puntos de control de aprobación.
Artefacto: Diseño de seguridad multimodal y de acciones
Control de competencia
La simulación supera el escenario normal y el de maquetación cambiada.
- ACT-01 Se registra la procedencia de la evidencia
- ACT-02 Hay una lista de acciones permitidas
- ACT-03 Las acciones de alto impacto requieren aprobación (crítico)
- ACT-04 Se verifica el resultado después de cada acción
- ACT-05 El presupuesto de fallos y reintentos está acotado
- ACT-06 La simulación supera el escenario normal y el de maquetación cambiada
Referencias
- [R9]Inspect AI - Tool Approval (se abre en una pestaña nueva): UK AI Security Institute; revisado el 2026-09-28
- [R18]Enterprise Prompt and Context Engineering: An Engineering Design Process Curriculum for Foundation Model Systems (2026 Edition): User research (source document supplied to this project); revisado el 2026-09-28