Módulo 04

Mecánica de los modelos fundacionales y economía de la inferencia

Fase del proceso:
Investigar
Nivel de competencia:
Profesional
Tiempo estimado:
8-10 horas
Requisitos previos:
Ingeniería de requisitos y AI-FMEA

Entiende el modelo lo suficiente como para tomar decisiones de arquitectura con evidencia sobre la tokenización, el contexto, el esfuerzo de razonamiento, la latencia, la capacidad de proceso y el costo.

Al terminar este módulo sabrás

  • Explicar la tokenización, las ventanas de contexto, el prefill, el decode, los tokens y el esfuerzo de razonamiento, y de dónde suele venir la latencia.
  • Perfilar el compromiso entre calidad, latencia y costo de distintas configuraciones de modelo.
  • Reconocer cuándo ayudan los ejemplos o las instrucciones paso a paso, y cuándo restringen de más el razonamiento.
  • Redactar un informe de caracterización del modelo en lugar de elegirlo solo por su fama.

Qué vas a producir: Informe de caracterización del modelo fundacional: La definición del benchmark, las variantes, los resultados medidos y una recomendación condicionada a los requisitos, con sus limitaciones. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.

Lecciones

  1. 4.1 Tokens, ventanas de contexto y representación

    Los modelos trabajan con tokens; el formato, los números, el idioma y las entradas largas cambian cuántos tokens cuesta una petición.

    Punto de práctica: Tokeniza entradas representativas con los tokenizadores que tengas a mano y compara idiomas, JSON, prosa y tablas.

  2. 4.2 Prefill, decode, esfuerzo de razonamiento y latencia

    Procesar la entrada (prefill) frente a generar la salida (decode), más el esfuerzo de razonamiento; TTFT, latencia total y tokens por segundo.

    Punto de práctica: Perfila un prompt corto y otro con mucho contexto; anota el TTFT, la latencia total, los tokens de entrada y de salida, y la calidad del resultado.

  3. 4.3 Familias de modelos y sensibilidad al prompt

    Los modelos rápidos, los de razonamiento, los pequeños o locales y los multimodales responden de forma distinta; comprueba cada decisión de prompt con un experimento.

    Punto de práctica: Con un experimento A/B, compara unas instrucciones centradas en el objetivo con otras muy procedimentales en una tarea de razonamiento.

  4. 4.4 Elegir un modelo como un estudio de alternativas

    Una matriz de caracterización que cubre capacidad, contexto, latencia, costo, uso de herramientas, salida estructurada y restricciones.

    Punto de práctica: Elige dos modelos candidatos para un escenario y documenta qué evidencia haría falta para decidir entre ellos.

Laboratorio: Perfilador de modelos

Un wrapper independiente del proveedor registra la latencia, el número de tokens, las métricas de éxito y las estimaciones de costo.

Se ejecuta en Google Colab: sin instalar nada y sin API key.

Ver el notebook en Colab (se abre en una pestaña nueva)

Reto de ingeniería

Diseña y ejecuta un mini benchmark de 20 tareas. Entrega una recomendación condicionada a los requisitos, no un "mejor modelo" universal.

Artefacto: Informe de caracterización del modelo fundacional

Control de competencia

Benchmark reproducible; el informe PASA.

  • PRF-01 El benchmark contiene >=20 muestras
  • PRF-02 Se comparan al menos 2 variantes de modelo o de configuración
  • PRF-03 La métrica de calidad está definida
  • PRF-04 Se registran la latencia y el costo
  • PRF-05 La conclusión cita evidencia medida y sus limitaciones
  • PRF-06 El benchmark es reproducible

Referencias

    Mecánica de los modelos fundacionales y economía de la inferencia · FMSE Módulo 4 | AgenticAI