Módulo 05

Búsqueda, fundamentación, RAG y arquitectura de la información

Fase del proceso:
Investigar
Nivel de competencia:
Ingeniería
Tiempo estimado:
10-12 horas
Requisitos previos:
Mecánica de los modelos fundacionales y economía de la inferencia

Una aplicación de IA fiable depende de cómo se organiza la evidencia: qué información se recupera, cómo se ordena, cómo se conserva su procedencia y cuándo conviene recuperar en lugar de meter todo el corpus en el contexto.

Al terminar este módulo sabrás

  • Diseñar un pipeline de recuperación con fragmentación, metadatos, filtrado, ordenación y reordenación, y procedencia.
  • Distinguir la calidad de la recuperación de la calidad de la generación.
  • Evaluar la fundamentación con métricas de recuperación y con comprobaciones de la evidencia que respalda cada respuesta.
  • Manejar la actualidad de los datos, el control de acceso, las fuentes que se contradicen y el comportamiento de "no lo sé".

Qué vas a producir: Arquitectura de la información y benchmark de recuperación: La fragmentación, los metadatos, el control de acceso y la política ante conflictos, más tu benchmark de recuperación y los resultados medidos. Se guarda en tu Cuaderno de Ingeniería como evidencia de lo que sabes hacer.

Lecciones

  1. 5.1 Estrategias de fundamentación

    La evidencia que aporta el usuario, la búsqueda, RAG, las consultas a herramientas y la ingesta de contexto largo, comparadas.

    Punto de práctica: Elige una estrategia de fundamentación para cada caso: políticas de RR. HH., un catálogo de productos, noticias de actualidad y los datos transaccionales de una cuenta.

  2. 5.2 Fragmentación, metadatos y recuperación

    Tamaño y solapamiento de los fragmentos, filtros de metadatos, recuperación híbrida, embeddings, reescritura de consultas y reordenación.

    Punto de práctica: Indexa un corpus pequeño con dos estrategias de fragmentación y compara la tasa de aciertos sobre un mismo conjunto de consultas.

  3. 5.3 Procedencia, conflictos y control de acceso

    Conserva la identidad de la fuente, los límites de autorización, la versión y las fechas; y saca a la luz los conflictos.

    Punto de práctica: Mete documentos que se contradicen y comprueba que el sistema cita o señala el conflicto en lugar de elegir uno sin decirlo.

  4. 5.4 Evaluación de la recuperación

    Recall@k, precisión, MRR/NDCG, cobertura, respuestas fundamentadas, corrección de las citas y clasificación de los fallos.

    Punto de práctica: Construye un benchmark de recuperación de 30 preguntas y clasifica cada fallo como de recuperación, de ensamblado del contexto o de generación.

Laboratorio: RAG desde los principios básicos

Construyes un recuperador pequeño sobre un corpus seleccionado y después le añades reordenación y procedencia.

Se ejecuta en Google Colab: sin instalar nada y sin API key.

Ver el notebook en Colab (se abre en una pestaña nueva)

Reto de ingeniería

Mejora un pipeline de RAG que es débil a propósito hasta alcanzar el recall de recuperación y el umbral de respuestas fundamentadas que se piden, sin pasarte del presupuesto de contexto.

Artefacto: Arquitectura de la información y benchmark de recuperación

Control de competencia

Las pruebas públicas PASAN; se alcanza el umbral de respuestas fundamentadas en el conjunto público reservado.

  • RAG-01 Existe un benchmark de recuperación
  • RAG-02 Los IDs de las fuentes se conservan de principio a fin
  • RAG-03 Se excluyen los documentos no autorizados (crítico)
  • RAG-04 Se supera la prueba de evidencia contradictoria
  • RAG-05 Se respeta el presupuesto de contexto
  • RAG-06 Se alcanza el umbral de respuestas fundamentadas en el conjunto público reservado

Referencias

    Búsqueda, fundamentación, RAG y arquitectura de la información · FMSE Módulo 5 | AgenticAI