RAG que no alucina: cuatro decisiones que importan más que el modelo

Cuando un asistente sobre documentos responde mal, la primera reacción suele ser cambiar de modelo. Casi nunca es ahí donde está el problema.

En la práctica, la calidad de un RAG se decide antes de que el modelo vea nada.

1. Cómo se corta el documento

El troceado es la decisión más subestimada. Cortar cada 500 caracteres es cómodo y rompe tablas, separa una cláusula de su excepción y deja títulos huérfanos de su contenido.

Cortar por estructura —secciones, artículos, encabezados— produce fragmentos que significan algo por sí solos. Es más trabajo y es donde más calidad se gana.

2. Qué se guarda junto al texto

Un fragmento sin contexto es una cita sin fuente. Guardar junto a cada fragmento el documento del que viene, su versión y su fecha permite dos cosas que valen mucho:

• El modelo puede decir de dónde sale cada afirmación.
• Se puede filtrar por vigencia y evitar responder con una versión derogada.

3. Qué se hace cuando no hay respuesta

Un buen RAG necesita poder decir "esto no está en los documentos". Si el sistema siempre responde algo, tarde o temprano inventará: no porque el modelo sea malo, sino porque nadie le dio permiso para quedarse callado.

Fijar un umbral de recuperación y una salida explícita de "no encontrado" elimina buena parte de lo que la gente llama alucinación.

4. Cómo se mide

Sin un conjunto de preguntas reales con respuestas esperadas, "va mejor" es una opinión. No hace falta un benchmark académico: bastan entre treinta y cincuenta preguntas que el negocio reconozca como suyas, revisadas por alguien que sepa la respuesta correcta.

En cuanto existe ese conjunto, cada cambio se puede comparar y las discusiones dejan de ser de gustos.

El resumen incómodo

Ninguna de las cuatro primeras es glamorosa, y las cuatro rinden más que subir de modelo. Ese es, casi siempre, el orden correcto de trabajo.