El 80% de los proyectos de RAG que fallan en producción no tienen ningún problema con el modelo. El problema está en los datos, en el chunking, y en una promesa de ventas que simplifica demasiado lo que significa poner un sistema de este tipo en manos de un equipo operativo.
Esto no es un argumento en contra de RAG. Es la advertencia que te haría un ingeniero que ha visto el ciclo completo: el entusiasmo del piloto, la fricción del escalamiento, y la postmortem del proyecto que nunca llegó a producción. Si tu empresa está evaluando implementar RAG — o acaba de firmarlo con un proveedor — lo que sigue te va a ahorrar entre tres y nueve meses de retraso.
Qué es RAG (en realidad, no según el pitch)
RAG — Retrieval-Augmented Generation — es un patrón de arquitectura. La idea es directa: antes de que un LLM genere una respuesta, el sistema busca en una base de conocimiento privada los fragmentos más relevantes para la pregunta y los pasa al modelo como contexto adicional. El resultado es un modelo que puede responder sobre documentos internos, normativas actualizadas o datos que no existían cuando fue entrenado — sin necesidad de reentrenarlo.
El pitch de ventas lo simplifica todavía más: «conectas tus documentos, el modelo los entiende, y ya puedes hacerle preguntas». Técnicamente correcto. Operativamente incompleto. Entre «conectar documentos» y tener un sistema que responde con precisión suficiente para que un equipo de operaciones confíe en él hay un proceso de tres a seis meses que no aparece en ninguna demo de YouTube.
El prerrequisito que los vendedores no mencionan: la calidad de los datos
El sistema busca en lo que le das. Si tus documentos están desactualizados, mal organizados o en formatos incompatibles — PDFs escaneados sin OCR, presentaciones sin estructura, manuales con 18 versiones coexistiendo — el modelo va a buscar y a encontrar basura. Los sistemas RAG no mejoran la calidad de los datos: la amplifican. Un corpus limpio produce respuestas buenas. Un corpus sucio produce respuestas con confianza.
En la práctica, entre el 20% y el 40% del tiempo de un proyecto RAG serio se gasta antes de escribir una sola línea de código de IA: convirtiendo PDFs escaneados a texto legible, estandarizando nomenclaturas que variaron entre áreas durante años, eliminando versiones obsoletas de documentos, y construyendo un proceso para mantener el corpus actualizado cuando cambian las normativas o los procedimientos internos. Este trabajo no aparece en las demos porque las demos usan documentos de ejemplo perfectamente formateados.
Si no puedes responder «¿quién es el dueño de cada documento del corpus y cómo se actualiza cuando cambia?», el sistema va a degradarse en producción aunque el piloto funcione perfectamente.
Los tres modos de fallo que nadie documenta
1. El problema del chunking
Chunking es el proceso de partir los documentos en fragmentos pequeños para indexarlos. El tamaño y la forma en que se cortan esos fragmentos tiene un impacto enorme en la calidad de las respuestas — y casi ningún proveedor lo documenta en el contrato. Si cortas un manual de procedimientos cada 500 tokens sin considerar la estructura semántica, terminas con fragmentos que empiezan a mitad de una instrucción y terminan antes de llegar al punto importante.
El resultado es engañoso: el sistema recupera el fragmento «correcto» por palabras clave, pero el fragmento no tiene suficiente contexto para responder bien. La respuesta parece plausible pero está incompleta. Y un analista o supervisor que la usa para tomar una decisión no va a saber que estaba incompleta — va a saber que «la IA se equivocó», que es exactamente la narrativa que destruye la adopción.
La solución no es técnicamente compleja, pero requiere tiempo: chunking semántico que respeta la estructura del documento (secciones, párrafos, tablas), tamaños variables según el tipo de contenido, y overlapping entre fragmentos para no romper el contexto en los bordes. Esto no se configura en un slider — se diseña para cada corpus.
2. El problema del retrieval recall
El sistema de búsqueda de RAG funciona por similitud semántica: convierte tu pregunta en un vector y busca los fragmentos del corpus más cercanos en el espacio vectorial. Esto funciona muy bien cuando la pregunta y el documento usan el mismo vocabulario. Funciona mal cuando hay sinonimia técnica, variaciones de idioma (español de México vs. Colombia vs. España) o cuando la pregunta es implícita.
Ejemplo concreto: un analista pregunta «¿cuánto tiempo tenemos para reportar una operación inusual?» y el documento relevante habla de «plazo para reporte de operaciones sospechosas». Dos conceptos equivalentes con vocabulario diferente. El sistema devuelve fragmentos menos relevantes o no encuentra nada, y el modelo o bien alucina o bien responde que no tiene información. En ambos casos, el operador pierde confianza en el sistema. Con suficientes casos así, el sistema queda relegado a «la herramienta que a veces sirve» — que es otra forma de decir que no sirvió.
La solución es un sistema de búsqueda híbrido: similitud vectorial más búsqueda por palabras clave en paralelo, con un re-ranker que fusiona los resultados. También es útil construir un glosario de sinónimos del dominio específico de la empresa — el vocabulario de tu equipo legal no es el vocabulario de tu equipo de operaciones, y ambos tienen que poder hacer preguntas al mismo sistema.
3. El problema de las alucinaciones en casos borde
Los LLMs están entrenados para responder. Cuando el corpus no contiene la respuesta a una pregunta, el modelo debería decir «no tengo información sobre eso». Algunos lo hacen bien. Muchos no: generan una respuesta plausible construida con fragmentos parcialmente relevantes, presentada con la misma confianza que una respuesta correcta. Este modo de fallo es el más peligroso porque es silencioso.
En contextos de cumplimiento regulatorio — banca, salud, seguros, legal — este tipo de error no es un bug de usabilidad: es un riesgo de auditoría. El sistema te dice que el plazo para presentar un recurso es de 15 días. El documento real dice 10 días hábiles. La diferencia es un reclamo perdido o una multa. Y nadie en el equipo sabe que el modelo respondió mal porque la respuesta sonó convincente.
El sistema RAG en producción que funciona no es el que siempre responde — es el que sabe cuándo no responder y obliga al usuario a ir a la fuente.
Cómo se ve un RAG en producción real
Un sistema RAG que funciona en producción en una empresa de 500 personas tiene las siguientes capas: un pipeline de ingesta que procesa y actualiza el corpus de forma automatizada cada vez que cambia un documento fuente; una estrategia de chunking semántico que respeta la estructura de los documentos; un sistema de búsqueda híbrido que combina similitud vectorial con búsqueda por palabras clave; y un mecanismo de grounding que obliga al modelo a citar la fuente exacta de cada afirmación.
El grounding es la capa que convierte RAG de herramienta experimental a herramienta operativa. Cuando el modelo cita exactamente qué fragmento del documento respaldó su respuesta — con número de página, versión del documento y fecha de última actualización — el operador puede verificarlo. La pregunta deja de ser «¿confío en la IA?» y pasa a ser «¿confío en este documento?». Esa es una pregunta que el equipo sabe responder.
También se necesita un eval pipeline: un conjunto de 200 a 500 preguntas con respuestas esperadas que permita medir la calidad del sistema de forma continua. Sin un eval, no sabes si el sistema mejoró o empeoró cuando cambias la configuración. Y en producción, los sistemas cambian constantemente: los documentos se actualizan, los modelos se deprecan, los índices vectoriales se reconstruyen.
La implementación completa, desde el análisis del corpus hasta el primer despliegue en producción con métricas de calidad monitoreadas, toma entre 6 y 14 semanas dependiendo del estado de los datos y la complejidad del corpus. No es un plazo largo. Es el plazo honesto para un sistema que el equipo va a usar todos los días.
Antes de firmar, ten claro esto
- ¿Quién es el dueño del corpus y cómo se mantiene actualizado cuando cambia un documento?
- ¿El proveedor entrega un eval pipeline con métricas de calidad medibles o solo una demo?
- ¿El sistema cita la fuente de cada respuesta y muestra el fragmento exacto que usó?
- ¿El sistema tiene un mecanismo explícito para responder «no sé» cuando el corpus no contiene la respuesta?
- ¿La estrategia de chunking está documentada y fue diseñada para el tipo de documentos de tu empresa, o es la configuración por defecto?
Si tu proveedor no puede responder las primeras tres preguntas en la primera llamada técnica, no está listo para producción. Si no puede responder las cinco, está vendiendo un piloto.
¿Cuál es el estado real de IA en tu empresa?
En 4 minutos, el diagnóstico de Glú identifica las brechas concretas que frenan la adopción de IA en tu operación y te dice cuál es la siguiente acción. Sin formularios de ventas — el resultado es inmediato.
Hacer el diagnóstico IA