Guía de estudio para la certificación de Databricks como Ingeniero Asociado en IA Generativa (Spanish Edition)

Capítulo 3. Preparación y segmentación de datos para aplicaciones RAG

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Imagina que le pides a un LLM que responda una pregunta usando una pila enorme de documentos. Si esos documentos están desorganizados, son repetitivos o están llenos de detalles irrelevantes, al modelo le puede costar encontrar la respuesta correcta, igual que te pasaría a ti en una biblioteca desordenada. Los sistemas de generación aumentada por recuperación (RAG) funcionan de manera similar: cuanto más limpios y estructurados estén los datos, mejor se desempeñará el modelo. En lugar de simplemente alimentarle más contenido al modelo, el objetivo es seleccionar, filtrar y dar formato a ese contenido para que sea útil en el momento de la recuperación. En este capítulo, explorarás técnicas prácticas para dividir documentos en partes manejables (un proceso llamado «chunking»), limpiar entradas con ruido y estructurar datos para obtener resultados de alta calidad. No se trata solo de ejercicios teóricos, sino de habilidades esenciales para aprobar el examen de Databricks Certified Generative AI Engineer Associate y crear sistemas de IA eficaces en el mundo real.

Preparar datos para su recuperación en RAG implica más que un preprocesamiento básico. En este contexto, las entradas con ruido se refieren a partes de un documento que son irrelevantes, redundantes o están desestructuradas de tal manera ...