Introducción: Por qué el dominio de los datos determina el éxito de la IA La inteligencia artificial no surge en el vacío, depende de los datos como combustible. Una red neuronal no puede procesar lenguaje, identificar objetos ni derivar recomendaciones de acción útiles sin una base de datos amplia y de alta calidad. Para las empresas, de ello se deriva una clara consecuencia: quien pierde el control sobre sus propios datos cede el petróleo crudo de la economía digital a plataformas externas. ...

En el aprendizaje automático existen muchos paradigmas y métodos, desde el aprendizaje supervisado y no supervisado, pasando por el semisupervisado y el auto-supervisado, hasta el aprendizaje por transferencia y el aprendizaje por refuerzo. Para mantener la visión general he creado un mapa mental como ayuda de memoria. En el primer nivel están los tipos de aprendizaje, como por ejemplo el aprendizaje supervisado, luego las áreas de tareas, seguidas de los subgrupos temáticos y, por último, procedimientos concretos. ...

En Parte 1 vimos cómo una preparación limpia de documentos y un chunking bien pensado son decisivos para la calidad de Retrieval Augmented Generation. Estas bases forman el punto de partida para toda una serie de optimizaciones adicionales que moldean el proceso completo. En la Parte 2 continuamos la serie y nos dedicamos a los siguientes bloques, que se construyen sobre esta base y desarrollan aún más el uso de RAG en la empresa. ...

Retrieval Augmented Generation, abreviado RAG, combina el potencial de los modelos de lenguaje con el conocimiento específico de una empresa. Este enfoque permite incorporar documentos y datos internos de manera dirigida en las respuestas sin perder el control sobre la propia información. De este modo, RAG se percibe cada vez más como una tecnología clave para usar modelos de lenguaje de forma segura y con soberanía de datos. En la práctica, sin embargo, pronto se hace evidente que una simple búsqueda vectorial en combinación con un LLM no es suficiente para obtener resultados realmente consistentes y de alta calidad. Para aprovechar al máximo el potencial de RAG, son necesarios métodos y optimizaciones adicionales. ...

Introducción Grandes modelos de lenguaje (Large Language Models, LLMs) como Llama 3.x se entrenan en un costoso proceso de preentrenamiento con ingentes cantidades de texto. Este proceso suele realizarse en hardware especializado como GPUs y TPUs, optimizado para el cálculo en paralelo de grandes redes neuronales. Tras completar el preentrenamiento, los parámetros del modelo quedan congelados y ya no pueden modificarse directamente durante la operación normal. Esto significa que no se puede “corregir” el modelo ni reprogramarlo mediante intervenciones simples. Contenidos como, por ejemplo, hechos sobre personalidades históricas no se almacenan en neuronas individuales accesibles de forma específica. En cambio, esa información se codifica estadísticamente en la totalidad de los pesos del modelo. Esto dificulta enormemente los cambios dirigidos, pues no hay ubicaciones claramente identificables para cada hecho. ...

Introducción A más tardar con la llegada de grandes modelos de lenguaje (LLMs) como GPT, muchos se preguntan cómo proporcionar a dichos modelos información estructurada y precisa. Aunque los LLM pueden responder preguntas de forma muy convincente, muchas de sus respuestas se basan únicamente en probabilidades lingüístico-estadísticas, no en razonamientos lógicos o conocimientos explícitos de hechos. Aquí es donde el uso de una ontología aporta un valor añadido sistemático. En la siguiente publicación se muestra, mediante una misión ficticia en el ‘El Señor de los Anillos’-universo, cómo una ontología puede apoyar a un LLM en la respuesta a preguntas complejas. ...

Introducción Unstructured.io es un marco de código abierto para el procesamiento estructurado de documentos no estructurados como PDFs, archivos de Word, páginas HTML o correos electrónicos. Su objetivo es extraer contenidos semánticamente útiles de estos formatos heterogéneos, como encabezados, párrafos, tablas o listas, y convertirlos a un formato unificado y legible por máquina. El caso de uso principal es la preparación de datos de texto para su posterior procesamiento por sistemas de IA, especialmente para aquellos con generación aumentada por recuperación (RAG). ...

Introducción Retrieval Augmented Generation (RAG) es un método de procesamiento de lenguaje natural (PLN), en el que un modelo de lenguaje se combina con conocimiento externo para generar respuestas mejores y más precisas. Un modelo de lenguaje como GPT no solo se consulta sobre su conocimiento interno (entrenamiento), sino que también recibe información contextual de una fuente de conocimiento externa, por ejemplo, una colección de documentos o una base de datos. ...

Introducción Stanza es una biblioteca de PLN de código abierto de la Universidad de Stanford, basada en redes neuronales modernas. Permite el análisis lingüístico exhaustivo de textos en más de 70 idiomas. El objetivo de Stanza es proporcionar un sistema de canalización completo que abarque todos los pasos de procesamiento habituales: tokenización, etiquetado de categorías gramaticales (POS), lematización, análisis sintáctico (dependencias y constituyentes) y reconocimiento de entidades nombradas (NER). Stanza es adecuada tanto para fines de investigación como para aplicaciones productivas, por ejemplo en clasificación de texto, extracción de información o en el preprocesamiento de textos para Retrieval Augmented Generation (RAG). Los modelos están preentrenados, pero también pueden afinarse. Internamente, Stanza se basa en el framework PyTorch. ...

En las aplicaciones de software clásicas, los flujos están predeterminados. Las funciones se llaman en un orden específico, las transferencias están claramente definidas y las decisiones se toman mediante reglas fijas que el desarrollador ha incrustado en el código. La propia aplicación no toma decisiones, solo sigue un proceso rígido. Cuando se quiere integrar un modelo de lenguaje como GPT en un sistema, normalmente hay que asegurarse de que toda la información necesaria se obtenga y prepare de antemano. Por ejemplo: si se necesitan datos meteorológicos actualizados, se escribe una función que consulta una API, procesa la respuesta y envía el texto al modelo. El modelo solo recibe el fragmento de texto final con los datos meteorológicos. No sabe de dónde provienen los datos, qué función los proporcionó ni si están actualizados. Tampoco toma ninguna decisión propia sobre cuándo debe llamarse una función concreta. Simplemente responde basándose en el contexto que se le ha proporcionado. ...