Introducción

Unstructured.io es un marco de código abierto para el procesamiento estructurado de documentos no estructurados como PDFs, archivos de Word, páginas HTML o correos electrónicos. Su objetivo es extraer contenidos semánticamente útiles de estos formatos heterogéneos, como encabezados, párrafos, tablas o listas, y convertirlos a un formato unificado y legible por máquina. El caso de uso principal es la preparación de datos de texto para su posterior procesamiento por sistemas de IA, especialmente para aquellos con generación aumentada por recuperación (RAG).

El uso típico se da en el análisis de documentos, la gestión del conocimiento o la preparación de entradas para modelos de incrustación (embeddings). En este proceso se aplican varios pasos de procesamiento. Estos cuatro pasos constituyen el núcleo de la canalización de Unstructured.io y se ejecutan en cada uso normal de la biblioteca.

• Partitioning
  Desglose del documento en elementos lógicos de contenido, como párrafos, encabezados o tablas.

• Cleaning
  Eliminación de componentes irrelevantes como encabezados, pies de página o marcas de agua.

• Extracting
  Extracción del contenido de texto puro y de los metadatos asociados.

• Staging
  Preparación de esta información en un formato estructurado y consistente (por ejemplo, JSON o Markdown).

Además, existen extensiones opcionales:

• Chunking: Los contenidos más largos se dividen en unidades de texto más pequeñas, mejor adecuadas para modelos de incrustaciones. Este paso no forma parte obligatoria de la biblioteca principal, pero es necesario para muchas aplicaciones de IA.

• Embedding: Los fragmentos de texto resultantes se envían a modelos externos (p. ej. OpenAI, HuggingFace, SentenceTransformers) para generar representaciones vectoriales. Este paso se realiza fuera de Unstructured y debe ser implementado por el usuario o complementado mediante canalizaciones de ejemplo existentes.

Así pues, Unstructured.io gestiona el preprocesamiento de documentos hasta la salida de texto estructurado. Para una canalización RAG completa—que incluya incrustaciones, base de datos de vectores, lógica de recuperación y modelo de lenguaje—se necesitan herramientas adicionales. Por tanto, Unstructured representa la fase inicial y preparatoria de dicha arquitectura.

Ejemplos de documentos PDF para practicar

https://github.com/Unstructured-IO/unstructured/tree/main/example-docs/pdf

Tipos de datos compatibles

Bibliotecas externas necesarias

Canalización de datos (Data Pipeline)

El flujo de trabajo de unstructured.io es una canalización de datos de varias etapas que transforma sistemáticamente documentos en crudo en información lista para IA. El proceso comienza con el Partitioning, donde un documento se divide en sus elementos lógicos como títulos, párrafos y tablas. En el siguiente paso, Cleaning, estos elementos se limpian de contenidos no deseados como encabezados o pies de página. A continuación se realiza el Extracting, donde se extraen los contenidos de texto puro y metadatos importantes de los elementos. La fase de Staging sirve para estructurar estos datos extraídos y prepararlos para las fases posteriores. En Chunking se dividen textos largos y coherentes en secciones más pequeñas optimizadas para modelos. El paso final, el Embedding, convierte estos fragmentos de texto en vectores numéricos que los sistemas de IA, como las aplicaciones RAG, pueden procesar y buscar.

[ Partitioning ] > [ Cleaning ] > [ Extracting ] > [ Staging ] > [ Chunking ] > [ Embedding ]

Pasos fundamentales de la canalización (pasos obligatorios)

[ Partitioning ] > [ Cleaning ] > [ Extracting ] > [ Staging ]

Partitioning

La biblioteca unstructured ofrece funciones de partición para descomponer documentos crudos en bloques estructurados como títulos, texto continuo o elementos de lista. Esto permite a los usuarios seleccionar únicamente los contenidos que necesitan para su tarea específica, por ejemplo, solo el texto continuo para entrenar un modelo de resumen.

Ejemplo de archivo *.PDF para probar la biblioteca unstructured.io:

pm-partnerschaft-stackitDescargar

La función partition ha analizado el documento PDF anterior. En lugar de tratar el documento como una larga secuencia de texto sin formato, ha interpretado la estructura visual y el diseño de la página para identificar bloques lógicos individuales (Document Elements), por ejemplo, “Title” y “NarrativeText”.

Explicación de los distintos tipos de elementos del PDF, por ejemplo, Title:

Esta es la lista de los elementos de documento más importantes como Text, Header, Image, etc. La lista completa de elementos se encuentra aquí: Link

Cleaning

La función cleaning sirve para eliminar contenidos no deseados de documentos, con el fin de preparar los datos para tareas posteriores, como el procesamiento por modelos de lenguaje (LLMs). El objetivo es obtener datos “limpios” y más relevantes.

La siguiente tabla ofrece una visión general de las distintas funciones de cleaning. Fuente: Link

Extraction

El paso Extracting aisla información específica de los elementos de texto ya limpiados.

Por ejemplo, si un texto contiene la frase: Para más información, contacte a support@example.com. En lugar de procesar toda la frase, una función de extracción como extract_email_address extraería únicamente el dato deseado, es decir, support@example.com.

Staging

Las funciones de staging en el paquete unstructured sirven para preparar los elementos de documento extraídos para pasos posteriores de procesamiento. Como entrada, esperan una lista de elementos estructurados, por ejemplo Title o NarrativeText. La salida es un diccionario formateado, es decir, una colección estructurada de datos en forma de pares clave-valor. Cada información, como un fragmento de texto o un metadato, se asigna a un identificador único. Estos identificadores, o claves, pueden ser “text”, “metadata” o “type”. El objetivo es preparar los datos de manera que el sistema de destino los procese directamente.

Inicialmente estaban disponibles funciones de conversión especializadas:

• Una conversión básica como convert_to_csv para transformación a formatos tabulares
• Una conversión para plataformas de aprendizaje automático y NLP como stage_for_transformers para preparar datos de entrenamiento
• Una conversión para bases de datos vectoriales como stage_for_weaviate para indexación semántica

Estas funciones están ahora obsoletas. El desarrollo se centra en el concepto de Destination Connectors, p. ej. para Kafka, Weaviate o MongoDB. Con ellos, los datos se pueden enviar automáticamente a plataformas externas tras la extracción.

Pasos avanzados de la canalización (Opcional)

[ Chunking ] > [ Embedding ]

Chunking

Unstructured usa metadatos y elementos de documento reconocidos por las funciones de partición para convertirlos en “chunks” más útiles.

Estrategia de Chunking

Actualmente Unstructured ofrece dos estrategias de chunking: “basic” y “by_title”. Los componentes esenciales de la estrategia basic son:

basic

La estrategia “basic” es la más simple y una de las más utilizadas en la biblioteca unstructured. Su función principal es combinar elementos secuenciales de un documento para crear chunks lo más grandes posible sin sobrepasar un número máximo especificado de caracteres:

• max_characters: un límite estricto que no se debe superar
• new_after_n_chars: un límite suave. Al excederse se inicia un nuevo chunk, incluso si el límite estricto no se ha alcanzado. Si se supera este umbral, preferiblemente se comienza un nuevo chunk cuando sea semánticamente razonable o técnicamente posible. Puede ignorarse si el modelo detecta que es mejor combinar, siempre que se respete el límite estricto.
• overlap: si un elemento individual es demasiado grande y debe dividirse, este parámetro indica cuántos caracteres se solapan al final de un chunk y al principio del siguiente. Esto ayuda a mantener el contexto a través de las fronteras de los chunks.
• overlap_all: si se establece en True, el solapamiento no solo se aplica a elementos grandes divididos, sino a todos los chunks consecutivos.

Caso especial: tablas: las tablas (Table-elementos) siempre se tratan como chunks independientes y nunca se combinan con otros elementos. Si una tabla es demasiado grande, también se dividirá.

by_title

La estrategia by_title hereda todos los comportamientos básicos de la estrategia basic (como respetar max_characters) y añade tres reglas nuevas y decisivas:

• La estrategia identifica elementos Title (encabezados) como inicio de una nueva sección. Cuando el algoritmo encuentra un encabezado, realiza la siguiente acción:

  • El chunk actual se cierra inmediatamente.
  • Se inicia un nuevo chunk comenzando con este elemento Title. Esto ocurre aunque el encabezado pudiera caber perfectamente en el chunk anterior.

• Por defecto la estrategia no considera los saltos de página como una división estricta. Esto significa que una sección puede extenderse varias páginas sin dividirse en un nuevo chunk. Este comportamiento lo controla el parámetro multipage_sections=True (valor predeterminado).

• A veces en los documentos textos muy cortos, como un único elemento de lista, se identifican erróneamente como elementos Title. Esto puede generar muchos chunks pequeños e indeseados. Para resolver este problema existe el parámetro combine_text_under_n_chars:

  • Este parámetro permite combinar varias secciones pequeñas consecutivas en un solo chunk para rellenar mejor la ventana de chunking (max_characters).
  • Por defecto el valor de combine_text_under_n_chars es el mismo que max_characters. Esto asegura que las secciones pequeñas se agreguen de manera eficiente.
  • Con valor 0, cada sección, por pequeña que sea, identificada como Title se define como un nuevo chunk.

La estrategia by_title es la mejor opción para todos los documentos con una estructura clara y jerárquica, como informes, artículos de investigación, manuales o contratos.

Embedding

Tras extraer contenidos de documentos con la biblioteca de código abierto unstructured, un paso común posterior es convertir los elementos de texto extraídos en embeddings vectoriales. Estos vectores son la base para funciones de búsqueda semántica y generación aumentada por recuperación (RAG).

La biblioteca principal de unstructured no incluye funciones nativas para llamar a proveedores de embeddings. En su lugar existen dos métodos principales para generar embeddings a partir de las salidas de unstructured.

Método 1: El ecosistema Unstructured ofrece funcionalidad extendida mediante la línea de comandos Unstructured Ingest (CLI) y la biblioteca Python asociada. Estos componentes están diseñados para crear canalizaciones de procesamiento de extremo a extremo y ofrecen soporte integrado para la conexión con proveedores de embeddings.

En este enfoque, la generación de embeddings se integra perfectamente en el proceso de ingestión de datos (“Ingest Pipeline”). Esto permite la automatización completa del flujo de trabajo desde el documento en crudo hasta el embedding vectorial final. La información sobre la configuración está disponible en la documentación oficial.

Método 2: Un método alternativo es enriquecer manualmente los archivos JSON generados por unstructured. Este enfoque ofrece un alto grado de flexibilidad, especialmente en la elección del modelo de embeddings, y es adecuado para escenarios donde no se utiliza una canalización de ingestión completa.

El proceso sigue típicamente este esquema:

• Input: Un archivo JSON generado por la biblioteca unstructured sirve como fuente de entrada.
• Lectura: El contenido del archivo JSON se carga en memoria como un objeto estructurado.
• Generación de embeddings: Se utiliza una biblioteca de terceros, como sentence-transformers, para crear un embedding para el valor del campo text de cada elemento en el archivo JSON. Un ejemplo común es el modelo sentence-transformers/all-MiniLM-L6-v2 de Hugging Face.
• Enriquecimiento de datos: El embedding generado se inserta como un nuevo campo junto al campo text correspondiente en el objeto JSON.
• Almacenamiento: El objeto JSON modificado, con los embeddings añadidos, se escribe de nuevo en el archivo original o en uno nuevo.

Este enfoque ofrece control total sobre el proceso y puede integrarse en flujos de trabajo existentes basados en intercambio de archivos JSON.