Benchmark de Extracción de Documentos con LLM 2026: ChatGPT, Claude y Gemini en un Conocimiento de Embarque de 20 Páginas

Benchmark de Extracción con LLM de Parseur 2026. Probado en octubre de 2026. Cuatro herramientas, siete conocimientos de embarque, un documento de 20 páginas, 77 campos.

En nuestro benchmark de extracción de documentos con LLM de 2026, proporcionamos a ChatGPT, Claude, Gemini y Parseur el mismo conocimiento de embarque de 20 páginas y les pedimos los mismos 11 campos. ChatGPT y Gemini no devolvieron ninguno de los 47 números de contenedor, respondiendo null como si el documento no tuviera contenedores, mientras que todos los demás campos que devolvieron eran correctos. Claude y Parseur extrajeron los 47 contenedores y excluyeron correctamente un contenedor tachado. Parseur también devolvió las 105 líneas de carga. En los siete documentos de prueba, Parseur obtuvo 78 puntos (77 campos más un punto extra), Claude 77, ChatGPT 76 y Gemini 74. Comprobamos cada valor con el documento impreso.

Puntos Clave

• Dos de los chatbots de IA más utilizados omitieron silenciosamente todos los contenedores en un documento largo. En un conocimiento de embarque de 20 páginas, ChatGPT (GPT-6) y Gemini (3.6 Flash) devolvieron null para los números de contenedor. El documento enumera 47.
• Los documentos cortos no presentaron este problema. En seis conocimientos de embarque de una o dos páginas, ChatGPT y Claude extrajeron todos los 66 campos correctamente, igualando a Parseur. La brecha solo apareció en el documento de 20 páginas.
• Los totales fueron fáciles, los detalles fueron difíciles. Las cuatro herramientas encontraron los totales de envío en la página de resumen (836 palés, 544.564,1 kg). Solo Claude y Parseur leyeron las 16 páginas adjuntas que enumeran los contenedores.
• Una omisión silenciosa es peor que un mensaje de error. Ni ChatGPT ni Gemini señalan en su salida que falten datos. Todos los demás campos son correctos, por lo que el resultado parece completo.
• Solo Parseur devolvió el detalle de la carga como datos estructurados. Con la configuración de campos utilizada para los siete documentos, Parseur devolvió 105 líneas de carga con el contenedor, sello, descripción, código del Sistema Armonizado (HS), paquetes y peso, cada una coincidiendo con el documento original.
• El formato de salida varía de una herramienta a otra. En las aplicaciones de chat, el mismo prompt produjo cuatro estructuras JSON (JavaScript Object Notation) diferentes, por lo que cada una necesitaría su propio mapeo antes de que los datos lleguen a un sistema empresarial.

La prueba del conocimiento de embarque de 20 páginas, en números

¿Por qué los documentos largos son difíciles para los chatbots de IA?

Los documentos largos son difíciles para los chatbots de IA porque los datos que necesita una empresa a menudo se distribuyen en varias páginas, mientras que el resumen se encuentra en un solo lugar. Un chatbot puede responder correctamente basándose en la página de resumen sin llegar a leer nunca los detalles.

Los conocimientos de embarque lo demuestran bien. Un envío marítimo consolidado puede llevar docenas de contenedores. La primera página contiene las partes, puertos, embarcación y viaje, y dice que los contenedores están enumerados en hojas adjuntas. Esas hojas adjuntas se extienden por varias páginas, con subtotales acumulados en la parte inferior de cada una. Los documentos reales también incluyen correcciones, como un contenedor que se quedó en el puerto y se pasó a la siguiente salida.

Para un equipo de logística, la lista de contenedores es el propósito central del documento. Es lo que se compara con las reservas, las declaraciones de aduanas y el sistema de gestión de transporte (TMS). Una herramienta que devuelve los totales pero no los contenedores no ha hecho su trabajo. Para obtener información sobre el documento en sí, consulta what a bill of lading is.

¿Qué herramienta extrajo el conocimiento de embarque de 20 páginas con mayor precisión?

En nuestra prueba de octubre de 2026, Claude y Parseur fueron los más precisos en el conocimiento de embarque de 20 páginas, con los 11 campos correctos y los 47 contenedores enumerados. ChatGPT y Gemini obtuvieron 10 de 11 porque ambos no devolvieron números de contenedor.

Fuente: Benchmark de Extracción con LLM de Parseur 2026, probado en octubre de 2026. El punto extra se explica en la sección "Cómo probamos".

Las cuatro herramientas obtuvieron correctamente el número de conocimiento de embarque, transportista, remitente, consignatario, puertos, embarcación, viaje y ambos totales. El único campo que marcó la diferencia fue el que requería leer las 20 páginas completas.

¿Qué salió mal en el documento de 20 páginas?

En nuestra prueba, los errores en el conocimiento de embarque de 20 páginas se dividieron en tres patrones: un null silencioso para datos que existen, leer solo el resumen, y un contenedor tachado que tenía que omitirse.

1. ¿Qué chatbots no devolvieron ningún contenedor en absoluto?

ChatGPT (GPT-6) y Gemini (3.6 Flash) devolvieron ambos "container_number": null en el conocimiento de embarque de 20 páginas. En el prompt, null se definió como "el valor no aparece en el documento". El documento enumera 47 contenedores enviados a lo largo de 16 páginas.

El mismo prompt funcionó perfectamente en documentos más cortos. En seis conocimientos de embarque de una o dos páginas, ChatGPT devolvió una lista de números de contenedor siempre que un documento tuviera más de uno. La única variable que cambió fue la longitud del documento.

Todos los demás campos en ambas respuestas son correctos, lo que hace que la omisión sea fácil de pasar por alto. Alguien que verifique la salida vería un registro aparentemente completo con los totales correctos.

2. ¿Leyeron los chatbots las 20 páginas?

La respuesta de Gemini citó solo las páginas 1 y 18: la página principal del conocimiento de embarque y el resumen de carga. Esas dos páginas contienen todos los campos que acertó. Las 16 páginas adjuntas con la lista de contenedores no están citadas.

ChatGPT no citó páginas, por lo que no podemos decir qué páginas usó exactamente. Su resultado, totales correctos y cero contenedores, coincide exactamente con el de Gemini.

3. ¿Qué herramientas manejaron el contenedor tachado?

Tanto Claude como Parseur excluyeron el contenedor omitido. En la página 12, el contenedor CSLU3455388 está tachado y marcado como "excluido, no cargado" (shut out, not loaded), con una nota de que se pasó a la siguiente salida. Incluirlo agregaría un contenedor que nunca zarpó.

Claude explicó su razonamiento y comprobó sus totales contra los subtotales acumulados. Parseur devolvió 47 contenedores en el orden del documento, con el contenedor omitido excluido tanto de la lista como de los totales.

¿Qué devolvió Parseur más allá de los 11 campos?

Parseur devolvió las 105 líneas de carga del conocimiento de embarque de 20 páginas, cada una con el número de contenedor, número de sello, tipo de contenedor, descripción de la mercancía, código HS, número de paquetes y peso bruto. Sumamos las líneas de cada contenedor y las 47 coincidieron con los subtotales de contenedor impresos en las hojas adjuntas.

Para esto, se utilizó la misma configuración de campos que en los siete documentos. La configuración de Parseur incluye una tabla para los contenedores y líneas de carga, configurada una sola vez antes de la prueba. A los chatbots se les pidieron únicamente los 11 campos de resumen.

¿Cómo les fue a las herramientas en los conocimientos de embarque más cortos?

En seis conocimientos de embarque de una o dos páginas, ChatGPT, Claude y Parseur extrajeron los 66 campos correctamente. Gemini cometió dos errores.

Fuente: Benchmark de Extracción con LLM de Parseur 2026, probado en octubre de 2026.

Los dos errores de Gemini fueron silenciosos:

• BOL-03: leyó el número de conocimiento de embarque MDCG2026GOA03371 como "NDCG2026GOA03371". Una letra incorrecta rompe la coincidencia con las reservas y los registros de aduanas.
• BOL-04: devolvió el nombre del transportista junto con el del remitente ("PACIFIC CREST SHIPPING CO., LTD. / SHENZHEN BRIGHTWAY ELECTRONICS…"), mezclando dos partes en un solo campo.

Clasificación general: siete conocimientos de embarque

Considerando los siete documentos y los 77 campos, Parseur ocupó el primer lugar con 78 puntos (77 campos más un punto extra por las líneas de carga), seguido de Claude con 77, ChatGPT con 76 y Gemini con 74.

Fuente: Benchmark de Extracción con LLM de Parseur 2026, probado en octubre de 2026.

Solo en los 11 campos, Parseur y Claude empataron en 77/77. El punto extra los separa, recompensando el detalle estructurado de la carga en lugar de una simple lectura de los 11 campos.

¿Qué salida puede ir directamente a un sistema empresarial?

Solo Parseur devolvió la misma estructura para cada documento: los mismos nombres de campos, números como números simples, unidades de peso normalizadas a KG o LB, fechas en un formato estándar y una fila por línea de carga. Cada chatbot devolvió una estructura diferente para el mismo prompt. Los chatbots accesibles a través de APIs pueden utilizar un esquema de salida fijo, pero en las aplicaciones de chat que probamos, cada modelo eligió su propia estructura para cada respuesta.

Fuente: Benchmark de Extracción con LLM de Parseur 2026, probado en octubre de 2026.

Para una consulta puntual, cualquiera de estos formatos es legible. Sin embargo, para los documentos que llegan a diario y alimentan un TMS, un ERP o una hoja de cálculo, una estructura que cambia entre respuestas significa tener que reconstruir el mapeo cada vez.

¿Cuándo es suficiente un chatbot y cuándo necesitas procesamiento inteligente de documentos?

Un chatbot es suficiente para extraer datos de un solo documento corto que alguien verificará a mano. Nuestros resultados muestran que ChatGPT y Claude son precisos en conocimientos de embarque de una o dos páginas. Para saber más sobre en qué destacan los LLM y en qué fallan, consulta nuestra guía sobre el LLM document processing.

Una plataforma de intelligent document processing (IDP) se adapta mejor cuando:

• Los documentos llegan continuamente de muchos remitentes, transportistas y transitarios, cada uno con su propio diseño.
• Los documentos son largos, con detalles distribuidos en hojas adjuntas, anexos o páginas de continuación.
• Los datos deben llegar a un sistema como un TMS, un ERP o una hoja de cálculo, con la misma estructura cada vez.
• Nadie puede verificar cada campo a mano, por lo que un null silencioso pasaría desapercibido.

Parseur es una plataforma de procesamiento inteligente de documentos para equipos de operaciones que reciben documentos de muchos remitentes y necesitan los datos en sus propios sistemas. Defines los campos una vez, y luego cada documento recibido por correo electrónico, subida de archivos o API se procesa con la misma configuración y se entrega a través de integrations, webhooks o la document extraction API. Lleva en producción desde 2016, ha procesado más de 100 millones de documentos, está alojada en la UE y cumple con SOC 2 Tipo II. Específicamente para los conocimientos de embarque, consulta el bill of lading OCR y la logistics automation.

Resultados herramienta por herramienta

Parseur: 78 (77 de 77 campos, más 1 punto extra). Todos los campos correctos en los siete documentos. En el conocimiento de embarque de 20 páginas, devolvió los 47 contenedores en el orden del documento, excluyó el contenedor omitido y devolvió las 105 líneas de carga que coincidían con los subtotales del documento. Convirtió los formatos de números europeos en números simples y etiquetó las libras y los kilogramos por separado. Procesar el documento de 20 páginas tomó alrededor de 23 segundos.

Claude (Sonnet 5.5): 77 de 77. Todos los campos correctos en los siete documentos, incluidos los 47 contenedores en el documento de 20 páginas. Explicó sus elecciones, como excluir el contenedor omitido y verificar los totales contra los subtotales acumulados. Utilizó su propia estructura JSON, con objetos de valor y unidad y una copia "tal como está impreso" de cada número.

ChatGPT (GPT-6): 76 de 77. Los 66 campos correctos en los seis documentos cortos, incluidas las listas de contenedores en documentos de múltiples contenedores. En el documento de 20 páginas, devolvió null para los números de contenedor, con todos los demás campos correctos, y devolvió el recuento de paquetes y el peso como números simples sin unidades.

Gemini (3.6 Flash): 74 de 77. Dos errores silenciosos en los documentos cortos: una letra incorrecta en el número del conocimiento de embarque, y el transportista mezclado en el campo del remitente. En el documento de 20 páginas, devolvió null para los números de contenedor y citó solo las páginas 1 y 18. Devolvió los valores como texto impreso, por ejemplo "38.240,500 KGS", en lugar de como números.

Cómo probamos

Probamos cuatro herramientas en los mismos siete conocimientos de embarque entre el 13 y el 15 de octubre de 2026, utilizando una lista fija de 11 campos, y comprobamos cada valor devuelto contra una hoja de respuestas construida a partir de los documentos impresos.

¿Qué documentos utilizamos?

Utilizamos siete conocimientos de embarque sintéticos, no documentos reales de clientes. Los creamos para reproducir diseños auténticos de navieras, transporte terrestre en EE. UU. y transitarios europeos, incluidas las trampas que causan errores en la práctica: múltiples contenedores, páginas de continuación, partes distractoras, formatos numéricos locales, una foto de teléfono y un valor escrito a mano. Los documentos sintéticos significan que cada valor se conoce de antemano, y los documentos se pueden compartir sin exponer los datos de los clientes.

Los documentos utilizan tres idiomas: inglés, italiano con etiquetas en inglés y alemán con etiquetas en inglés. Todos los números de contenedor siguen el estándar ISO 6346 con dígitos de control válidos, y cada subtotal y total en los documentos cuadran perfectamente.

Las siguientes páginas muestran cuatro de los casos más difíciles.

La página 1 del BOL-07 contiene los campos de encabezado. La sección de detalles de la carga no da números de contenedor. Hace referencia a las hojas adjuntas en las páginas 2 a 17 y al resumen en la página 18.

La página 12 del BOL-07 es una de las 16 hojas adjuntas. El contenedor CSLU3455388 está tachado como omitido, y el subtotal acumulado en la parte inferior lo excluye.

BOL-04 es una foto de teléfono de un conocimiento de embarque impreso, con un número de viaje escrito a mano (118N) y sellos sobre el formulario.

BOL-03 utiliza etiquetas en italiano e inglés, formatos de números europeos y fechas día/mes, con los totales para dos contenedores en una sola línea.

¿Cómo ejecutamos la prueba?

1. Fijamos los campos. Elegimos 11 campos que los equipos de logística usan en cada conocimiento de embarque: número de conocimiento de embarque, transportista, remitente, consignatario, puerto de carga, puerto de descarga, número de contenedor, nombre de la embarcación, número de viaje, recuento de paquetes y peso bruto.
2. Construimos la hoja de respuestas a partir de los valores impresos en cada documento antes de ejecutar ninguna herramienta.
3. Ejecutamos los chatbots en un nuevo chat cada uno, con el mismo prompt y los mismos archivos, y guardamos cada respuesta como texto y capturas de pantalla. Subimos los seis documentos cortos juntos y el documento de 20 páginas por su cuenta.
4. Ejecutamos Parseur subiendo los siete documentos a un buzón con una configuración de campos, y exportamos los resultados.
5. Puntuamos cada campo con la hoja de respuestas usando las reglas a continuación, y comprobamos cada error con el documento original y la captura de pantalla de la herramienta. Cada documento fue puntuado sobre los mismos 11 campos: 66 campos en los seis documentos cortos y 11 en el documento de 20 páginas, para 77 en total.

Herramientas y configuración

• ChatGPT (GPT-6), Claude (Sonnet 5.5) y Gemini (3.6 Flash) en sus aplicaciones de chat en sus planes gratuitos, cada conjunto de documentos en un nuevo chat, una ejecución por herramienta.
• El mismo prompt para cada chatbot, pidiendo 11 campos como JSON. El prompt decía que devolviera null para cualquier valor que no apareciera en el documento y que no infiriera información faltante. El documento de 20 páginas se subió por sí solo.
• Parseur con un buzón y una configuración de campo, configurados antes de la ejecución final y utilizados sin cambios para los siete documentos. La configuración cubre los 11 puntos de datos, más una tabla para contenedores y líneas de carga y campos para fechas y unidades de peso.

Reglas de puntuación

1. El valor de referencia (o verdad absoluta) es el valor impreso en el documento.
2. Las diferencias de formato no fueron errores: "22 PLT" y "22 pallets", "Genova" y "Genoa", o un peso con o sin su unidad.
3. Un campo que no estaba en el documento tenía que volver vacío. Rellenar un valor donde el documento no contenía ninguno contaba como un error.
4. Los números de contenedor se puntuaron como un solo campo: correctos solo si todos los contenedores enviados estaban enumerados y el contenedor omitido quedaba excluido.
5. Tomamos el recuento de paquetes de Parseur como la suma de sus filas de contenedores, lo que coincidió con los totales impresos en cada documento.
6. En el conocimiento de embarque del camión, el campo del contenedor de Parseur se configuró para capturar el número de remolque (53-11872). Lo contamos como correcto porque el campo se definió de esa manera. Si se puntuara estrictamente según el prompt utilizado en el chatbot, el total de Parseur sería un punto menos.
7. Punto extra: Parseur recibió un punto extra en el documento de 20 páginas por devolver las 105 líneas de carga, cada una verificada contra el documento. No se pidieron líneas de carga a los chatbots, por lo que mostramos el extra por separado de la puntuación de 77 campos.

Limitaciones

Esta es una pequeña prueba práctica, no un benchmark estadístico, y Parseur la ejecutó como una de las herramientas probadas. Cada chatbot se ejecutó una vez por conjunto de documentos, y los resultados de las aplicaciones de chat pueden variar entre ejecuciones y actualizaciones del modelo. Los documentos son sintéticos, creados para reproducir diseños reales.

Cómo probar un LLM o herramienta de extracción en tus propios documentos

El error de omisión de contenedores en esta prueba solo se hizo evidente porque verificamos los resultados con el documento original. Antes de confiar en una herramienta, ejecuta tus propios documentos a través de ella y comprueba:

1. Tus documentos más largos, no solo muestras de una página. Incluye hojas adjuntas, anexos y páginas de continuación.
2. Cada elemento repetido, como contenedores, artículos en línea o envíos. Cuéntalos y compáralos con el documento.
3. Que un valor vacío o nulo realmente signifique que la información está ausente en el documento. Un valor faltante que sí existe en el documento es el error más difícil de detectar.
4. Correcciones en el documento, como elementos tachados u omitidos, que deben dejarse fuera.
5. Que el formato de salida se procese correctamente (parse) y mantenga la misma estructura entre documentos, para que tu integración no se rompa.
6. Que no se confundan las partes: remitente, consignatario, parte a notificar, transitario y transportista.

Para ver una prueba similar con facturas en cuatro idiomas, consulta el Multilingual Invoice Extraction Benchmark 2026. Para herramientas dedicadas a conocimientos de embarque, consulta nuestra comparación de los mejores bill of lading processing software.

Pruébalo en tus propios conocimientos de embarque

Los siete documentos de la prueba muestran dónde pueden fallar las herramientas, pero tus propios documentos de envío son la prueba definitiva. Ejecuta tus conocimientos de embarque más largos a través de Parseur y comprueba la lista de contenedores con el original.

Última actualización el 11 de noviembre de 2026