Benchmark sull'estrazione di documenti LLM 2026 - ChatGPT, Claude e Gemini su una polizza di carico di 20 pagine

Parseur LLM Extraction Benchmark 2026. Testato a ottobre 2026. Quattro strumenti, sette polizze di carico, un documento di 20 pagine, 77 campi.

Nel nostro benchmark sull'estrazione di documenti LLM del 2026 (Parseur LLM Extraction Benchmark), abbiamo fornito a ChatGPT, Claude, Gemini e Parseur la stessa polizza di carico di 20 pagine e abbiamo richiesto gli stessi 11 campi. ChatGPT e Gemini non hanno restituito nessuno dei 47 numeri di container, rispondendo null come se il documento non avesse container, mentre tutti gli altri campi restituiti erano corretti. Claude e Parseur hanno estratto tutti e 47 i container e hanno escluso correttamente un container cancellato. Parseur ha restituito anche tutte le 105 righe di carico. In tutti i sette documenti di prova, Parseur ha totalizzato 78 punti (77 campi più un punto bonus), Claude 77, ChatGPT 76 e Gemini 74. Abbiamo verificato ogni valore rispetto al documento stampato.

Punti Chiave

• Due dei chatbot IA più utilizzati hanno tralasciato in silenzio ogni container su un documento lungo. Su una polizza di carico di 20 pagine, ChatGPT (GPT-6) e Gemini (3.6 Flash) hanno restituito null per i numeri di container. Il documento ne elenca 47.
• I documenti brevi non mostrano il problema. Su sei polizze di carico di una o due pagine, ChatGPT e Claude hanno estratto correttamente tutti i 66 campi, eguagliando Parseur. La differenza è emersa solo con il documento di 20 pagine.
• I totali erano semplici, i dettagli erano complessi. Tutti e quattro gli strumenti hanno trovato i totali di spedizione nella pagina di riepilogo (836 pallet, 544.564,1 kg). Solo Claude e Parseur hanno letto i 16 fogli aggiuntivi (rider sheets) che elencano i container.
• Un'omissione silenziosa è peggio di un messaggio di errore. Né ChatGPT né Gemini segnalano nei loro output la mancanza di dati. Ogni altro campo è corretto, quindi il risultato sembra completo.
• Solo Parseur ha restituito i dettagli del carico come dati strutturati. Con l'impostazione dei campi utilizzata per tutti e sette i documenti, Parseur ha restituito 105 righe di carico con container, sigillo, descrizione, codice HS (Sistema Armonizzato), colli e peso, ciascuno corrispondente al documento.
• L'output dei chatbot cambia forma da uno strumento all'altro. Nelle app di chat, lo stesso prompt ha prodotto quattro diverse strutture JSON (JavaScript Object Notation), quindi ciascuna richiederebbe la propria mappatura prima che i dati raggiungano un sistema aziendale.

Il test della polizza di carico di 20 pagine, in cifre

Perché i documenti lunghi sono difficili per i chatbot IA?

I documenti lunghi sono difficili per i chatbot IA perché i dati di cui ha bisogno un'azienda sono spesso sparsi su più pagine, mentre il riepilogo si trova in un solo punto. Un chatbot può rispondere correttamente partendo dalla pagina di riepilogo senza mai leggere i dettagli.

Le polizze di carico lo dimostrano bene. Una spedizione marittima consolidata può trasportare dozzine di container. La prima pagina contiene le parti, i porti, la nave e il viaggio, e indica che i container sono elencati nei fogli aggiuntivi (rider sheets) allegati. Quei fogli aggiuntivi continuano per molte pagine, con subtotali progressivi in fondo a ciascuna. I documenti reali presentano anche correzioni, come un container escluso (shut out) al porto e posticipato alla partenza successiva.

Per un team logistico, l'elenco dei container è lo scopo principale del documento. È ciò che viene abbinato alle prenotazioni, alle dichiarazioni doganali e al sistema di gestione dei trasporti (TMS). Uno strumento che restituisce i totali ma non i container non ha fatto il suo lavoro. Per informazioni di base sul documento in sé, vedi cos'è una polizza di carico.

Quale strumento ha estratto la polizza di carico di 20 pagine in modo più accurato?

Nel nostro test di ottobre 2026, Claude e Parseur sono stati i più accurati sulla polizza di carico di 20 pagine, con tutti e 11 i campi corretti e tutti e 47 i container elencati. ChatGPT e Gemini hanno ottenuto 10 su 11 perché entrambi non hanno restituito alcun numero di container.

Fonte: Parseur LLM Extraction Benchmark 2026, testato a ottobre 2026. Il punto bonus è spiegato sotto "Come abbiamo testato".

Tutti e quattro gli strumenti hanno indovinato il numero della polizza di carico, vettore, mittente, destinatario, porti, nave, viaggio ed entrambi i totali. L'unico campo che li ha separati è stato quello che richiedeva la lettura di tutte le 20 pagine.

Cosa è andato storto sul documento di 20 pagine?

Nel nostro test, gli errori sulla polizza di carico di 20 pagine si sono divisi in tre schemi: un null silenzioso per dati esistenti, la lettura del solo riepilogo e un container cancellato che doveva essere tralasciato.

1. Quali chatbot non hanno restituito alcun container?

ChatGPT (GPT-6) e Gemini (3.6 Flash) hanno entrambi restituito "container_number": null sulla polizza di carico di 20 pagine. Nel prompt, null era definito come "il valore non appare nel documento". Il documento elenca 47 container spediti distribuiti su 16 pagine.

Lo stesso prompt ha funzionato su documenti più brevi. Su sei polizze di carico di una o due pagine, ChatGPT ha restituito un elenco di numeri di container ogni volta che un documento ne presentava più di uno. È cambiata solo la lunghezza del documento.

Ogni altro campo in entrambe le risposte è corretto, il che rende l'omissione facile da trascurare. Qualcuno che controllasse l'output vedrebbe un record apparentemente completo con i totali giusti.

2. I chatbot hanno letto tutte le 20 pagine?

La risposta di Gemini citava solo le pagine 1 e 18: la pagina principale della polizza di carico e il riepilogo del carico. Queste due pagine contengono ogni campo che ha indovinato. Le 16 pagine aggiuntive con l'elenco dei container non sono citate.

ChatGPT non ha citato le pagine, quindi non possiamo dire quali pagine abbia utilizzato. Il suo risultato, totali corretti e nessun container, corrisponde a quello di Gemini.

3. Quali strumenti hanno gestito il container cancellato?

Claude e Parseur hanno entrambi escluso il container non imbarcato. A pagina 12, il container CSLU3455388 è barrato e contrassegnato come "shut out, not loaded" (escluso, non imbarcato), con una nota che è stato posticipato alla partenza successiva. Includerlo significherebbe aggiungere un container che non è mai partito.

Claude ha spiegato il suo ragionamento e ha controllato i suoi totali rispetto ai subtotali progressivi. Parseur ha restituito 47 container in ordine di documento, tralasciando il container escluso sia dall'elenco che dai totali.

Cosa ha restituito Parseur oltre agli 11 campi?

Parseur ha restituito tutte le 105 righe di carico sulla polizza di carico di 20 pagine, ciascuna con numero di container, numero di sigillo, tipo di container, descrizione della merce, codice HS, numero di colli e peso lordo. Abbiamo sommato le righe per ogni container e tutte e 47 corrispondevano ai subtotali del container stampati sui fogli aggiuntivi.

Questo risultato è stato ottenuto utilizzando la stessa impostazione dei campi per tutti e sette i documenti. L'impostazione di Parseur include una tabella per container e righe di carico, configurata una volta prima del test. Ai chatbot sono stati chiesti solo gli 11 campi di riepilogo.

Come si sono comportati gli strumenti con le polizze di carico più brevi?

Su sei polizze di carico di una o due pagine, ChatGPT, Claude e Parseur hanno estratto correttamente tutti i 66 campi. Gemini ha commesso due errori.

Fonte: Parseur LLM Extraction Benchmark 2026, testato a ottobre 2026.

I due errori di Gemini sono stati entrambi silenziosi:

• BOL-03: ha letto il numero della polizza di carico MDCG2026GOA03371 come "NDCG2026GOA03371". Una lettera errata interrompe la corrispondenza con le prenotazioni e i registri doganali.
• BOL-04: ha restituito il nome del vettore insieme a quello del mittente ("PACIFIC CREST SHIPPING CO., LTD. / SHENZHEN BRIGHTWAY ELECTRONICS…"), mescolando due parti in un solo campo.

Classifica generale: sette polizze di carico

In tutti e sette i documenti e 77 campi, Parseur si è classificato primo con 78 punti (77 campi più un punto bonus per le righe di carico), seguito da Claude con 77, ChatGPT con 76 e Gemini con 74.

Fonte: Parseur LLM Extraction Benchmark 2026, testato a ottobre 2026.

Sui soli 11 campi, Parseur e Claude hanno pareggiato con 77/77. Il punto bonus li separa, premiando i dettagli del carico strutturati piuttosto che una migliore lettura degli 11 campi.

Quale output può andare direttamente in un sistema aziendale?

Solo Parseur ha restituito la stessa struttura per ogni documento: gli stessi nomi dei campi, i numeri come numeri semplici, le unità di peso normalizzate in KG o LB, le date in un formato standard e una riga per riga di carico. Ogni chatbot ha restituito una struttura diversa per lo stesso prompt. I chatbot accessibili tramite API possono utilizzare uno schema di output fisso, ma nelle app di chat che abbiamo testato, ogni modello ha scelto la sua struttura per ogni risposta.

Fonte: Parseur LLM Extraction Benchmark 2026, testato a ottobre 2026.

Per una domanda una tantum, uno qualsiasi di questi formati è leggibile. Per i documenti che arrivano ogni giorno e alimentano un TMS, un ERP o un foglio di calcolo, una struttura che cambia da una risposta all'altra significa ricostruire la mappatura ogni volta.

Quando è sufficiente un chatbot e quando serve l'elaborazione intelligente dei documenti?

Un chatbot è sufficiente per estrarre i dati da un singolo documento breve che qualcuno controllerà a mano. I nostri risultati mostrano che ChatGPT e Claude sono accurati su polizze di carico di una o due pagine. Per maggiori informazioni su dove l'estrazione di documenti LLM resiste e dove no, consulta la nostra guida all'elaborazione dei documenti con LLM.

Una piattaforma di elaborazione intelligente dei documenti (IDP) è la soluzione migliore quando:

• I documenti arrivano continuamente da molti mittenti, vettori e spedizionieri, ognuno con il proprio layout.
• I documenti sono lunghi, con i dettagli sparsi su fogli aggiuntivi, allegati o pagine di continuazione.
• I dati devono atterrare in un sistema come un TMS, un ERP o un foglio di calcolo, sempre nella stessa struttura.
• Nessuno può controllare ogni campo a mano, quindi un null silenzioso passerebbe inosservato.

Parseur è una piattaforma di elaborazione intelligente dei documenti per i team operativi che ricevono documenti da molti mittenti e necessitano dei dati nei propri sistemi. Si definiscono i campi una volta, poi ogni documento inviato via e-mail, caricamento o API viene elaborato con la stessa configurazione e consegnato tramite integrazioni, webhook o l'API di estrazione documenti. È in produzione dal 2016, ha elaborato oltre 100 milioni di documenti, è ospitato nell'UE ed è conforme a SOC 2 Type II. Nello specifico, per le polizze di carico, vedi l'OCR per polizze di carico e l'automazione logistica.

Risultati strumento per strumento

Parseur: 78 (77 campi su 77, più 1 punto bonus). Tutti i campi corretti su tutti e sette i documenti. Sulla polizza di carico di 20 pagine, ha restituito tutti e 47 i container in ordine di documento, ha escluso il container non imbarcato e ha restituito 105 righe di carico che corrispondevano ai subtotali del documento. Ha convertito i formati numerici europei in numeri semplici ed etichettato libbre e chilogrammi separatamente. L'elaborazione del documento di 20 pagine ha richiesto circa 23 secondi.

Claude (Sonnet 5.5): 77 su 77. Tutti i campi corretti su tutti e sette i documenti, inclusi tutti e 47 i container sul documento di 20 pagine. Ha spiegato le sue scelte, come l'esclusione del container non imbarcato e il controllo dei totali rispetto ai subtotali progressivi. Ha utilizzato una propria struttura JSON, con oggetti per valore e unità e una copia "come stampato" di ciascun numero.

ChatGPT (GPT-6): 76 su 77. Tutti i 66 campi corretti sui sei documenti brevi, inclusi gli elenchi dei container sui documenti multi-container. Sul documento di 20 pagine, ha restituito null per i numeri di container, con tutti gli altri campi corretti, e ha restituito il conteggio dei colli e il peso come numeri semplici senza unità.

Gemini (3.6 Flash): 74 su 77. Due errori silenziosi sui documenti brevi: una lettera errata in un numero di polizza di carico e il vettore mescolato al campo del mittente. Sul documento di 20 pagine, ha restituito null per i numeri di container e ha citato solo le pagine 1 e 18. Ha restituito valori come testo stampato, tipo "38.240,500 KGS", piuttosto che come numeri.

Come abbiamo testato

Abbiamo testato quattro strumenti sulle stesse sette polizze di carico tra il 13 e il 15 ottobre 2026, utilizzando un elenco fisso di 11 campi, e abbiamo verificato ogni valore restituito rispetto a una chiave di risposta creata dai documenti stampati.

Quali documenti abbiamo utilizzato?

Abbiamo utilizzato sette polizze di carico sintetiche, non documenti reali di clienti. Le abbiamo costruite per riprodurre i layout reali di vettori marittimi, autotrasporti statunitensi e spedizionieri europei, incluse le insidie che causano errori nella pratica: container multipli, pagine di continuazione, parti distrattrici, formati numerici locali, una foto da telefono e un valore scritto a mano. I documenti sintetici significano che ogni valore è noto in anticipo, e i documenti possono essere condivisi senza esporre i dati dei clienti.

I documenti utilizzano tre lingue: inglese, italiano con etichette inglesi e tedesco con etichette inglesi. Tutti i numeri di container seguono lo standard ISO 6346 con cifre di controllo valide e ogni subtotale e totale sui documenti torna.

Le pagine seguenti mostrano quattro dei casi più difficili.

La pagina 1 di BOL-07 contiene i campi di intestazione. Il riquadro del carico non fornisce numeri di container. Fa riferimento ai fogli aggiuntivi alle pagine da 2 a 17 e al riepilogo a pagina 18.

La pagina 12 di BOL-07 è uno dei 16 fogli aggiuntivi. Il container CSLU3455388 è barrato come escluso e il subtotale riportato in basso lo esclude.

BOL-04 è una foto scattata da telefono di una polizza di carico stampata, con un numero di viaggio scritto a mano (118N) e timbri sul modulo.

BOL-03 utilizza etichette italiane e inglesi, formati numerici europei e date giorno/mese, con i totali di due container su una riga.

Come abbiamo eseguito il test?

1. Selezione dei campi. Abbiamo scelto 11 campi che i team logistici utilizzano da ogni polizza di carico: numero della polizza di carico, vettore, mittente, destinatario, porto di carico, porto di scarico, numero del container, nome della nave, numero del viaggio, numero di colli e peso lordo.
2. Creazione della chiave di risposta a partire dai valori stampati su ciascun documento prima di eseguire qualsiasi strumento.
3. Esecuzione dei chatbot, ciascuno in una nuova chat, con lo stesso prompt e gli stessi file, salvando ogni risposta come testo e screenshot. Abbiamo caricato i sei documenti brevi insieme e il documento di 20 pagine separatamente.
4. Esecuzione di Parseur, caricando tutti e sette i documenti in un'unica casella di posta con un'impostazione dei campi, per poi esportare i risultati.
5. Valutazione di ogni campo rispetto alla chiave di risposta usando le regole di seguito, e controllo di ogni errore rispetto al documento originale e allo screenshot dello strumento. Ogni documento è stato valutato sugli stessi 11 campi: 66 campi nei sei documenti brevi e 11 nel documento di 20 pagine, per un totale di 77.

Strumenti e configurazione

• ChatGPT (GPT-6), Claude (Sonnet 5.5) e Gemini (3.6 Flash) nelle loro app di chat sui piani gratuiti, ogni set di documenti in una nuova chat, un'esecuzione per strumento.
• Lo stesso prompt per ogni chatbot, chiedendo 11 campi come JSON. Il prompt indicava di restituire null per qualsiasi valore che non appare nel documento e di non dedurre informazioni mancanti. Il documento di 20 pagine è stato caricato separatamente.
• Parseur con una casella di posta e una configurazione di campi, impostata prima dell'esecuzione finale e utilizzata senza modifiche per tutti e sette i documenti. L'impostazione copre gli 11 punti dati, più una tabella per container e righe di carico e campi per date e unità di peso.

Regole di punteggio

1. La verità di base (ground truth) è il valore stampato sul documento.
2. Le differenze di formattazione non erano errori: "22 PLT" e "22 pallets", "Genova" e "Genoa", o un peso con o senza la sua unità.
3. Un campo non presente sul documento doveva tornare vuoto. L'inserimento di un valore dove il documento non ne ha nessuno è stato contato come errore.
4. I numeri dei container sono stati valutati come un unico campo: corretti solo se ogni container spedito era elencato e il container escluso era stato tralasciato.
5. Abbiamo considerato il conteggio dei colli di Parseur come la somma delle righe dei suoi container, che corrispondeva ai totali stampati su ogni documento.
6. Sulla polizza di carico del camion, il campo container di Parseur è stato impostato per catturare il numero del rimorchio (53-11872). L'abbiamo considerato corretto perché il campo è stato definito in questo modo. Valutato rigorosamente in base al prompt del chatbot, il totale di Parseur sarebbe inferiore di un punto.
7. Punto bonus: Parseur ha ricevuto un punto bonus sul documento di 20 pagine per aver restituito tutte le 105 righe di carico, ciascuna verificata rispetto al documento. Ai chatbot non sono state chieste le righe di carico, quindi mostriamo il bonus separatamente dal punteggio di 77 campi.

Limitazioni

Questo è un piccolo test pratico, non un benchmark statistico, e Parseur lo ha eseguito come uno degli strumenti testati. Ogni chatbot è stato eseguito una volta per set di documenti, e i risultati delle app di chat possono variare tra esecuzioni e aggiornamenti dei modelli. I documenti sono sintetici, costruiti per riprodurre layout reali.

Come testare l'estrazione di documenti LLM sui propri documenti

La mancanza di container in questo test è emersa solo perché abbiamo verificato l'output rispetto al documento. Prima di fare affidamento su uno strumento, analizza i tuoi documenti e controlla:

1. I tuoi documenti più lunghi, non solo campioni di una pagina. Includi fogli aggiuntivi, allegati e pagine di continuazione.
2. Ogni elemento ripetuto, come container, voci o spedizioni. Contali in base al documento.
3. Che un valore vuoto o null significhi davvero assente. Un valore mancante che esiste nel documento è l'errore più difficile da individuare.
4. Correzioni sul documento, come voci barrate o escluse, che dovrebbero essere omesse.
5. Che l'output venga analizzato correttamente (parse) e mantenga la stessa struttura tra i documenti, in modo che la tua integrazione non si interrompa.
6. Che le parti non siano confuse: mittente, destinatario, parte da notificare, spedizioniere e vettore.

Per un test correlato sulle fatture in quattro lingue, vedi il Benchmark sull'estrazione multilingue di fatture 2026. Per strumenti dedicati alle polizze di carico, vedi il nostro confronto dei migliori software di elaborazione per polizze di carico.

Provalo sulle tue polizze di carico

Sette documenti mostrano dove gli strumenti si rompono, ma i tuoi documenti di spedizione sono il vero test. Fai passare le tue polizze di carico più lunghe attraverso Parseur e confronta l'elenco dei container con l'originale.

Ultimo aggiornamento il 12 novembre 2026