LLM-Dokumentenextraktion Benchmark 2026 - ChatGPT, Claude und Gemini bei einem 20-seitigen Frachtbrief

Parseur LLM-Dokumentenextraktion Benchmark 2026. Getestet im Oktober 2026. Vier Tools, sieben Frachtbriefe, ein 20-seitiges Dokument, 77 Felder.

Im Parseur LLM-Dokumentenextraktion Benchmark 2026 haben wir ChatGPT, Claude, Gemini und Parseur denselben 20-seitigen Frachtbrief gegeben und nach denselben 11 Feldern gefragt. ChatGPT und Gemini gaben keine der 47 Containernummern zurück und antworteten mit null, als ob das Dokument keine Container hätte, während jedes andere von ihnen zurückgegebene Feld korrekt war. Claude und Parseur extrahierten alle 47 Container und schlossen einen durchgestrichenen Container korrekt aus. Parseur gab außerdem alle 105 Frachtzeilen zurück. Über alle sieben Testdokumente hinweg erreichte Parseur 78 Punkte (77 Felder plus ein Bonuspunkt), Claude 77, ChatGPT 76 und Gemini 74. Wir haben jeden Wert mit dem gedruckten Dokument abgeglichen.

Wichtigste Erkenntnisse

• Zwei der am häufigsten verwendeten KI-Chatbots haben bei einem langen Dokument stillschweigend jeden Container weggelassen. Bei einem 20-seitigen Frachtbrief gaben ChatGPT (GPT-6) und Gemini (3.6 Flash) für Containernummern null zurück. Das Dokument listet 47 auf.
• Kurze Dokumente weisen dieses Problem nicht auf. Bei sechs ein- oder zweiseitigen Frachtbriefen extrahierten ChatGPT und Claude alle 66 Felder korrekt und zogen mit Parseur gleich. Die Lücke trat nur beim 20-seitigen Dokument auf.
• Summen waren einfach, Details waren schwer. Alle vier Tools fanden die Sendungssummen auf der Zusammenfassungsseite (836 Paletten, 544.564,1 kg). Nur Claude und Parseur lasen die 16 Anlageseiten (Rider Sheets), die die Container auflisten.
• Ein stillschweigendes Auslassen von Daten ist gravierender als eine Fehlermeldung. Weder ChatGPT noch Gemini signalisieren in ihrer Ausgabe, dass Daten fehlen. Jedes andere Feld ist korrekt, sodass das Ergebnis vollständig aussieht.
• Nur Parseur gab die Frachtdetails als strukturierte Daten zurück. Mit der für alle sieben Dokumente verwendeten Feldkonfiguration lieferte Parseur 105 Frachtzeilen mit Container, Siegel, Beschreibung, HS-Code (Harmonisiertes System), Packstücken und Gewicht, die jeweils mit dem Dokument übereinstimmten.
• Die Chatbot-Ausgabe variiert in ihrer Struktur von Tool zu Tool. In den Chat-Apps erzeugte derselbe Prompt vier verschiedene JSON-Strukturen (JavaScript Object Notation), sodass jede ihr eigenes Mapping bräuchte, bevor die Daten ein Geschäftssystem erreichen.

Der 20-seitige Frachtbrief-Test in Zahlen

Warum sind lange Dokumente für KI-Chatbots schwierig?

Lange Dokumente sind für KI-Chatbots schwierig, weil die von einem Unternehmen benötigten Daten oft über viele Seiten verstreut sind, während sich die Zusammenfassung an einem Ort befindet. Ein Chatbot kann anhand der Zusammenfassungsseite korrekt antworten, ohne jemals die Details zu lesen.

Frachtbriefe veranschaulichen dies sehr gut. Eine konsolidierte Seefracht kann Dutzende von Containern umfassen. Die erste Seite enthält die Parteien, Häfen, das Schiff und die Reise und weist darauf hin, dass die Container auf beigefügten Anlageseiten (Rider Sheets) aufgeführt sind. Diese Anlageseiten erstrecken sich über viele Seiten mit laufenden Zwischensummen am Ende jeder Seite. Echte Dokumente weisen auch Korrekturen auf, wie z. B. einen Container, der am Hafen abgewiesen und auf die nächste Abfahrt verschoben wurde.

Für ein Logistik-Team ist die Containerliste der eigentliche Zweck des Dokuments. Sie wird mit Buchungen, Zolleinträgen und dem Transport Management System (TMS) abgeglichen. Ein Tool, das die Summen, aber nicht die Container zurückgibt, hat seine Aufgabe nicht erfüllt. Für Hintergrundinformationen zum Dokument selbst siehe was ein Frachtbrief ist.

Welches Tool hat den 20-seitigen Frachtbrief am genauesten extrahiert?

In unserem Test vom Oktober 2026 waren Claude und Parseur beim 20-seitigen Frachtbrief am genauesten: Alle 11 Felder waren korrekt und alle 47 Container wurden aufgelistet. ChatGPT und Gemini erreichten 10 von 11, da beide keine Containernummern zurückgaben.

Quelle: Parseur LLM-Dokumentenextraktion Benchmark 2026, getestet im Oktober 2026. Der Bonuspunkt wird unter „Wie wir getestet haben“ erklärt.

Alle vier Tools erkannten die Frachtbriefnummer, den Frachtführer, den Versender, den Empfänger, die Häfen, das Schiff, die Reise und beide Summen richtig. Das einzige Feld, das sie voneinander trennte, war dasjenige, für das alle 20 Seiten gelesen werden mussten.

Was lief beim 20-seitigen Dokument schief?

In unserem Test fielen die Fehler beim 20-seitigen Frachtbrief in drei Muster: ein stillschweigendes null für vorhandene Daten, das Lesen nur der Zusammenfassung und ein durchgestrichener Container, der hätte weggelassen werden müssen.

1. Welche Chatbots gaben überhaupt keine Container zurück?

ChatGPT (GPT-6) und Gemini (3.6 Flash) gaben beim 20-seitigen Frachtbrief beide "container_number": null zurück. Im Prompt wurde null als „der Wert erscheint nicht im Dokument“ definiert. Das Dokument listet 47 verschiffte Container auf 16 Seiten auf.

Derselbe Prompt funktionierte bei kürzeren Dokumenten. Bei sechs ein- oder zweiseitigen Frachtbriefen gab ChatGPT eine Liste von Containernummern zurück, wann immer ein Dokument mehr als einen enthielt. Nur die Dokumentenlänge änderte sich.

Jedes andere Feld in beiden Antworten ist korrekt, wodurch dieser Fehler leicht zu übersehen ist. Jemand, der die Ausgabe überprüft, würde einen vollständig aussehenden Datensatz mit den richtigen Summen sehen.

2. Haben die Chatbots alle 20 Seiten gelesen?

Geminis Antwort zitierte nur die Seiten 1 und 18: die Hauptseite des Frachtbriefs und die Frachtzusammenfassung. Diese beiden Seiten enthalten jedes Feld, das es richtig erkannt hat. Die 16 Anlageseiten mit der Containerliste werden nicht zitiert.

ChatGPT zitierte keine Seiten, daher können wir nicht sagen, welche Seiten es verwendet hat. Das Ergebnis – korrekte Summen und keine Container – stimmt mit dem von Gemini überein.

3. Welche Tools konnten mit dem durchgestrichenen Container umgehen?

Claude und Parseur schlossen beide den abgewiesenen Container aus. Auf Seite 12 ist der Container CSLU3455388 durchgestrichen und mit „shut out, not loaded“ (abgewiesen, nicht verladen) markiert, mit dem Hinweis, dass er auf die nächste Abfahrt verschoben wurde. Ihn einzubeziehen, würde einen Container hinzufügen, der nie verschifft wurde.

Claude erklärte seine Überlegungen und verglich seine Summen mit den laufenden Zwischensummen. Parseur gab 47 Container in der Reihenfolge des Dokuments zurück, wobei der abgewiesene Container sowohl in der Liste als auch in den Summen weggelassen wurde.

Was hat Parseur über die 11 Felder hinaus zurückgegeben?

Parseur gab alle 105 Frachtzeilen des 20-seitigen Frachtbriefs zurück, jede mit Containernummer, Siegelnummer, Containertyp, Warenbeschreibung, HS-Code, Anzahl der Packstücke und Bruttogewicht. Wir haben die Zeilen für jeden Container addiert und alle 47 stimmten mit den auf den Anlageseiten abgedruckten Container-Zwischensummen überein.

Dabei wurde dieselbe Feldkonfiguration wie bei allen sieben Dokumenten verwendet. Die Konfiguration von Parseur umfasst eine Tabelle für Container- und Frachtzeilen, die vor dem Test einmalig eingerichtet wurde. Die Chatbots wurden nur nach den 11 Zusammenfassungsfeldern gefragt.

Wie haben die Tools bei kürzeren Frachtbriefen abgeschnitten?

Bei sechs Frachtbriefen mit ein oder zwei Seiten extrahierten ChatGPT, Claude und Parseur alle 66 Felder korrekt. Gemini machte zwei Fehler.

Quelle: Parseur LLM-Dokumentenextraktion Benchmark 2026, getestet im Oktober 2026.

Die zwei Fehler von Gemini waren subtil:

• BOL-03: Es las die Frachtbriefnummer MDCG2026GOA03371 als „NDCG2026GOA03371“. Ein falscher Buchstabe macht den Abgleich mit Buchungen und Zollunterlagen unmöglich.
• BOL-04: Es gab den Namen des Frachtführers zusammen mit dem des Versenders zurück („PACIFIC CREST SHIPPING CO., LTD. / SHENZHEN BRIGHTWAY ELECTRONICS…“) und mischte so zwei Parteien in ein Feld.

Gesamtranking: Sieben Frachtbriefe

Über alle sieben Dokumente und 77 Felder hinweg belegte Parseur mit 78 Punkten (77 Felder plus ein Bonuspunkt für die Frachtzeilen) den ersten Platz, gefolgt von Claude mit 77, ChatGPT mit 76 und Gemini mit 74.

Quelle: Parseur LLM-Dokumentenextraktion Benchmark 2026, getestet im Oktober 2026.

Allein bei den 11 Feldern lagen Parseur und Claude mit 77/77 gleichauf. Der Bonuspunkt trennt sie und belohnt strukturierte Frachtdetails anstatt eines besseren Auslesens der 11 Felder.

Welche Ausgabe kann direkt in ein Geschäftssystem übernommen werden?

Nur Parseur gab für jedes Dokument dieselbe Struktur zurück: dieselben Feldnamen, Zahlen als reine Ziffern, Gewichtseinheiten standardisiert auf KG oder LB, Daten in einem Standardformat und eine Zeile pro Frachtzeile. Jeder Chatbot lieferte für denselben Prompt eine andere Struktur. Über APIs aufgerufene Chatbots können ein festes Ausgabeschema verwenden, aber in den von uns getesteten Chat-Apps wählte jedes Modell seine eigene Struktur für jede Antwort.

Quelle: Parseur LLM-Dokumentenextraktion Benchmark 2026, getestet im Oktober 2026.

Für eine einmalige Frage ist jedes dieser Formate lesbar. Bei Dokumenten, die jeden Tag eintreffen und ein TMS, ein ERP oder eine Tabellenkalkulation speisen, bedeutet eine Struktur, die sich von Antwort zu Antwort ändert, dass das Mapping jedes Mal neu erstellt werden muss.

Wann reicht ein Chatbot aus und wann benötigen Sie eine intelligente Dokumentenverarbeitung?

Ein Chatbot reicht aus, um Daten aus einem einzelnen kurzen Dokument zu extrahieren, das von jemandem manuell überprüft wird. Unsere Ergebnisse zeigen, dass ChatGPT und Claude bei ein- oder zweiseitigen Frachtbriefen genau sind. Weitere Informationen darüber, wo LLMs gut funktionieren und wo nicht, finden Sie in unserem Leitfaden zur LLM-Dokumentenverarbeitung.

Eine Plattform für intelligente Dokumentenverarbeitung (IDP) ist die bessere Wahl für eine zuverlässige LLM-Dokumentenextraktion, wenn:

• Dokumente kontinuierlich eintreffen, von vielen Versendern, Frachtführern und Spediteuren, jeder mit seinem eigenen Layout.
• Dokumente lang sind und die Details auf Anlageseiten, Anhänge oder Fortsetzungsseiten verteilt sind.
• Daten in einem System wie einem TMS, einem ERP oder einer Tabellenkalkulation landen müssen, und zwar jedes Mal in der gleichen Struktur.
• Niemand jedes Feld von Hand überprüfen kann, sodass ein stillschweigendes null unbemerkt bliebe.

Parseur ist eine intelligente Dokumentenverarbeitungsplattform für Operations-Teams, die Dokumente von vielen Absendern erhalten und die Daten in ihren eigenen Systemen benötigen. Sie definieren die Felder einmal, dann wird jedes per E-Mail, Upload oder API gesendete Dokument mit derselben Konfiguration verarbeitet und über Integrationen, Webhooks oder die Dokumentenextraktions-API bereitgestellt. Sie läuft seit 2016 im Produktivbetrieb, hat über 100 Millionen Dokumente verarbeitet, wird in der EU gehostet und ist SOC 2 Type II konform. Speziell für Frachtbriefe siehe Frachtbrief-OCR und Logistikautomatisierung.

Ergebnisse Tool für Tool

Parseur: 78 (77 von 77 Feldern, plus 1 Bonuspunkt). Alle Felder auf allen sieben Dokumenten korrekt. Beim 20-seitigen Frachtbrief gab es alle 47 Container in der Reihenfolge des Dokuments zurück, schloss den abgewiesenen Container aus und lieferte 105 Frachtzeilen, die mit den Zwischensummen des Dokuments übereinstimmten. Es wandelte europäische Zahlenformate in reine Zahlen um und kennzeichnete Pfund und Kilogramm separat. Die Verarbeitung des 20-seitigen Dokuments dauerte etwa 23 Sekunden.

Claude (Sonnet 5.5): 77 von 77. Alle Felder auf allen sieben Dokumenten korrekt, einschließlich aller 47 Container beim 20-seitigen Dokument. Es erklärte seine Entscheidungen, wie den Ausschluss des abgewiesenen Containers und die Überprüfung der Summen anhand der laufenden Zwischensummen. Es verwendete eine eigene JSON-Struktur mit Wert- und Einheiten-Objekten und einer „wie gedruckt“-Kopie jeder Zahl.

ChatGPT (GPT-6): 76 von 77. Alle 66 Felder auf den sechs kurzen Dokumenten korrekt, einschließlich der Containerlisten bei Multi-Container-Dokumenten. Beim 20-seitigen Dokument gab es für die Containernummern null zurück, während jedes andere Feld korrekt war, und lieferte Paketanzahl und Gewicht als bloße Zahlen ohne Einheiten.

Gemini (3.6 Flash): 74 von 77. Zwei subtile Fehler bei den kurzen Dokumenten: ein falscher Buchstabe in einer Frachtbriefnummer und der Frachtführer in das Feld für den Versender gemischt. Beim 20-seitigen Dokument gab es für Containernummern null zurück und zitierte nur die Seiten 1 und 18. Es gab Werte als gedruckten Text zurück, wie „38.240,500 KGS“, und nicht als Zahlen.

Wie wir getestet haben

Welche Dokumente haben wir verwendet?

Wir haben sieben synthetische Frachtbriefe verwendet, keine echten Kundendokumente. Wir haben sie so erstellt, dass sie echte Layouts von Seefrachtunternehmen, US-Speditionen und europäischen Spediteuren reproduzieren, einschließlich der Fallen, die in der Praxis zu Fehlern führen: mehrere Container, Fortsetzungsseiten, ablenkende Parteien, lokale Zahlenformate, ein Handyfoto und ein handgeschriebener Wert. Synthetische Dokumente bedeuten, dass jeder Wert im Voraus bekannt ist und die Dokumente geteilt werden können, ohne Kundendaten preiszugeben.

Die Dokumente verwenden drei Sprachen: Englisch, Italienisch mit englischen Bezeichnungen und Deutsch mit englischen Bezeichnungen. Alle Containernummern entsprechen dem ISO 6346-Standard mit gültigen Prüfziffern, und jede Zwischen- und Endsumme auf den Dokumenten geht auf.

Die folgenden Seiten zeigen vier der schwierigeren Fälle.

Seite 1 von BOL-07 enthält die Kopfzeilen. Das Frachtfeld enthält keine Containernummern. Es verweist auf die Anlageseiten auf den Seiten 2 bis 17 und die Zusammenfassung auf Seite 18.

Seite 12 von BOL-07 ist eine von 16 Anlageseiten. Container CSLU3455388 ist als abgewiesen durchgestrichen, und die übertragene Zwischensumme am unteren Rand schließt ihn aus.

BOL-04 ist ein Handyfoto eines gedruckten Frachtbriefs, mit einer handgeschriebenen Reisenummer (118N) und Stempeln auf dem Formular.

BOL-03 verwendet italienische und englische Bezeichnungen, europäische Zahlenformate und Tag/Monat-Daten, mit den Summen für zwei Container in einer Zeile.

Wie haben wir den Test durchgeführt?

1. Festlegung der Felder. Wir haben 11 Felder ausgewählt, die Logistik-Teams bei jedem Frachtbrief verwenden: Frachtbriefnummer, Frachtführer, Versender, Empfänger, Ladehafen, Löschhafen, Containernummer, Schiffsname, Reisenummer, Paketanzahl und Bruttogewicht.
2. Erstellung des Lösungsschlüssels aus den gedruckten Werten jedes Dokuments, bevor ein Tool ausgeführt wurde.
3. Ausführung der Chatbots jeweils in einem neuen Chat, mit demselben Prompt und denselben Dateien, und Speicherung jeder Antwort als Text und Screenshots. Wir haben die sechs kurzen Dokumente zusammen und das 20-seitige Dokument separat hochgeladen.
4. Ausführung von Parseur durch Hochladen aller sieben Dokumente in eine Mailbox mit einer Feldkonfiguration und Exportieren der Ergebnisse.
5. Bewertung jedes Felds anhand des Lösungsschlüssels unter Verwendung der untenstehenden Regeln, wobei jeder Fehler mit dem Originaldokument und dem Screenshot des Tools abgeglichen wurde. Jedes Dokument wurde auf dieselben 11 Felder hin bewertet: 66 Felder über die sechs kurzen Dokumente und 11 beim 20-seitigen Dokument, also insgesamt 77.

Tools und Konfiguration

• ChatGPT (GPT-6), Claude (Sonnet 5.5) und Gemini (3.6 Flash) in ihren Chat-Apps in den kostenlosen Tarifen, jedes Dokumentenset in einem neuen Chat, ein Durchlauf pro Tool.
• Derselbe Prompt für jeden Chatbot, in dem nach 11 Feldern als JSON gefragt wurde. Der Prompt besagte, dass für jeden Wert, der nicht im Dokument erscheint, null zurückgegeben werden soll und fehlende Informationen nicht abgeleitet werden dürfen. Das 20-seitige Dokument wurde separat hochgeladen.
• Parseur mit einer Mailbox und einer Feldkonfiguration, die vor dem finalen Durchlauf eingerichtet und unverändert für alle sieben Dokumente verwendet wurde. Das Setup deckt die 11 Datenpunkte ab, plus eine Tabelle für Container- und Frachtzeilen sowie Felder für Daten und Gewichtseinheiten.

Bewertungsregeln

1. Die absolute Wahrheit (Ground Truth) ist der auf dem Dokument aufgedruckte Wert.
2. Formatierungsunterschiede waren keine Fehler: „22 PLT“ und „22 pallets“, „Genova“ und „Genoa“ oder ein Gewicht mit oder ohne Einheit.
3. Ein Feld, das nicht auf dem Dokument stand, musste leer zurückkommen. Das Eintragen eines Wertes, wo das Dokument keinen enthält, wurde als Fehler gewertet.
4. Containernummern wurden als ein Feld bewertet: nur korrekt, wenn jeder verschiffte Container aufgelistet und der abgewiesene Container weggelassen wurde.
5. Wir nahmen die Paketanzahl von Parseur als Summe seiner Containerzeilen, was bei jedem Dokument mit den gedruckten Summen übereinstimmte.
6. Auf dem LKW-Frachtbrief war das Containerfeld von Parseur so eingerichtet, dass es die Aufliegernummer (53-11872) erfasste. Wir haben es als korrekt gewertet, da das Feld so definiert war. Streng nach dem Chatbot-Prompt bewertet, läge die Gesamtpunktzahl von Parseur einen Punkt niedriger.
7. Bonuspunkt: Parseur erhielt einen Bonuspunkt für das 20-seitige Dokument, da es alle 105 Frachtzeilen zurückgab, die jeweils mit dem Dokument abgeglichen wurden. Die Chatbots wurden nicht nach Frachtzeilen gefragt, daher weisen wir den Bonus separat von der 77-Felder-Bewertung aus.

Einschränkungen

Dies ist ein kleiner praktischer Test, kein statistischer Benchmark, und Parseur hat ihn als eines der getesteten Tools durchgeführt. Jeder Chatbot wurde pro Dokumentenset einmal ausgeführt, und die Ergebnisse von Chat-Apps können zwischen Durchläufen und Modellaktualisierungen variieren. Die Dokumente sind synthetisch und wurden erstellt, um reale Layouts zu reproduzieren.

So testen Sie ein LLM oder Extraktions-Tool mit Ihren eigenen Dokumenten

Das Fehlen der Container in diesem Test fiel nur auf, weil wir die Ausgabe mit dem Dokument abgeglichen haben. Bevor Sie sich auf ein Tool verlassen, sollten Sie Ihre eigenen Dokumente damit testen und Folgendes überprüfen:

1. Ihre längsten Dokumente, nicht nur einseitige Stichproben. Beziehen Sie Anlageseiten, Anhänge und Fortsetzungsseiten mit ein.
2. Jedes wiederkehrende Element, wie z. B. Container, Positionsdaten oder Sendungen. Zählen Sie diese im Vergleich zum Dokument durch.
3. Dass ein leerer oder null-Wert wirklich fehlend bedeutet. Ein fehlender Wert, der im Dokument vorhanden ist, ist der am schwersten zu erkennende Fehler.
4. Korrekturen auf dem Dokument, wie durchgestrichene oder abgewiesene Elemente, die weggelassen werden sollten.
5. Dass die Ausgabe maschinenlesbar ist (Parsing-Fähigkeit) und die gleiche Struktur über alle Dokumente hinweg beibehält, damit Ihre Integration nicht abbricht.
6. Dass Parteien nicht verwechselt werden: Versender, Empfänger, Meldeadresse, Spediteur und Frachtführer.

Für einen verwandten Test zu Rechnungen in vier Sprachen siehe den Mehrsprachige Rechnungs-Extraktion Benchmark 2026. Für spezielle Frachtbrief-Tools beachten Sie unseren Vergleich der besten Frachtbrief-Verarbeitungssoftware.

Testen Sie es mit Ihren eigenen Frachtbriefen

Sieben Dokumente zeigen, wo Tools versagen, aber Ihre Versanddokumente sind der wahre Test. Verarbeiten Sie Ihre längsten Frachtbriefe mit Parseur und gleichen Sie die Containerliste mit dem Original ab.

[call_to_action:de]

Zuletzt aktualisiert am 11. November 2026