Een grijswaarden TIFF liet ooit onze tekstdetectie crashen. Er was helemaal niets mis mee. Het bestand sloeg alleen 16 bits per pixel op, terwijl de meeste beeldbewerkingscode er 8 verwacht.
Elke productie-parser verzamelt dit soort bestanden. Als je de afweging maakt: een document parser bouwen of kopen, en je bent van plan je eigen document parser te bouwen op een LLM, is deze post een voorproefje van je support-wachtrij.
Belangrijkste punten
- Een document parser prototype bovenop een LLM kost je een weekend. Zorgen dat deze echte klantbestanden overleeft, kost jaren.
- De meeste fouten gebeuren voordat de LLM het document ziet. Lettertypen koppelen tekens verkeerd, paginavakken beginnen onder de nul, scans gebruiken 16-bit pixels en watermerken lopen dwars door de tekst heen.
- Een beter model lost deze bugs niet op. Het doet slechts een betere gok op basis van input die al kapot is.
- De codebase van Parseur bevat naar schatting 150 tot 300 oplossingen voor vreemde, echte input, gebouwd in 4.588 commits sinds 2015 en bewaakt door 294 testbestanden.
- Elke oplossing begon met een klantbestand dat faalde. Een team dat zijn eigen parser bouwt, komt dezelfde bestanden tegen, supportticket voor supportticket.
- De keuze rondom een document parser bouwen of kopen komt hierop neer: bouw zelf wanneer documenten uit een paar bekende bronnen komen waarvan het formaat nooit verandert. Koop er een wanneer ze van klanten en leveranciers komen.
Een productie-document parser, in cijfers
Wat 11 jaar aan echte klantbestanden ons leert
- commits in de codebase van Parseur sinds 2015
- 4,588
- hiervan lossen, naar onze schatting, vreemde echte input op
- 150 tot 300
- testbestanden zorgen ervoor dat deze bugs niet terugkeren
- 294
- verwerkte documenten, en ze verrassen ons nog steeds
- 100M+
Waarom jouw weekend-parser crasht bij het eerste echte klantbestand
Een weekend-document parser faalt bij echte bestanden omdat het moeilijke deel niet de AI is, maar alles wat een bestand omzet in iets dat de AI kan lezen. De LLM krijgt tekst of pixels. Als het lettertype liegt, het paginavak vreemd is of het afbeeldingsformaat ongebruikelijk is, leest het model onzin en geeft het toch vol zelfvertrouwen antwoord.
Waar een document parser breekt
Alle zes de bestanden in deze post braken de pijplijn voordat de LLM ze zag
Stap 1
Klantbestand
PDF, scan of afbeelding, van elke afzender
Stap 2: waar de zes bestanden crashten
Het bestand omzetten in tekst en pixels
-
Lettertypen en coderingen
Bestand 1 tot 3: (cid:72) codes, dubbele letters, een lettertype dat liegt over zijn codering
-
Pagina-geometrie
Bestand 4: een paginavak dat onder nul begint
-
Afbeeldingsformaten
Bestand 5: een 16-bit grijswaardenscan
-
Ruis
Bestand 6: een DRAFT-watermerk door het totaalbedrag
Stap 3
LLM
Leest wat stap 2 doorgeeft, kapot of niet
Het werkte op jouw testbestanden omdat jouw testbestanden simpel en netjes waren.
Echte klantbestanden zijn complex en rommelig. We lossen deze problemen al sinds 2015 op. Onze codebase telt 4.588 commits, en we schatten dat 150 tot 300 daarvan vreemde echte input fixen. 294 testbestanden zorgen ervoor dat die bugs wegblijven, en veel daarvan zijn exact het klantdocument dat iets stuk maakte.
Hier zijn zes van onze favorieten.

De PDF toont tekst. De tekstlaag is het daar niet mee eens.
Een PDF die op het scherm tekst toont, slaat die tekst niet altijd op een leesbare manier op. Drie bestanden bewezen dit.
1. (cid:72) betekent "e", als je er 29 bij optelt
Sommige PDF's slaan geen letters op. Ze slaan het nummer van de tekening van elke letter in het lettertype op, een beetje zoals een stoelnummer in een theater. pdfminer, de bibliotheek die we gebruiken om PDF-tekst te lezen, kan dat nummer niet terugzetten naar een letter, dus geeft het een code terug zoals (cid:72).
De truc: veel van deze lettertypen zetten hun tekeningen in dezelfde volgorde, de standaard Mac-volgorde. In die lijst is de spatie tekening nummer 3. In ASCII, de nummers die computers voor letters gebruiken, is de spatie 32. Elke letter wijkt af met diezelfde 29. Tel 29 op bij 72 en je krijgt 101, het ASCII-nummer voor "e".
Zonder deze fix leest een factuurtotaal als een rij (cid:...) codes. De LLM ziet ruis en moet dan maar raden.
2. TToottaall
Sommige PDF-tools tekenen elk teken twee keer op exact dezelfde plek, waarschijnlijk om een dikgedrukt lettertype te simuleren. Op het scherm ziet het er prima uit. In de tekstlaag wordt "Total" echter "TToottaall".
De fix verwijdert elk teken dat op exact dezelfde positie staat als een ander teken. Simpel, zodra je weet dat het gebeurt.
3. Het lettertype dat liegt over zijn eigen codering
De PDF-standaard stelt dat een TrueType lettertype zijn tekens in UTF-16BE codeert. Sommige lettertypen in het wild beweren echter UTF-8 in hun character map te gebruiken. pdfminer gelooft ze en leest complete onzin.
We hebben pdfminer zelf gepatcht om die bewering te negeren en die lettertypen te decoderen op de manier waarop ze daadwerkelijk zijn geschreven. Een open-source bibliotheek geeft je de specificaties. De patches daarbovenop zijn jouw taak.
Waar begint een pagina? Niet altijd bij nul
4. Een geldige A4-pagina die 0 pt hoog is
Een PDF-paginavak bestaat uit twee hoeken: linksonder en rechtsboven. De meeste PDF's beginnen op het punt (0, 0), dus de laatste twee getallen zijn toevallig de breedte en de hoogte. Code die alleen die twee getallen leest, werkt op bijna elk bestand.
Toen kregen we een PDF binnen met een paginavak van [0, -841.89, 595.28, 0]. Dat is een normale A4 pagina die onder nul begint. Op een luie manier gelezen, is hij 0 pt hoog. Onze resolutiecontrole wees het document af als ongeldig. Terwijl elke PDF-viewer het zonder blikken of blozen opent.
Afbeeldingen met meer bits dan verwacht
5. De 16-bit scan
Terug naar de TIFF uit de introductie. De pixels daarvan gebruikten 16 bits aan grijs, en de conversie voorafgaand aan de OCR tekstdetectie ging stuk. De fix converteert de afbeelding naar 8 bits vanuit zijn eigen waardebereik. Dat detail is belangrijk. Sommige scanners schrijven 12-bit data in een 16-bit bestand, en een simpele conversie zou de hele scan zwart maken.
Ruis die leest als tekst
6. Het DRAFT-watermerk dat in de zin opduikt
Een diagonaal "DRAFT" watermerk is ook tekst. De letters vallen tussen de echte woorden, en de geëxtraheerde tekst kan veranderen in "Total DR 1,250.00 AFT". Je LLM zal hard zijn best doen om hier logica in te ontdekken.
De fix verwijdert tekens die enigszins gedraaid zijn. Echte tekst staat plat op de regel. Een watermerk helt.
De echte kosten van zelf bouwen: je klanten worden je testsuite
Elke bovenstaande oplossing begon met een klantbestand dat faalde, en geen enkele hiervan is te vinden door alleen de PDF-specificaties te lezen. Een team dat zijn eigen document parser bouwt, komt dezelfde bestanden tegen, in hun eigen volgorde, via hun eigen supporttickets.
Elk geval doorloopt dezelfde cyclus: een verwarde gebruiker, een voorbeeldbestand, uren om de oorzaak te vinden, een fix en een test zodat het nooit meer terugkomt. Vermenigvuldig dat nu met een paar honderd.
Een LLM slaat die cyclus niet over. Het leest wat de extractie eraan doorgeeft. Als de extractie fout is, heeft het model vol zelfvertrouwen ongelijk, en niemand merkt het tot er een totaalbedrag in de verkeerde kolom belandt. Ons artikel over LLM's voor documentverwerking behandelt de modelkant van dat verhaal, en de bouwen vs kopen kostenvergelijking maakt de technische kant voor facturen inzichtelijk met cijfers.
Lost het volgende model dit niet op?
Modellen verbeteren elke paar maanden. Geen van de zes bovenstaande fixes zou hiermee verdwijnen. Een slimmer model dat (cid:72) ontvangt in plaats van een "e", of "DR 1,250.00 AFT" in plaats van een totaalbedrag, kan alleen maar een betere gok wagen. Je modelleverancier levert een betere redenering. Hij levert niet jouw PDF-pijplijn.
Een document parser bouwen of kopen: wanneer is zelf bouwen de juiste keuze?
Bouw het zelf wanneer je documenten uit een paar bekende bronnen komen en hun opmaak nooit verandert. Een vaste export uit je eigen systeem is een goed voorbeeld. Het weekend-prototype is dan wellicht alles wat je ooit nodig zult hebben.
Koop er een wanneer bestanden afkomstig zijn van klanten, leveranciers en hun scanners. Dan wordt elke uitzondering die ze kunnen sturen jouw probleem, en deze komt binnen als een supportticket.
Kom maar op met je lastigste bestand
Ja, wij verkopen een document parser, dus lees deze post met dat in je achterhoofd. De zes bovenstaande bestanden zijn nog steeds echt, net als de supporttickets erachter.
We hebben meer dan 100 miljoen documenten verwerkt, en ze verrassen ons nog steeds. Het volgende vreemde bestand in je inbox is waarschijnlijk een bestand dat we al eerder zijn tegengekomen.
Stuur ons dus gerust het bestand dat je vorige tool liet crashen. Als het Parseur ook breekt, is het oplossen ervan ons probleem.
Laatst bijgewerkt op




