Het paper uit 2017 Attention Is All You Need introduceerde de transformerarchitectuur, de innovatie achter moderne AI-systemen als ChatGPT, Claude en Gemini. Door trage, sequentiële verwerking te vervangen door attention-mechanismen, maakten Transformers AI veel sneller, meer parallel en krachtiger in het begrijpen van taal, beelden en documenten.
Belangrijkste punten:
- Transformers verwerken alle woorden tegelijk, in plaats van woord voor woord, waardoor AI veel sneller en preciezer wordt.
- Het attention-mechanisme stelt AI in staat om context en relaties in de volledige invoer tegelijkertijd te begrijpen.
- Dezelfde transformerarchitectuur die chatbots aandrijft, vormt ook de ruggengraat van Vision AI en documentverwerkingstools zoals Parseur.
Het Paper Uit 2017 Dat ChatGPT Mogelijk Maakte
In 2017 publiceerde een team onderzoekers bij Google een onderzoekspaper met de titel: "Attention Is All You Need." Op dat moment was de aanpak revolutionair. De meeste AI-systemen vertrouwden nog op oudere methoden die taal stap voor stap, woord voor woord verwerkten.
Dit paper introduceerde iets fundamenteel nieuws: de transformerarchitectuur.
Het team — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser en Illia Polosukhin — werkte toen bij Google Brain. Inmiddels hebben velen van hen zelf toonaangevende AI-bedrijven opgericht, wat hun vakmanschap onderstreept.
Zeven jaar later vormen Transformers de motor achter vrijwel iedere grote AI-doorbraak: ChatGPT, Claude, Gemini, DALL-E, Whisper maar ook Vision AI-systemen die documentverwerkingsplatforms als Parseur aansturen.
Dit artikel veranderde voorgoed hoe computers taal, beeld, documenten en zelfs spraak kunnen begrijpen.
Vraag je je wel eens af hoe moderne AI-tools tekst kunnen samenvatten, vragen beantwoorden, factuurdata kunnen extraheren of complexe documenten kunnen doorgronden? Vrijwel altijd begint het antwoord bij de transformerarchitectuur.
In deze gids lees je welk probleem Transformers oplosten, hoe het attention-mechanisme werkt in begrijpelijke taal, waarom de transformerarchitectuur beter presteert dan eerdere AI-methoden, en hoe deze techniek de basis is voor moderne document- en Vision AI-systemen.
Geen vergelijkingen of technische diepgang vereist, enkel heldere uitleg, voorbeelden uit de praktijk en een frisse kijk op de doorbraak die moderne AI mogelijk maakte.
Hoe AI Vroeger Taal Verwerkte (En Waarom Het Traag Was)
Voor de transformerarchitectuur AI revolutioneerde, werkten de meeste taalmodellen met Recurrent Neural Networks (RNN’s).
RNN’s zijn ontworpen om taal één woord tegelijk, in volgorde te verwerken. Logisch, want zo lezen mensen ook een zin. Alleen liep de AI-ontwikkeling hierdoor tegen flinke beperkingen aan.
Stel: “The cat sat on the mat.”
Een RNN leest deze zin als volgt: ‘The’ verwerken, onthouden, door naar ‘cat’, verwerking toevoegen, ‘sat’ erbij, enzovoorts, tot het eind van de zin. Alles gebeurt stap voor stap.
Dit was het kernprobleem.
Moderne GPU’s halen hun snelheid juist uit het tegelijk uitvoeren van heel veel bewerkingen. RNN’s konden daar niet goed van profiteren omdat ze tekst per definitie stap voor stap verwerkten — alsof je met een zaklamp langzaam regel voor regel door een document gaat.
Daardoor liep je al snel tegen een snelheidslimiet aan: AI-modellen trainen kon dagen tot weken duren, grote datasets verwerkten lastig efficiënt en real-time toepassingen waren nauwelijks haalbaar.
En er was meer. RNN’s hadden ook moeite met geheugen.
Neem: “The cat, which was sitting on the mat that my grandmother gave me for my birthday last year, was sleeping.”
Wanneer het model bij ‘was sleeping’ is beland, is het onderwerp ‘the cat’ inmiddels ver weg in de tekst.
Dit is een klassiek long-range dependency: hoe verder woorden uit elkaar liggen, hoe lastiger RNN’s de samenhang vasthouden, want de informatie moet door alle tussenliggende stappen en gaat daardoor verloren.
In de praktijk hadden oudere AI-systemen dus moeite met context in lange teksten, uitgebreide documenten of complexe contracten.
Voor document AI was dit een groot struikelblok. Zo moest een factuurnummer bovenaan worden gekoppeld aan een totaal onderaan de pagina; bepalingen in contracten verwezen naar artikelen tientallen regels eerder. Sequentiële modellen kregen die long range-relaties nauwelijks ‘vast’.
Ondanks nieuwe varianten als LSTMs en GRUs bleef de sequentiële beperking bestaan.
Die oude aanpak zette AI op slot én trok de prestaties naar beneden.
In 2017 veranderde alles met de introductie van de transformerarchitectuur.
Wat Als We Naar Alle Woorden Tegelijk Keken?
De doorbraak van de transformerarchitectuur was verrassend eenvoudig: waarom zou AI taal überhaupt woord voor woord verwerken?
In plaats van zoals RNN’s zinnen sequentieel te behandelen, analyseren Transformers alle woorden tegelijk en bepalen welke woorden de meeste invloed op elkaar hebben.
Dit gebeurt via het attention-mechanisme: een slimme machine learning-techniek waarmee modellen gericht zoeken naar de meest relevante delen van invoerdata.
Bijvoorbeeld: “bank”. De betekenis hangt af van de context.
“The bank by the river is steep.” — 'bank' betekent hier rivieroever.
“The bank approved my loan.” — hier duidt 'bank' juist op de financiële instelling.
Mensen snappen direct het verschil door automatisch de context toe te passen. Het attention-mechanisme bootst dit na.
In plaats van woorden afzonderlijk te bekijken, evalueert het model constant de samenhang tussen woorden en kent het extra gewicht toe aan woorden die belangrijk zijn voor een bepaalde taak of context.
Juist bij langere zinnen excelleert dit mechanisme. Volgens IBM “let het attention-mechanisme op de woorden die het belangrijkst zijn voor het volgende vertaalde woord”, waardoor de nauwkeurigheid bij lange tekstreeksen sterk stijgt.
Bijvoorbeeld: “The cat, which was sitting on the mat, was sleeping.”
Waar oudere RNN’s moeite hadden met de link tussen 'cat' en 'sleeping', leggen Transformers die relatie rechtstreeks. “sleeping” kijkt via attention direct naar “cat”; “was” doet dat ook; en “mat” koppelt moeiteloos aan “sitting”. De hele zin wordt in één keer verwerkt — geen wachtrijen.
Zie het als tekst markeren tijdens het lezen. Mensen scannen en focussen automatisch op de belangrijkste woorden, zoals actoren en handelingen, of referenties naar eerdere context. De Transformer doet dit razendsnel en tegelijk over de hele zin.
Vergelijk: RNN: Verwerken: woord 1, dan 2, dan 3, enzovoorts. 100 woorden? 100 bewerkingen, allemaal na elkaar. Transformer: Alle woorden tegelijk. Simultane aandacht, volledige context in één klap.
Dit leidde tot een enorme prestatiewinst — eindelijk konden AI-systemen de kracht van moderne hardware écht benutten.
Het effect: veel snellere training, beter contextbegrip, eenvoudige schaalbaarheid en betere taalprestaties.
Daarom hadden Transformers in korte tijd vrijwel alle oudere AI-systemen vervangen, van taalmodellen tot documentverwerking, spraakherkenning en beeldherkenning.
De Transformer Ontleed: Vier Belangrijke Componenten
Op het eerste gezicht klinkt de transformerarchitectuur complex. Maar zodra je de vier kernelementen kent — self-attention, multi-head attention, positionele codering en feed-forward netwerken — valt het beter te begrijpen waarom deze architectuur taal, context en structuur zoveel beter vat.
Component 1: Self-Attention (De Kerninnovatie)
De grootste innovatie in de transformerarchitectuur is self-attention.
Self-attention stelt ieder woord in staat om alle andere woorden in de zin in één stap te analyseren op relevantie. Dit is het fundamentele principe achter het attention-mechanisme.
Stel: “The cat sat on the mat.”
Voor “cat” kijkt het model naar alle andere woorden in de zin en bepaalt welke invloedrijk zijn. Dit gebeurt intern via drie aspecten:
Query: Wat zoek ik als woord? Key: Wat bied ik aan qua informatie? Value: Wat geef ik daadwerkelijk mee?
Zie het als slimme koppelingen tussen woorden — “cat” kan met “sat” (actie) en “mat” (plaats) worden verbonden, terwijl functiewoorden minder gewicht krijgen.
Hierdoor begrijpt het model “cat” direct in de juiste context.
Langereafstandsrelaties zijn zo geen probleem meer. Self-attention ruimde de blokkades van RNN-architecturen snel uit de weg.
Component 2: Multi-Head Attention (Meerdere Invalshoeken)
Één aandachtmechanisme is krachtig, maar de ontwerpers beseften: taal heeft tal van relaties. Eén attention-laag pakt mogelijk structuur, maar mist nuances. Daarom introduceerden ze multi-head attention.
Dit houdt in dat meerdere attention-systemen parallel de input analyseren (‘heads’), elk met eigen accenten. Denk aan verschillende specialismen: grammaticale structuur, semantische koppelingen, woordvolgorde of verwijzingen.
Zoals een schilderij dat onder verschillende lampen telkens iets anders onthult, combineert multi-head attention die invalshoeken tot een rijk totaalbeeld.
Deze aanpak ligt aan de basis van de hoge kwaliteit en het natuurlijke karakter van AI-antwoorden.
Component 3: Positionele Codering (Woordvolgorde Behouden)
Parallel verwerken is snel en krachtig, maar hoe weet een Transformer de juiste volgorde van woorden te behouden?
Bijvoorbeeld: “Dog bites man” zegt iets heel anders dan “Man bites dog.”
Hier komt positionele codering in beeld: extra informatie die aan elk woord wordt toegevoegd om de oorspronkelijke volgorde vast te leggen. Hierdoor herkent het model niet alleen de inhoud, maar ook de positie van ieder element.
Het is vergelijkbaar met een tijdstempel op foto’s; je weet wat er is, maar ook wanneer het gebeurde. Positionele codering is essentieel voor zinsstructuur, grammatica en documentlay-out.
Component 4: Feed-Forward Netwerken (Context Verfijnen)
Na het verzamelen van context via attentionlagen wordt de interpretatie verder aangescherpt via het feed-forward netwerk.
Zie het als de finetuning van het begrip. Attention vindt relaties, de feed-forwardlagen verrijken die tot nog diepere interne representaties, essentieel voor redeneren, samenvatten en classificeren.
De Complete Transformerarchitectuur Uitgelegd
Hoe werken deze componenten samen?
De originele Transformer uit "Attention Is All You Need" gebruikte een encoder-decoderstructuur.
Encoder: Begrip van de Invoer
De encoder ontvangt de tekst, past self-attention toe om verbanden te leggen, voert feed-forwardbewerking uit en herhaalt deze cyclus verschillende keren. Het resultaat is een rijke contextuele representatie die veel meer behelst dan simpele woordbetekenis: elke positie is bekeken in relatie tot de rest.
Decoder: Generatie van de Uitvoer
De decoder genereert stap voor stap de output, door telkens auto-regressief te decoderen. Dat betekent: het antwoord wordt woord voor woord opgebouwd, waarbij iedere keer alleen gekeken mag worden naar eerder geproduceerde tekst, niet naar toekomstige uitkomsten.
Dit gebeurt met drie mechanismen:
- Masked self-attention voorkomt dat het model toekomstige output kan ‘zien’ bij de training.
- Cross-attention koppelt de gegenereerde tekst aan de resultaten van de encoder, zodat de inputcontext altijd beschikbaar blijft.
- Feed-forward lagen verfijnen de output net als bij de encoder.
In de praktijk betekent dit: de decoder krijgt een startteken, kijkt naar de context van de encoder en het startteken, produceert het volgende woord, voert deze cyclus herhaaldelijk uit tot een eindteken.
Dit mechanisme vormt de basis van moderne AI-systemen, zoals ChatGPT en Claude: bij iedere vraag genereert de decoder het antwoord woord voor woord, op basis van de hele prompt en de context tot nu toe.
Het oermodel gebruikte deze structuur voor machinevertaling. Veel hedendaagse systemen gebruiken alleen de decoder (zoals GPT), maar het principe van auto-regressief genereren is onmiskenbaar aanwezig.
Drie Redenen Waarom Transformers RNN’s Versloegen
De introductie van de transformerarchitectuur in Attention Is All You Need betekende niet alleen een technische stap; het veranderde fundamenteel hoe computers taal benaderen. In vergelijking met RNN’s zijn Transformers sneller, krachtiger in parallelle verwerking en superieur in contextbehoud.
1. Parallelle Verwerking Maakt Transformers Veel Sneller
Taalmodellen vóór Transformers gingen woord voor woord te werk. RNN’s lieten elk woord wachten tot het vorige verwerkt was. Hierdoor bleven snelle GPU’s onderbenut.
Transformers verwerken met het attention-mechanisme alle woorden tegelijk. In de praktijk leidde dat tot 10 tot 100 keer snellere training: waar oudere systemen soms weken nodig hadden, presteerden Transformers binnen een halve dag state-of-the-art op moderne hardware.
Dankzij deze snelheid werden grootschalige AI-systemen als ChatGPT mogelijk.
2. Transformers Begrijpen Lange Context Veel Beter
RNN’s verloren snel de draad bij lange teksten of documenten, omdat ‘long-range dependencies’ na veel stappen verwaterden.
Transformers leggen door attention moeiteloos directe verbindingen tussen ver verwijderde woorden. Waar “sleeping” en “cat” eerder nauwelijks gelinkt waren bij lange zinnen, kan de Transformer hier nu direct de juiste relatie leggen.
Dit is essentieel voor contextueel begrip, vooral bij lange documenten, contracten en conversaties, en vormt de basis voor moderne Vision AI- en documentverwerkingssystemen.
3. Transformers Schalen Uitzonderlijk Goed
Naarmate AI-modellen groeiden, liepen RNN’s steeds sneller vast qua prestaties en geheugengebruik. Transformers konden wél efficiënt schalen naar miljarden parameters, langere contexten en grotere datasets — zonder exponentiële vertraging.
Die schaalbaarheid ligt ten grondslag aan systemen als GPT-4, Claude en Gemini en maakt grootschalige, betaalbare documentautomatisering mogelijk.
Transformers realiseerden betere prestaties, lagere rekenkosten en hogere nauwkeurigheid: bijvoorbeeld in machinevertaling steeg de BLEU-score van 26.3 naar 28.4 — sneller én goedkoper. Daarom domineert de transformerarchitectuur het hedendaagse AI-landschap.
Van Onderzoekspaper Tot ChatGPT: De Transformerrevolutie
Het paper Attention Is All You Need was niet alleen een mijlpaal voor machinevertaling. Het werd de katalysator van een AI-revolutie die het fundament legde voor alle moderne AI-ontwikkelingen.
2018 tot 2019: Doorbraak van Grote Taalmodellen
De eerste grote praktijkdoorbraak kwam met zogenaamde large language models (LLM’s).
GPT (OpenAI): OpenAI bouwde GPT op de Transformer-decoder. Het model werd getraind op enorme hoeveelheden tekst en leerde grammatica, feiten, logica en context. Met elke versie werd het model groter: GPT-1 met 117 miljoen parameters, GPT-2 met 1,5 miljard, GPT-3 met 175 miljard.
BERT (Google): Google koos voor een bidirectionele encoder (BERT). BERT keek niet alleen vooruit of achteruit, maar beide kanten tegelijk, wat enorme verbetering bracht in zoekrelevantie, vraag-antwoord-systemen en natural language understanding.
2020: Transformers Krijgen Oog Voor Beeld
Onderzoekers ontdekten al snel dat het attention-mechanisme ook werkte voor visuele data. Daarmee ontstonden Vision Transformers (ViTs).
Beeld wordt nu opgesplitst in kleine delen (patches), als waren het woorden, die middels attention allemaal tegelijk en in relatie tot elkaar worden verwerkt. Zo herkent het model objecten, posities en context. Vision Transformers overtroffen klassiek beeldherkenningsmodellen en groeiden uit tot dé AI-architectuur voor text én vision.
2022 tot 2024: ChatGPT en Multimodale Doorbraak
Hedendaagse AI-assistenten zijn gebouwd op de fundamenten van de transformerarchitectuur, maar op veel grotere schaal: honderden miljarden parameters, datasets ter grootte van het internet, GPU-clusters en contextvensters van duizenden tokens.
Claude (Anthropic) voegde constitutional alignment toe, langere contexten en verbeterde redenering.
Gemini (Google) bouwde door richting volledig multimodale systemen die tekst, beeld, audio en video gelijktijdig verwerken.
2023 en Verder: Multimodale AI Groeit Door
De nieuwste stap was het samenbrengen van verschillende datatypes in één model: tekst, beeld, audio en documenten worden nu tegelijk begrepen (GPT-4 Vision, Claude 3.5, Gemini).
Dit wordt mogelijk doordat attention relaties legt over modaliteiten heen. Voor een factuur kijkt het model bijvoorbeeld tegelijkertijd naar tekst, het logo, tabellen en layoutstructuren; het verbindt tekst aan beeld, labels aan velden, koppen aan tabellen.
Zo werken Vision AI-systemen nu, waaronder Parseur: met attention worden relaties tussen tekst, visuele regio’s, lay-out en betekenis herkend — cruciaal voor slimme documentverwerking.
Hoe Attention Document AI Aandrijft
Transformers veranderden niet alleen chatbots en tekstverwerking, maar vooral ook documentautomatisering.
Moderne zakelijke documenten zijn meer dan tekstregels — ze bevatten tabellen, kop- en voetteksten, logo’s, stempels, meervoudige kolommen, tabellen en hiërarchieën. Dergelijke kenmerken zijn lastig voor traditionele OCR, die vaak teken voor teken of regel voor regel leest.
Transformers, zoals ingezet in Vision AI, analyseren echter het hele document in één keer. Dankzij het attention-mechanisme begrijpen ze niet alleen de tekst, maar ook de visuele samenhang, ruimtelijke relaties en documentstructuur.
Het AI-model koppelt automatisch labels aan waarden, begrijpt tabellen, relaties tussen totalen en regels, en herkent lay-out en hierarchie zonder vaste templates of regels. Zie voor meer details Vision AI vs OCR.
Praktijkvoorbeeld: Factuurverwerking
Stel je een factuur voor met naam van de leverancier, factuurnummer, een tabel met rijen en prijzen, en onderaan het totaalbedrag.
Met Transformers worden niet alleen woorden gelezen, maar hun relatie via attention begrepen:
- Ruimtelijke relaties: Herkenning van positie: leverancier is bovenaan, factuurnummer als ID, tabel als transactie-overzicht.
- Hiërarchische structuur: Het systeem weet dat het kopje “Regelitems” een sectie aanduidt, tabelrijen bij elkaar horen, en kolommen categorieën aanduiden.
- Validatie: Relaties tussen aantallen, prijzen, subtotalen en totaalsommen worden gecontroleerd.
- Contextbegrip: Waardes als “10” onder “Aantal” worden als hoeveelheid geïnterpreteerd, bedragen onder “Prijs” als geld — alles dankzij omringende structuur en visualisatie.
Hoe Parseur Transformers Inzet voor Vision AI
Parseur gebruikt transformergebaseerde Vision AI om complexe zakelijke documenten te verwerken. Na upload scant het model het hele document visueel, herkent automatisch de structuur, haalt relevante data, koppelt velden aan waardes en zet ongestructureerde informatie om naar bruikbare data.
Hetzelfde attention-mechanisme uit Attention Is All You Need maakt dit alles mogelijk.
Wat Je Moet Onthouden
De kern van Attention Is All You Need is eenvoudig maar revolutionair: Transformers verwerken alle elementen parallel via attention, in plaats van stapje voor stapje.
Dit maakte een einde aan de beperkingen van oudere modellen: traagheid, gebrekkig geheugen, slecht contextbegrip en een lage schaalbaarheid bij grote en complexe datasets.
Het resultaat? Ongelofelijk veel snellere training, moeiteloos verwerken van lange contexten, grote schaalbaarheid (van taal tot beeld tot documenten), en enorme flexibiliteit voor allerlei AI-toepassingen.
De transformerarchitectuur vormt sinds 2018 de basis van alle grote AI-doorbraken — van ChatGPT tot Claude, Gemini, DALL-E, spraak- en Vision AI.
Alles draait om relaties: het model leert wat samenhangt, hoe context betekenis geeft, welke woorden en elementen invloedrijk zijn — en doet dat allemaal en masse dankzij parallelle verwerking.
Ditzelfde mechanisme drijft ook moderne documentautomatisering: op platforms als Parseur zorgt transformergebaseerde Vision AI voor het herkennen van relaties, het doorgronden van tabellen en structuur en het extraheren van data uit uiteenlopende documenttypes. Of het nu gaat om een zin, een factuur of een contract: alles draait om context en samenhang — en die worden geleverd door de transformerarchitectuur.
Het Fundament van Moderne AI
Toen de Google-onderzoekers in 2017 hun paper publiceerden, was hun transformerarchitectuur bedoeld voor machinevertaling. Nu vormt het de basis van vrijwel alle krachtige AI: taalmodellen voor schrijven en redeneren, visionmodellen voor beeldanalyse, spraakherkenning, document-AI voor dataverwerking, en multimodale AI voor tekst, beeld en audio.
De kerninnovatie: in plaats van trage, lineaire verwerking gebruikt de transformerarchitectuur parallelle attention, waardoor begrip en relaties in één keer over de volledige input gevormd worden. Dat leverde een buitengewone sprong op in snelheid, schaalbaarheid en intelligent contextbegrip.
En de ontwikkeling gaat door: steeds grotere modellen, langere contexten, nieuwe domeinen. Transformers worden nu toegepast op biologie, robotica, wetenschap en nog veel meer.
Bij Parseur maakt transformergebaseerde Vision AI het verschil in automatische documentverwerking en zakelijke data-extractie. Hetzelfde mechanisme dat GPT en ChatGPT aandrijft, zorgt nu voor de meest geavanceerde documentautomatisering.
Laatst bijgewerkt op
