--- title: "Tokenization (NLP) (NL)" source: "https://systems-analysis.info/int/Tokenization_(NLP)_(NL)" wiki: "systems-analysis.info/int" article: "Tokenization_(NLP)_(NL)" language: "nl" categories: - "Category:Core LLM concepts" - "Category:Dutch" - "Category:Large language models" - "Category:LLM core concepts" - "Category:Machine learning" revision_id: 8133 wiki_created_at: 2026-09-07T01:12:49Z wiki_modified_at: 2026-09-07T01:12:49Z downloaded_at: 2026-09-07T23:23:31Z --- # Tokenization (NLP) (NL) **Tokenisatie** in de context van grote taalmodellen (LLM) is een fundamenteel voorverwerkingsproces waarbij een tekstreeks wordt opgesplitst in kleinere, hanteerbare eenheden die **tokens** worden genoemd. Deze tokens worden vervolgens omgezet in numerieke identificatoren die het model kan verwerken. Tokenisatie is een kritisch belangrijke eerste stap, omdat het direct van invloed is op de prestaties, efficiëntie, billijkheid en kwaliteit van taalbegrip van het model. ## Basisconcepten ### Token Een **token** is een discrete teksteenheid die door een taalmodel wordt verwerkt. Afhankelijk van de gekozen tokenisatiemethode kan een token het volgende vertegenwoordigen: - Een heel woord (bijvoorbeeld «kat»). - Een deel van een woord of een subwoord (bijvoorbeeld «on-», «-derzoek», «-er»). - Een afzonderlijk teken (bijvoorbeeld «a», «b», «c»). - Een byte (in het geval van byte-level tokenisatie). Aan elk uniek token wordt een specifiek indexnummer toegewezen uit het **woordenboek van de tokenisator**. ### Woordenboek van de tokenisator Het **woordenboek** (of vocabulaire) is de volledige verzameling van alle mogelijke tokens die het model kan herkennen. De grootte van het woordenboek is een belangrijke hyperparameter: - Een groot woordenboek maakt het mogelijk meer woorden als geheel te representeren, wat het begrip verbetert en de lengte van reeksen verkort, maar de modelomvang en de complexiteit van de training vergroot. - Een klein woordenboek is compacter, maar vereist dat zeldzame of complexe woorden worden opgesplitst in een groter aantal subwoorden, wat reeksen kan verlengen en het vastleggen van semantiek kan bemoeilijken. De grootte van het woordenboek varieert sterk tussen modellen: van ~50.000 tokens in GPT-2 tot meer dan 100.000 in moderne modellen zoals GPT-4 (100.277) en LLaMA-3 (128.000). ## Belangrijkste tokenisatiemethoden Er zijn drie basisniveaus van granulariteit bij tokenisatie. ### 1. Tokenisatie op woordniveau (Word-level) - **Principe:** Tekst wordt opgesplitst in afzonderlijke woorden op basis van scheidingstekens (spaties, leestekens). - **Voordelen:** Intuïtief begrijpelijk; tokenreeksen zijn korter, wat de rekenbelasting vermindert. - **Nadelen:** - Het probleem van onbekende woorden (Out-of-Vocabulary, OOV): Het model kan woorden die niet in het trainingswoordenboek voorkomen niet verwerken, evenmin als typfouten en nieuwe woorden. - Grote woordenboekgrootte: Alle unieke woorden moeten worden opgeslagen, wat bijzonder problematisch is voor talen met een rijke morfologie. ### 2. Tokenisatie op tekenniveau (Character-level) - **Principe:** Tekst wordt opgesplitst in afzonderlijke tekens. - **Voordelen:** - Geen OOV-probleem: Elk woord kan worden weergegeven als een reeks tekens. - Klein woordenboek: Beperkt tot de grootte van het alfabet en speciale tekens. - **Nadelen:** - Lange reeksen: Tekst wordt omgezet in zeer lange tokenreeksen, wat de rekenkosten aanzienlijk verhoogt. - Verlies van semantiek: Het is voor het model moeilijker om betekenis te vatten, omdat het werkt met afzonderlijke tekens in plaats van hele woorden. ### 3. Subwoordtokenisatie (Subword Tokenization) Dit is een tussenliggende en tegenwoordig de meest populaire aanpak, die de voordelen van de vorige methoden combineert. - **Principe:** Veelgebruikte woorden blijven volledige tokens, terwijl zeldzame of onbekende woorden worden opgesplitst in kleinere, betekenisvolle delen (subwoorden). - **Voordelen:** - Verwerkt OOV-woorden en morfologische variaties effectief. - Beheersbare woordenboekgrootte. - Legt de morfologische structuur van woorden vast. - **Belangrijkste algoritmen:** - **Byte Pair Encoding (BPE):** Een iteratief algoritme dat begint met een verzameling tekens en achtereenvolgens de meest voorkomende paren samenvoegt tot nieuwe tokens. Wordt gebruikt in GPT-modellen. **Byte-level BPE**, gebruikt in GPT-2 en RoBERTa, beschouwt woorden als reeksen bytes, waardoor het OOV-probleem volledig wordt opgelost. - **WordPiece:** Een algoritme dat vergelijkbaar is met BPE, maar voor het samenvoegen van paren selecteert het die paren die de waarschijnlijkheid van de trainingsdata maximaliseren. Wordt gebruikt in BERT-modellen. - **Unigram LM:** In tegenstelling tot BPE/WordPiece begint deze methode met een grote verzameling subwoorden en verkleint die geleidelijk door de tokens te verwijderen die het minst invloed hebben op de totale waarschijnlijkheid van het corpus. Hierdoor kunnen meerdere waarschijnlijke tokenisaties voor één woord worden gegenereerd (subwoordregularisatie). - **SentencePiece-toolkit:** Een bibliotheek van Google die BPE en Unigram LM implementeert en tekst verwerkt als een continue stroom van tekens, waardoor het universeel inzetbaar is voor talen zonder expliciete woordscheidingstekens (bijvoorbeeld Chinees). Wordt gebruikt in LLaMA- en T5-modellen. ## Tokenisatie in multimodale LLM In multimodale modellen die niet alleen met tekst werken, strekt tokenisatie zich ook uit tot andere gegevenstypen: - **Visuele tokenisatie:** Afbeeldingen worden opgesplitst in kleine patches (bijvoorbeeld 16×16 pixels), die vervolgens worden omgezet in tokenvectoren, analoog aan teksttokens. - **Audiotokenisatie:** Continue audiosignalen worden omgezet in een reeks discrete tokens die korte geluidsFragmenten vertegenwoordigen. - **Uniforme aanpak (TEAL):** Een concept waarbij gegevens van elke modaliteit eerst worden getokeniseerd met een bijbehorende tokenisator, waarna hun embeddings worden verwerkt in een gemeenschappelijke gezamenlijke ruimte. ## Problemen en beperkingen Tokenisatie is, ondanks zijn belang, een bron van veel problemen bij het functioneren van LLM: - **Inconsistentie en gevoeligheid:** Kleine wijzigingen in de invoergegevens (typfout, hoofdlettergebruik, spatie aan het einde) kunnen de tokenisatie drastisch veranderen, wat leidt tot onvoorspelbaar modelgedrag. - **Meertalige problemen:** Een enkel woordenboek voor veel talen blijkt vaak inefficiënt voor talen met weinig middelen of morfologisch rijke talen, wat leidt tot te lange tokenreeksen. - **Invloed op redenering:** Onlogische opsplitsing van getallen (bijvoorbeeld «25.000» in «25», «.», «000») of symbolen bemoeilijkt de uitvoering van rekenkundige en symbolische taken. - **Glitch Tokens:** Afwijkende of zeldzame tokens uit de trainingsdata (bijvoorbeeld gebruikersnamen van Reddit) die onvoorspelbaar of schadelijk gedrag van het model kunnen veroorzaken. ## Evoluerend landschap en toekomstige richtingen Onderzoek op het gebied van tokenisatie wordt actief uitgevoerd op de volgende gebieden: - **Modellen zonder tokenisator:** Ontwikkeling van modellen (CANINE, ByT5) die rechtstreeks op byte- of tekenniveau werken, om de expliciete tokenisatiestap en de bijbehorende problemen volledig te elimineren. - **Adaptieve en leerbare tokenisatie:** Het creëren van tokenisatoren die zich dynamisch kunnen aanpassen aan de taal, het domein of zelfs de specifieke invoertekst, of die gezamenlijk met het hoofdmodel worden getraind. - **Cognitief georiënteerde benaderingen:** Ontwikkeling van methoden geïnspireerd door cognitieve wetenschap over menselijke taalverwerking (bijvoorbeeld het «Principe van de minste inspanning»), voor het creëren van semantisch betekenisvollere tokenisaties. ## Verwijzingen - Overzicht van tokenisatie in de LLM-cursus van Hugging Face - Documentatie over tokenisatie van Mistral AI ## Literatuur - Schuster, M.; Nakajima, K. (2012). *Japanese and Korean Voice Search*. PDF. - Sennrich, R.; Haddow, B.; Birch, A. (2016). *Neural Machine Translation of Rare Words with Subword Units*. arXiv:1508.07909. - Kudo, T.; Richardson, J. (2018). *SentencePiece: A Simple and Language-Independent Subword Tokenizer and Detokenizer for Neural Text Processing*. arXiv:1808.06226. - Kudo, T. (2018). *Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates*. arXiv:1804.10959. - Song, X. et al. (2021). *Fast WordPiece Tokenization*. ACL-Anthology. - Mielke, S. J.; Dalmia, S.; Cotterell, R. (2021). *A Brief History of Open-Vocabulary Modeling and Tokenization in NLP*. arXiv:2112.10508. - Xue, J. et al. (2022). *ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models*. arXiv:2105.13626. - Clark, J. H. et al. (2022). *CANINE: Pre-Training an Efficient Tokenization-Free Encoder for Language Representation*. arXiv:2103.06874. - Limisiewicz, T.; Balhar, J.; Mareček, D. (2023). *Tokenization Impacts Multilingual Language Modeling*. arXiv:2305.17179. - Pourmostafa Roshan Sharami, J.; Shterionov, D.; Spronck, P. (2023). *A Systematic Analysis of Vocabulary and BPE Settings for Optimal Fine-Tuning of NMT*. arXiv:2303.00722. - Batsuren, K. et al. (2024). *Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge*. arXiv:2404.13292. - Chai, Y. et al. (2024). *Tokenization Falling Short: On Subword Robustness in Large Language Models*. arXiv:2406.11687.