Token (LLM) (DE)

Token — ist die kleinste Texteinheit, mit der große Sprachmodelle (LLMs) arbeiten können. Jeder Text wird vor der Verarbeitung durch ein LLM in eine Sequenz von Tokens umgewandelt, die dann in numerische Darstellungen übersetzt werden, welche für die Analyse und Verarbeitung durch das Modell geeignet sind.

Je nach verwendeter Tokenisierungsstrategie kann ein Token Folgendes darstellen:​

• Ein ganzes Wort (z. B. „Haus“)
• Einen Teil eines Wortes oder einen Wortstamm (z. B. „Haus“ in „Häuschen“)
• Ein einzelnes Zeichen oder ein Satzzeichen (z. B. „,“, „!“)

Die Verwendung von Tokens ermöglicht es Sprachmodellen, Textstrukturen effizient zu erlernen und zu reproduzieren, Muster zu erkennen sowie die Semantik und Syntax des Textes zu verstehen.

Der Prozess der Tokenisierung

Tokenisierung (Tokenization) ist der Prozess, bei dem ein Ausgangstext in Tokens zerlegt und diese anschließend in numerische Identifikatoren umgewandelt werden, die für das Modell verständlich sind.

Dieser Schritt ist für die Funktionsweise großer Sprachmodelle obligatorisch und fundamental. Er ermöglicht es einem LLM:

• Die Syntax zu analysieren – die Struktur des Textes und die Anordnung der Elemente (Wörter und Phrasen);
• Die Semantik zu extrahieren – die tiefere Bedeutung des Textes und die Beziehungen zwischen den Elementen.

Es gibt mehrere grundlegende Methoden der Tokenisierung, darunter:

• Byte Pair Encoding (BPE): Ein Algorithmus, der iterativ die häufigsten Zeichenpaare durch neue Tokens ersetzt, was eine effiziente Verarbeitung seltener Wörter und morphologischer Variationen ermöglicht.​
• WordPiece: Wird in BERT-Modellen verwendet und zerlegt Wörter in Subwort-Einheiten, was bei der Verarbeitung unbekannter Wörter hilft.
• SentencePiece: Eine Methode, die den Text als eine Sequenz von Zeichen betrachtet und Modelle auf Basis von BPE oder Unigram zur Tokenisierung anwendet.

Die Wahl der Tokenisierungsmethode beeinflusst die Leistung des Modells, seine Fähigkeit, verschiedene Sprachen zu verarbeiten, und die Effizienz des Trainings.

Spezielle Tokens

Neben den regulären Tokens verwenden Modelle auch spezielle Tokens, um funktionale Elemente im Text zu kennzeichnen, wie zum Beispiel:

• [CLS] (class) – ein Token, das den Anfang einer Sequenz markiert und häufig für Textklassifikationsaufgaben verwendet wird;
• [SEP] (separator) – trennt verschiedene Textteile (z. B. Frage und Antwort, Sätze oder Absätze);
• [MASK] – ein spezielles Token zur Kennzeichnung eines Wortes, das das Modell vorhersagen soll (wird in BERT und anderen Masked-Language-Modellen verwendet);
• [PAD] (padding) – wird verwendet, um Texte auf eine einheitliche Länge aufzufüllen.

Diese speziellen Tokens helfen den Modellen, die Struktur und den Kontext des zu verarbeitenden Textes genauer zu erfassen.

Tokens und Kontextfenster

Das Kontextfenster (context window) ist die maximale Anzahl von Tokens, die ein Modell bei der Textgenerierung gleichzeitig berücksichtigen und verarbeiten kann.

Beispielsweise hat das Modell GPT-3 ein Kontextfenster von 2048 Tokens. Das bedeutet, dass das Modell bei der Erstellung von Text gleichzeitig Informationen aus maximal 2048 Tokens des Ausgangstextes berücksichtigen kann. Die Größe des Kontextfensters beeinflusst:

• die maximale Informationsmenge, die dem Modell zur Verfügung steht;
• die Qualität und Kohärenz der generierten Antworten;
• die Fähigkeit des Modells, lange Texte zu verstehen und den Kontext über große Distanzen zwischen den Tokens beizubehalten.

Literatur

• Sennrich, R.; Haddow, B.; Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. arXiv:1508.07909.
• Kudo, T.; Richardson, J. (2018). SentencePiece: A Simple and Language-Independent Subword Tokenizer and Detokenizer for Neural Text Processing. arXiv:1808.06226.
• Kudo, T. (2018). Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. arXiv:1804.10959.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Song, X. et al. (2021). Fast WordPiece Tokenization. *EMNLP 2021*. ACL Anthology.
• Mielke, S. J.; Dalmia, S.; Cotterell, R. (2021). A Brief History of Open-Vocabulary Modeling and Tokenization in NLP. arXiv:2112.10508.
• Xue, J. et al. (2022). ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models. arXiv:2105.13626.
• Limisiewicz, T.; Balhar, J.; Mareček, D. (2023). Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages. arXiv:2305.17179.
• Pourmostafa Roshan Sharami, J.; Shterionov, D.; Spronck, P. (2023). A Systematic Analysis of Vocabulary and BPE Settings for Optimal Fine-tuning of NMT. arXiv:2303.00722.
• Batsuren, K. et al. (2024). Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge. arXiv:2404.13292.
• Chai, Y. et al. (2024). Tokenization Falling Short: On Subword Robustness in Large Language Models. arXiv:2406.11687.