--- title: "Tokenization (NLP) (PL)" source: "https://systems-analysis.info/int/Tokenization_(NLP)_(PL)" wiki: "systems-analysis.info/int" article: "Tokenization_(NLP)_(PL)" language: "pl" categories: - "Category:Core LLM concepts" - "Category:Large language models" - "Category:LLM core concepts" - "Category:Machine learning" - "Category:Polish" revision_id: 8134 wiki_created_at: 2026-09-07T01:12:49Z wiki_modified_at: 2026-09-07T01:12:49Z downloaded_at: 2026-09-07T23:23:31Z --- # Tokenization (NLP) (PL) **Tokenizacja** w kontekście dużych modeli językowych (LLM) to fundamentalny proces wstępnego przetwarzania, polegający na dzieleniu sekwencji tekstu na mniejsze, łatwiejsze w obsłudze jednostki zwane **tokenami**. Tokeny te są następnie przekształcane w identyfikatory numeryczne, które model może przetwarzać. Tokenizacja jest krytycznie ważnym pierwszym krokiem, ponieważ bezpośrednio wpływa na wydajność, efektywność, rzetelność i jakość rozumienia języka przez model. ## Podstawowe koncepcje ### Token **Token** to dyskretna jednostka tekstu przetwarzana przez model językowy. W zależności od wybranej metody tokenizacji token może reprezentować: - Całe słowo (np. „kot"). - Część słowa lub podslowo (np. „nie-", „-do-", „-brze"). - Pojedynczy znak (np. „a", „b", „c"). - Bajt (w przypadku tokenizacji na poziomie bajtów, byte-level). Każdemu unikalnemu tokenowi przypisywany jest określony numer indeksowy ze **słownika tokenizatora**. ### Słownik tokenizatora **Słownik** (lub wokabularz) to pełny zbiór wszystkich możliwych tokenów, które model może rozpoznać. Rozmiar słownika jest ważnym hiperparametrem: - Duży słownik pozwala reprezentować więcej słów w całości, co poprawia rozumienie i skraca długość sekwencji, ale zwiększa rozmiar modelu i złożoność uczenia. - Mały słownik jest bardziej kompaktowy, lecz wymaga dzielenia rzadkich lub złożonych słów na większą liczbę podsłów, co może wydłużać sekwencje i utrudniać uchwycenie semantyki. Rozmiar słownika znacznie różni się między modelami: od ~50 000 tokenów w GPT-2 do ponad 100 000 we współczesnych modelach, takich jak GPT-4 (100 277) i LLaMA-3 (128 000). ## Główne metody tokenizacji Istnieją trzy podstawowe poziomy granularności tokenizacji. ### 1. Tokenizacja na poziomie słów (Word-level) - **Zasada:** Tekst jest dzielony na poszczególne słowa na podstawie separatorów (spacje, znaki interpunkcyjne). - **Zalety:** Intuicyjnie zrozumiała; krótsze sekwencje tokenów, co zmniejsza obciążenie obliczeniowe. - **Wady:** - Problem słów spoza słownika (Out-of-Vocabulary, OOV): Model nie może przetworzyć słów, których nie było w słowniku treningowym, ani literówek i nowych słów. - Duży rozmiar słownika: Konieczność przechowywania wszystkich unikalnych słów, co jest szczególnie problematyczne dla języków o bogatej morfologii. ### 2. Tokenizacja na poziomie znaków (Character-level) - **Zasada:** Tekst jest dzielony na poszczególne znaki. - **Zalety:** - Brak problemu OOV: Każde słowo można przedstawić jako sekwencję znaków. - Mały słownik: Ograniczony rozmiarem alfabetu i znaków specjalnych. - **Wady:** - Długie sekwencje: Tekst jest przekształcany w bardzo długie sekwencje tokenów, co znacząco zwiększa koszty obliczeniowe. - Utrata semantyki: Modelowi trudniej uchwycić znaczenie, ponieważ operuje pojedynczymi znakami, a nie całymi słowami. ### 3. Tokenizacja podsłowna (Subword Tokenization) To podejście pośrednie i obecnie najpopularniejsze, łączące zalety poprzednich metod. - **Zasada:** Często używane słowa pozostają całymi tokenami, natomiast słowa rzadkie lub nieznane są dzielone na mniejsze, znaczące części (podsłowa). - **Zalety:** - Efektywnie obsługuje słowa OOV i wariacje morfologiczne. - Kontrolowany rozmiar słownika. - Uchwytuje strukturę morfologiczną słów. - **Główne algorytmy:** - **Byte Pair Encoding (BPE):** Iteracyjny algorytm, który rozpoczyna od zbioru znaków i sukcesywnie łączy najczęściej występujące pary w nowe tokeny. Używany w modelach GPT. **Byte-level BPE**, stosowany w GPT-2 i RoBERTa, traktuje słowa jako sekwencje bajtów, co całkowicie eliminuje problem OOV. - **WordPiece:** Algorytm podobny do BPE, lecz przy łączeniu par wybiera te, które maksymalizują wiarygodność danych treningowych. Używany w modelach BERT. - **Unigram LM:** W przeciwieństwie do BPE/WordPiece, metoda ta zaczyna od dużego zbioru podsłów i stopniowo go redukuje, usuwając tokeny mające najmniejszy wpływ na łączne prawdopodobieństwo korpusu. Pozwala to tworzyć kilka prawdopodobnych tokenizacji dla jednego słowa (regularyzacja podsłowna). - **Narzędzie SentencePiece:** Biblioteka firmy Google implementująca BPE i Unigram LM, przetwarzająca tekst jako ciągły strumień znaków, co czyni ją uniwersalną dla języków bez wyraźnych separatorów słów (np. chińskiego). Używana w modelach LLaMA i T5. ## Tokenizacja w multimodalnych LLM W modelach multimodalnych, operujących nie tylko na tekście, tokenizacja rozciąga się również na inne typy danych: - **Tokenizacja wizualna:** Obrazy są dzielone na małe patche (np. 16x16 pikseli), które następnie przekształcane są w wektory-tokeny, analogicznie do tokenów tekstowych. - **Tokenizacja audio:** Ciągłe sygnały audio są przekształcane w sekwencję dyskretnych tokenów reprezentujących krótkie fragmenty dźwięku. - **Jednolite podejście (TEAL):** Koncepcja, w której dane dowolnej modalności są najpierw tokenizowane za pomocą odpowiedniego tokenizatora, a następnie ich embeddingi przetwarzane są we wspólnej, zunifikowanej przestrzeni. ## Problemy i ograniczenia Tokenizacja, mimo swojego znaczenia, jest źródłem wielu problemów w działaniu LLM: - **Niespójność i wrażliwość:** Niewielkie zmiany danych wejściowych (literówka, wielkość liter, spacja na końcu) mogą radykalnie zmienić tokenizację, prowadząc do nieprzewidywalnego zachowania modelu. - **Problemy wielojęzyczne:** Wspólny słownik dla wielu języków często okazuje się nieefektywny dla języków niskobudżetowych lub morfologicznie bogatych, prowadząc do nadmiernie długich sekwencji tokenów. - **Wpływ na rozumowanie:** Nielogiczne dzielenie liczb (np. „25 000" na „25", „,", „000") lub symboli utrudnia wykonywanie zadań arytmetycznych i symbolicznych. - **Tokeny-glicze (Glitch Tokens):** Anomalne lub rzadkie tokeny z danych treningowych (np. nazwy użytkowników z serwisu Reddit), które mogą powodować nieprzewidywalne lub szkodliwe zachowanie modelu. ## Rozwijający się krajobraz i przyszłe kierunki Badania w dziedzinie tokenizacji są aktywnie prowadzone w następujących obszarach: - **Modele bez tokenizatora:** Opracowywanie modeli (CANINE, ByT5) działających bezpośrednio na poziomie bajtów lub znaków, aby całkowicie wyeliminować etap jawnej tokenizacji i związane z nim problemy. - **Adaptacyjna i uczalna tokenizacja:** Tworzenie tokenizatorów mogących dynamicznie dostosowywać się do języka, domeny lub nawet konkretnego tekstu wejściowego, bądź uczonych wspólnie z modelem głównym. - **Podejścia kognitywnie zorientowane:** Opracowywanie metod inspirowanych nauką kognitywną o przetwarzaniu języka przez człowieka (np. „Zasada najmniejszego wysiłku") w celu tworzenia semantycznie bardziej sensownych tokenizacji. ## Odnośniki - Przegląd tokenizacji w kursie dotyczącym LLM od Hugging Face - Dokumentacja tokenizacji od Mistral AI ## Literatura - Schuster, M.; Nakajima, K. (2012). *Japanese and Korean Voice Search*. PDF. - Sennrich, R.; Haddow, B.; Birch, A. (2016). *Neural Machine Translation of Rare Words with Subword Units*. arXiv:1508.07909. - Kudo, T.; Richardson, J. (2018). *SentencePiece: A Simple and Language-Independent Subword Tokenizer and Detokenizer for Neural Text Processing*. arXiv:1808.06226. - Kudo, T. (2018). *Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates*. arXiv:1804.10959. - Song, X. et al. (2021). *Fast WordPiece Tokenization*. ACL-Anthology. - Mielke, S. J.; Dalmia, S.; Cotterell, R. (2021). *A Brief History of Open-Vocabulary Modeling and Tokenization in NLP*. arXiv:2112.10508. - Xue, J. et al. (2022). *ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models*. arXiv:2105.13626. - Clark, J. H. et al. (2022). *CANINE: Pre-Training an Efficient Tokenization-Free Encoder for Language Representation*. arXiv:2103.06874. - Limisiewicz, T.; Balhar, J.; Mareček, D. (2023). *Tokenization Impacts Multilingual Language Modeling*. arXiv:2305.17179. - Pourmostafa Roshan Sharami, J.; Shterionov, D.; Spronck, P. (2023). *A Systematic Analysis of Vocabulary and BPE Settings for Optimal Fine-Tuning of NMT*. arXiv:2303.00722. - Batsuren, K. et al. (2024). *Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge*. arXiv:2404.13292. - Chai, Y. et al. (2024). *Tokenization Falling Short: On Subword Robustness in Large Language Models*. arXiv:2406.11687.