T5 (Text-to-Text Transfer Transformer) (DE)

From Systems analysis Wiki
Jump to navigation Jump to search

T5 (Text-to-Text Transfer Transformer) ist eine Familie von großen Sprachmodellen, die von Forschern bei Google AI entwickelt und 2019 vorgestellt wurde[1]. Die Schlüsselinnovation von T5 ist ein einheitliches „Text-zu-Text“-Framework, das jede Aufgabe der Verarbeitung natürlicher Sprache (NLP) als ein Problem der Umwandlung einer Textsequenz in eine andere betrachtet. Dies ermöglichte die Verwendung eines einzigen Modells, einer einzigen Verlustfunktion und eines einzigen Trainingsverfahrens für eine breite Palette von Aufgaben wie Übersetzung, Zusammenfassung, Beantwortung von Fragen und Klassifizierung[2].

Das Modell basiert auf der Standard-Architektur eines Transformer-Modells mit „Encoder-Decoder“-Struktur, was es von reinen Encoder-Modellen wie BERT und reinen Decoder-Modellen wie GPT unterscheidet. Die Arbeit an T5 war als eine groß angelegte empirische Studie konzipiert, um verschiedene Transfer-Learning-Methoden im NLP systematisch zu untersuchen und zu vergleichen, anstatt eine grundlegend neue Methode zu entwickeln[1].

Das „Text-zu-Text“-Paradigma

Die zentrale Idee von T5 ist, dass alle Aufgaben in einem einheitlichen Format formuliert werden. Das Modell erhält Text als Eingabe und generiert ebenfalls Text als Ausgabe. Damit das Modell die ihm gestellten Aufgaben unterscheiden kann, wird der Eingabesequenz ein spezieller textueller Anweisungs-Präfix (instruction prefix) hinzugefügt[2].

  • Übersetzung: `translate English to German: That is good.` → `Das ist gut.`
  • Sentiment-Klassifikation: `sst2 sentence: a very exciting film.` → `positive`
  • Zusammenfassung: `summarize: [langer Artikeltext]` → `[kurze Zusammenfassung]`

Dieser Ansatz vereinfacht die Anwendung des Modells radikal, da er die Notwendigkeit beseitigt, für jede einzelne Aufgabe spezifische „Köpfe“ (task-specific heads) zu entwickeln, was für Architekturen wie BERT charakteristisch war[3].

Architektur und Skalierung

Encoder-Decoder-Architektur

T5 verwendet eine Standard-Transformer-Architektur, die aus zwei Teilen besteht[1]:

  • Encoder: Verarbeitet die gesamte Eingabesequenz auf einmal und erzeugt eine reichhaltige kontextualisierte Darstellung. Wie bei BERT ist der Encoder von T5 bidirektional.
  • Decoder: Generiert den Ausgabetext Token für Token (autoregressiv) unter Verwendung der vom Encoder erhaltenen Darstellung.

Diese hybride Struktur ermöglicht es T5, sowohl Aufgaben des Sprachverständnisses als auch Aufgaben der Textgenerierung effizient zu lösen[4].

Wesentliche Verbesserungen

Die Architektur von T5 enthält mehrere Änderungen im Vergleich zum ursprünglichen Transformer-Modell:

  • Relative Positionseinbettungen: Anstelle von absoluten sinusförmigen Einbettungen verwendet T5 eine vereinfachte, aber effektive Form der relativen Positionscodierung, bei der den Attention-Logits ein lernbarer skalarer Bias hinzugefügt wird, der nur vom relativen Abstand zwischen den Tokens abhängt[1].
  • Modifizierte Schichtnormalisierung (Layer Norm): Die Normalisierung wird außerhalb der Residuenverbindung (residual connection) platziert, und der additive Bias wird entfernt, um die Trainingsstabilität zu erhöhen.

Modellgrößen

In der ursprünglichen Arbeit wurde das Modell in mehreren Konfigurationen mit unterschiedlicher Parameteranzahl vorgestellt, was eine systematische Untersuchung des Einflusses der Skalierung ermöglichte[5]:

  • T5-Small: ~60 Millionen Parameter
  • T5-Base: ~220 Millionen Parameter
  • T5-Large: ~770 Millionen Parameter
  • T5-3B: ~3 Milliarden Parameter
  • T5-11B: ~11 Milliarden Parameter

Die Studie zeigte, dass die Vergrößerung des Modells eine der zuverlässigsten Methoden zur Steigerung seiner Leistung ist[1].

Vortraining: C4-Datensatz und die Span-Corruption-Aufgabe

Die Span-Corruption-Aufgabe

Für das Pre-Training von T5 wurde eine Denoising-Aufgabe (Entrauschung) gewählt, genauer gesagt eine spezielle Variante namens Span Corruption (Beschädigung von Abschnitten)[6]. Die Methode funktioniert wie folgt:

  1. Im Eingabetext werden zufällig 15 % der Tokens maskiert.
  2. Im Gegensatz zur MLM-Methode in BERT, bei der einzelne Tokens maskiert werden, werden bei T5 ganze zusammenhängende Abschnitte (spans) maskiert.
  3. Jeder beschädigte Abschnitt wird durch ein einziges, eindeutiges Maskierungs-Token ersetzt (z. B. `<X>`, `<Y>`).
  4. Das Modell wird darauf trainiert, am Ausgang eine Sequenz der entfernten Abschnitte, getrennt durch die entsprechenden Masken, zu generieren.

Dieser Ansatz zwingt das Modell, ganze Textsequenzen vorherzusagen, was sich als effektivere Pre-Training-Aufgabe erwies als die einfache Sprachmodellierung[1].

Der C4-Datensatz (Colossal Clean Crawled Corpus)

Um das Potenzial des Transfer-Learnings auszuschöpfen, erstellten die Forscher einen riesigen und qualitativ hochwertig bereinigten Textdatensatz namens C4 mit einem Umfang von etwa 750 GB[2]. Er wurde durch eine umfassende Bereinigung und Filterung des öffentlich zugänglichen Web-Korpus Common Crawl gewonnen[7]. Der Bereinigungsprozess umfasste die Entfernung von Duplikaten, Fülltexten („Lorem ipsum“), unvollständigen Sätzen sowie die Filterung von anstößiger Sprache[8].

Kritik am C4-Datensatz

Trotz des erklärten Ziels, einen „sauberen“ Korpus zu schaffen, wurde der Filterprozess von C4 wegen systematischer Verzerrungen (Bias) kritisiert. Studien zeigten, dass der Filter für anstößige Sprache überproportional Texte entfernte, die mit LGBTQ+-Communitys in Verbindung stehen, sowie Texte in afroamerikanischem Englisch (AAE)[8]. Darüber hinaus wurde im Datensatz eine erhebliche Menge an beleidigendem und urheberrechtlich geschütztem Material gefunden. Diese Probleme verdeutlichen die Schwierigkeit, objektiv „hochwertige“ Datensätze zu erstellen, und wie technische Filterentscheidungen zu unbeabsichtigten sozialen Verzerrungen führen können.

Ergebnisse und Leistung

Zum Zeitpunkt seiner Veröffentlichung setzte T5 neue Maßstäbe (State-of-the-Art) bei zahlreichen Benchmarks, darunter GLUE, SuperGLUE, SQuAD und Aufgaben zur Textzusammenfassung[2]. Insbesondere erreichte das T5-11B-Modell bei SuperGLUE ein Ergebnis, das dem menschlichen Niveau nahekommt, und demonstrierte damit seine Fähigkeit, Aufgaben zu bewältigen, die komplexes logisches Schließen erfordern[9]. Diese Ergebnisse bestätigten die zentrale Hypothese der Studie: Die Kombination aus einem einheitlichen Framework, großer Skalierung und einem hochwertigen Datensatz ist eine äußerst leistungsfähige Strategie, um Spitzenresultate im NLP zu erzielen.

Entwicklung und Varianten von T5

Der T5-Ansatz diente als Grundlage für eine Vielzahl nachfolgender Modelle:

  • mT5: Eine mehrsprachige Version von T5, die auf dem mC4-Korpus trainiert wurde, der 101 Sprachen abdeckt[10].
  • ByT5: Eine experimentelle Version, die vollständig auf Tokenisierung verzichtet und direkt mit rohen UTF-8-Bytes arbeitet. Dies macht sie robust gegenüber Tippfehlern und ermöglicht die Verarbeitung jeder Sprache „out of the box“[11].
  • Switch Transformer: Eine skalierbare Version von T5, die die Mixture-of-Experts (MoE)-Architektur einführte, was es ermöglichte, die Anzahl der Parameter auf Billionen zu erhöhen, während der Rechenaufwand vertretbar blieb[12].
  • FLAN-T5: Dies ist keine neue Architektur, sondern ein Standard-T5-Modell, das einer zusätzlichen Feinabstimmung (Instruction Tuning) auf Hunderten von als Anweisungen formulierten Aufgaben unterzogen wurde. Dies verbesserte seine Fähigkeit zur Generalisierung auf neue, ungesehene Aufgaben im Zero-Shot-Modus (ohne Beispiele) erheblich[13].
  • UL2: Ein Modell, das die Ideen von T5 weiterentwickelt und ein neues Pre-Training-Ziel namens Mixture of Denoisers verwendet, das verschiedene Textmaskierungsschemata kombiniert, um die Vielseitigkeit zu verbessern[14].

Literatur

  • Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
  • Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
  • Xue, L. et al. (2021). mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer. arXiv:2010.11934.
  • Dodge, J. et al. (2021). Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. arXiv:2104.08758.
  • Fedus, W. et al. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
  • Ni, J. et al. (2021). Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models. arXiv:2108.08877.
  • Guo, M. et al. (2021). LongT5: Efficient Text-To-Text Transformer for Long Sequences. arXiv:2112.07916.
  • Xue, L. et al. (2022). ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models. arXiv:2105.13626.
  • Tay, Y. et al. (2022). UL2: Unifying Language Learning Paradigms. arXiv:2205.05131.
  • Chung, H. W. et al. (2022). Scaling Instruction-Finetuned Language Models. arXiv:2210.11416.
  • Longpre, S. et al. (2023). The Flan Collection: Designing Data and Methods for Effective Instruction Tuning. arXiv:2301.13688.

Einzelnachweise

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Raffel, Colin; Shazeer, Noam; Roberts, Adam; et al. „Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer“. Journal of Machine Learning Research. [1]
  2. ↑ 2.0 2.1 2.2 2.3 „Exploring Transfer Learning with T5: the Text-To-Text Transfer Transformer“. Google Research Blog. [2]
  3. ↑ „A Detailed Look At Google's T5 Model in NLP“. DhiWise Blog. [3]
  4. ↑ „T5 (Text-to-Text Transfer Transformer)“. GeeksforGeeks. [4]
  5. ↑ „T5“. Hugging Face Transformers Documentation. [5]
  6. ↑ „T5 (language model)“. In Wikipedia. [6]
  7. ↑ „C4 Dataset“. Papers With Code. [7]
  8. ↑ 8.0 8.1 Dodge, J.; Sap, M.; Marasović, A.; et al. „Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus“. arXiv. [8]
  9. ↑ „Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline“. Reddit, r/linguistics. [9]
  10. ↑ Xue, Linting; Constant, Noah; Roberts, Adam; et al. „mT5: A massively multilingual pre-trained text-to-text transformer“. arXiv. [10]
  11. ↑ Xue, Linting; Barua, Aditya; Constant, Noah; et al. „ByT5: Towards a token-free future with pre-trained byte-to-byte models“. arXiv. [11]
  12. ↑ Fedus, William; Zoph, Barret; Shazeer, Noam. „Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity“. arXiv. [12]
  13. ↑ Chung, Hyung Won; et al. „Scaling Instruction-Finetuned Language Models“. arXiv. [13]
  14. ↑ Tay, Yi; Dehghani, Mostafa; Tran, Vinh; et al. „UL2: Unifying Language Learning Paradigms“. arXiv. [14]
Retrieved from "https://systems-analysis.info/int/index.php?title=T5_(Text-to-Text_Transfer_Transformer)_(DE)&oldid=7812"