T5 (Text-to-Text Transfer Transformer) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

T5 (Text-to-Text Transfer Transformer) — adalah keluarga model bahasa besar yang dikembangkan oleh para peneliti Google AI dan diperkenalkan pada tahun 2019[1]. Inovasi utama T5 adalah kerangka kerja «text-to-text» yang terpadu, yang memperlakukan setiap tugas pemrosesan bahasa alami (NLP) sebagai masalah transformasi satu urutan teks menjadi urutan teks lainnya. Hal ini memungkinkan penggunaan satu model, satu fungsi kerugian, dan satu prosedur pelatihan untuk berbagai macam tugas, seperti penerjemahan, peringkasan, tanya jawab, dan klasifikasi[2].

Model ini didasarkan pada arsitektur transformer standar «encoder-decoder», yang membedakannya dari model jenis BERT (hanya encoder) dan GPT (hanya decoder). Pekerjaan pada T5 dirancang sebagai studi empiris berskala besar untuk mempelajari dan membandingkan secara sistematis berbagai teknik transfer learning dalam NLP, bukan sebagai penciptaan metode yang sepenuhnya baru[1].

Paradigma «Text-to-Text»

Gagasan utama T5 adalah bahwa semua tugas dirumuskan dalam format yang seragam. Model menerima teks sebagai masukan dan menghasilkan teks sebagai keluaran. Agar model dapat membedakan tugas-tugas yang diberikan kepadanya, sebuah prefiks instruksi teks khusus ditambahkan ke urutan masukan[2].

  • Penerjemahan: `translate English to German: That is good.` → `Das ist gut.`
  • Klasifikasi sentimen: `sst2 sentence: a very exciting film.` → `positive`
  • Peringkasan: `summarize: [teks artikel panjang]` → `[ringkasan]`

Pendekatan ini secara radikal menyederhanakan proses penerapan model, menghilangkan kebutuhan untuk mengembangkan «kepala» khusus (task-specific heads) untuk setiap tugas individual, yang merupakan ciri khas arsitektur seperti BERT[3].

Arsitektur dan Penskalaan

Arsitektur Encoder-Decoder

T5 menggunakan arsitektur transformer standar yang terdiri dari dua bagian[1]:

  • Encoder: Memproses seluruh urutan masukan secara bersamaan, menciptakan representasi yang kaya dan terkontekstualisasi. Seperti pada BERT, encoder T5 bersifat dua arah (bidirectional).
  • Decoder: Menghasilkan teks keluaran token demi token (autoregresif), menggunakan representasi yang diperoleh dari encoder.

Struktur hibrida ini memungkinkan T5 untuk secara efektif menyelesaikan tugas-tugas pemahaman bahasa maupun tugas-tugas pembuatan teks[4].

Penyempurnaan Utama

Arsitektur T5 mencakup beberapa perubahan dibandingkan dengan model transformer asli:

  • Relative positional embedding: Alih-alih menggunakan absolute sinusoidal embedding, T5 menggunakan bentuk relative position encoding yang disederhanakan namun efektif, di mana bias skalar yang dapat dilatih ditambahkan ke logit attention, yang hanya bergantung pada jarak relatif antara token[1].
  • Layer Norm yang Dimodifikasi: Normalisasi dipindahkan ke luar residual connection, dan additive bias dihapus darinya untuk meningkatkan stabilitas pelatihan.

Skala Model

Dalam karya aslinya, model dihadirkan dalam beberapa konfigurasi yang berbeda berdasarkan jumlah parameter, yang memungkinkan studi sistematis tentang pengaruh skala[5]:

  • T5-Small: ~60 juta parameter
  • T5-Base: ~220 juta parameter
  • T5-Large: ~770 juta parameter
  • T5-3B: ~3 miliar parameter
  • T5-11B: ~11 miliar parameter

Penelitian menunjukkan bahwa peningkatan skala model adalah salah satu cara paling andal untuk meningkatkan kinerjanya[1].

Pra-pelatihan: Dataset C4 dan Tugas Span Corruption

Tugas Span Corruption

Untuk pra-pelatihan T5, dipilih tugas denoising, yaitu varian spesifiknya yang disebut perusakan fragmen (span corruption)[6]. Metode ini bekerja sebagai berikut:

  1. Dalam teks masukan, 15% token dipilih secara acak untuk dimasking.
  2. Berbeda dengan metode MLM pada BERT yang memasking token individual, T5 memasking seluruh fragmen berurutan (spans).
  3. Setiap fragmen yang rusak digantikan oleh satu token masker unik (misalnya, `<X>`, `<Y>`).
  4. Model dilatih untuk menghasilkan sebagai keluaran urutan fragmen yang dihapus, dipisahkan oleh masker yang sesuai.

Pendekatan ini memaksa model untuk memprediksi seluruh urutan teks, yang terbukti menjadi tugas pra-pelatihan yang lebih efektif daripada pemodelan bahasa sederhana[1].

Dataset C4 (Colossal Clean Crawled Corpus)

Untuk mewujudkan potensi transfer learning, para peneliti membuat kumpulan data teks yang sangat besar dan bersih berkualitas tinggi bernama C4, berukuran sekitar 750 GB[2]. Dataset ini diperoleh melalui pembersihan dan penyaringan berskala besar dari korpus web yang tersedia untuk umum, yaitu Common Crawl[7]. Proses pembersihan mencakup penghapusan duplikat, teks templat ("Lorem ipsum"), kalimat tidak lengkap, serta penyaringan kata-kata kasar[8].

Kritik terhadap Dataset C4

Meskipun tujuan yang dinyatakan adalah membuat korpus yang «bersih», proses penyaringan C4 mendapat kritik karena bias sistemik. Penelitian menunjukkan bahwa filter kata-kata kasar secara tidak proporsional menghapus teks yang berkaitan dengan komunitas LGBTQ+, serta teks dalam bahasa Inggris Afrika-Amerika (AAE)[8]. Selain itu, ditemukan sejumlah besar konten yang bersifat ofensif dan dilindungi hak cipta dalam dataset tersebut. Masalah-masalah ini menggambarkan kompleksitas dalam menciptakan kumpulan data yang secara objektif «berkualitas» dan bagaimana keputusan teknis dalam proses penyaringan dapat menyebabkan bias sosial yang tidak disengaja.

Hasil dan Kinerja

Pada saat publikasinya, T5 menetapkan rekor kinerja baru (state-of-the-art) pada berbagai benchmark, termasuk GLUE, SuperGLUE, SQuAD, dan tugas-tugas peringkasan[2]. Secara khusus, model T5-11B mencapai hasil pada SuperGLUE yang mendekati tingkat manusia, menunjukkan kemampuan untuk menangani tugas-tugas yang memerlukan penalaran logis yang kompleks[9]. Hasil-hasil ini mengkonfirmasi hipotesis utama penelitian: kombinasi kerangka kerja terpadu, skala besar, dan kumpulan data berkualitas tinggi merupakan strategi yang sangat kuat untuk mencapai hasil terdepan dalam NLP.

Evolusi dan Varian T5

Pendekatan T5 menjadi dasar bagi banyak model berikutnya:

  • mT5: Versi multibahasa dari T5, dilatih pada korpus mC4 yang mencakup 101 bahasa[10].
  • ByT5: Versi eksperimental yang sepenuhnya meninggalkan tokenisasi dan bekerja langsung dengan byte UTF-8 mentah. Hal ini membuatnya tahan terhadap kesalahan ketik dan memungkinkannya untuk memproses bahasa apa pun secara langsung[11].
  • Switch Transformer: Versi T5 yang dapat diskalakan, yang memperkenalkan arsitektur Mixture-of-Experts (MoE), memungkinkan peningkatan jumlah parameter hingga triliunan sambil mempertahankan biaya komputasi yang wajar[12].
  • FLAN-T5: Ini bukan arsitektur baru, melainkan T5 standar yang telah melalui tahap fine-tuning tambahan pada ratusan tugas yang dirumuskan sebagai instruksi (instruction tuning). Hal ini secara signifikan meningkatkan kemampuannya untuk menggeneralisasi ke tugas-tugas baru yang belum pernah dilihat dalam mode zero-shot (tanpa contoh)[13].
  • UL2: Model yang mengembangkan ide-ide T5, yang menggunakan objektif pra-pelatihan baru bernama Mixture of Denoisers, menggabungkan berbagai skema masking teks untuk meningkatkan versatilitas[14].

Pranala Luar

  • Repositori resmi T5 di GitHub
  • Artikel blog Google Research tentang penelitian T5

Daftar Pustaka

  • Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
  • Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
  • Xue, L. et al. (2021). mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer. arXiv:2010.11934.
  • Dodge, J. et al. (2021). Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. arXiv:2104.08758.
  • Fedus, W. et al. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
  • Ni, J. et al. (2021). Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models. arXiv:2108.08877.
  • Guo, M. et al. (2021). LongT5: Efficient Text-To-Text Transformer for Long Sequences. arXiv:2112.07916.
  • Xue, L. et al. (2022). ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models. arXiv:2105.13626.
  • Tay, Y. et al. (2022). UL2: Unifying Language Learning Paradigms. arXiv:2205.05131.
  • Chung, H. W. et al. (2022). Scaling Instruction-Finetuned Language Models. arXiv:2210.11416.
  • Longpre, S. et al. (2023). The Flan Collection: Designing Data and Methods for Effective Instruction Tuning. arXiv:2301.13688.

Catatan

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Raffel, Colin; Shazeer, Noam; Roberts, Adam; et al. «Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer». Journal of Machine Learning Research. [1]
  2. ↑ 2.0 2.1 2.2 2.3 «Exploring Transfer Learning with T5: the Text-To-Text Transfer Transformer». Google Research Blog. [2]
  3. ↑ «A Detailed Look At Google's T5 Model in NLP». DhiWise Blog. [3]
  4. ↑ «T5 (Text-to-Text Transfer Transformer)». GeeksforGeeks. [4]
  5. ↑ «T5». Hugging Face Transformers Documentation. [5]
  6. ↑ «T5 (language model)». In Wikipedia. [6]
  7. ↑ «C4 Dataset». Papers With Code. [7]
  8. ↑ 8.0 8.1 Dodge, J.; Sap, M.; Marasović, A.; et al. «Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus». arXiv. [8]
  9. ↑ «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». Reddit, r/linguistics. [9]
  10. ↑ Xue, Linting; Constant, Noah; Roberts, Adam; et al. «mT5: A massively multilingual pre-trained text-to-text transformer». arXiv. [10]
  11. ↑ Xue, Linting; Barua, Aditya; Constant, Noah; et al. «ByT5: Towards a token-free future with pre-trained byte-to-byte models». arXiv. [11]
  12. ↑ Fedus, William; Zoph, Barret; Shazeer, Noam. «Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity». arXiv. [12]
  13. ↑ Chung, Hyung Won; et al. «Scaling Instruction-Finetuned Language Models». arXiv. [13]
  14. ↑ Tay, Yi; Dehghani, Mostafa; Tran, Vinh; et al. «UL2: Unifying Language Learning Paradigms». arXiv. [14]
Retrieved from "https://systems-analysis.info/int/index.php?title=T5_(Text-to-Text_Transfer_Transformer)_(ID)&oldid=7820"