Neural Text Degeneration (ID)

Degenerasi teks neural, juga disebut kemerosotan teks pada generasi neural (Ingg. Neural Text Degeneration), adalah kelas patologi generasi teks pada model bahasa neural, di mana keluaran menjadi tidak alami: terlalu berulang, penuh klise, miskin konten, atau kehilangan koherensi. Istilah ini mendapat penyebaran luas setelah karya Ari Holtzman dan rekan-rekannya The Curious Case of Neural Text Degeneration (2019; ICLR 2020), yang menunjukkan bahwa strategi decoding berbasis maksimalisasi likelihood langsung sering menghasilkan output berkualitas rendah pada tugas generasi teks terbuka.

Penjelasan Sederhana

Degenerasi teks neural adalah situasi ketika model secara formal melanjutkan teks, tetapi melakukannya dengan buruk dari sudut pandang ucapan alami.

Biasanya ini terlihat seperti berikut:

• model mulai mengulang kata atau frasa yang sama;
• teks menjadi terlalu klise dan "tidak bernyawa";
• jawaban kehilangan koherensi makna;
• kata-kata acak atau tidak tepat mulai masuk ke dalam kelanjutan.

Dengan kata lain, model menjadi terlalu "berhati-hati" dan selalu memilih hal yang sama, atau sebaliknya, mendapat terlalu banyak kebebasan dan mulai menarik kelanjutan yang lemah dan penuh noise. Dalam kedua kasus tersebut, teks tidak lagi menyerupai ucapan manusia yang alami.

Sejarah Kajian

Masalah ini dirumuskan secara rinci oleh Holtzman dan rekan-rekannya pada tahun 2019 berdasarkan materi generasi teks terbuka — terutama cerita, kelanjutan bebas, dan respons dialog. Para penulis menunjukkan bahwa metode decoding yang berorientasi pada maksimalisasi probabilitas, seperti pencarian serakah (greedy search) dan pencarian berkas (beam search), dalam tugas terbuka sering menghasilkan urutan yang tidak alami, berulang, dan miskin konten.

Dalam karya yang sama ditunjukkan bahwa pendekatan berlawanan — sampling stokastik murni tanpa pemotongan — juga bermasalah, karena model dapat memilih token dari "ekor tidak andal" distribusi probabilitas. Hal ini memperburuk koherensi dan meningkatkan risiko kelanjutan yang acak dan tidak terkoordinasi dengan baik.

Karya-karya selanjutnya memperhalus dan memperluas penjelasan ini. Khususnya, Finlayson dan rekan-rekannya mengusulkan interpretasi teoretis mengapa metode pemotongan (misalnya Top-p) sering membantu mengurangi degenerasi teks: pemotongan ekor memungkinkan penghindaran token yang terutama tidak andal bagi model.

Meister dan rekan-rekannya juga mengaitkan masalah degenerasi dengan pelanggaran tipikalitas lokal: teks manusia, pada umumnya, cenderung mempertahankan konten informasi yang mendekati entropi kondisional yang diharapkan, daripada sekadar memaksimalkan probabilitas setiap token berikutnya.

Manifestasi Utama

Degenerasi teks neural dapat memanifestasikan dirinya tidak hanya dalam bentuk pengulangan eksplisit, tetapi juga dalam bentuk yang lebih tersembunyi: dari pemiskinan makna hingga keruntuhan koherensi secara bertahap. Secara lahiriah, teks-teks seperti itu sering tetap benar secara tata bahasa, namun mulai berbeda nyata dari ucapan manusia alami dalam hal keragaman, informatifitas, dan keberlanjutan perkembangan pemikiran.

Pengulangan dan Perulangan

Bentuk paling dikenal adalah pengulangan token, frasa, atau konstruksi sintaksis utuh. Teks mulai "berputar dalam lingkaran", menambahkan kelanjutan yang hampir identik berulang kali.

Degenerasi semacam ini dapat memanifestasikan dirinya pada berbagai tingkatan:

• sebagai pengulangan kata-kata individual;
• sebagai reproduksi obsesif frasa yang sama;
• sebagai kembalinya berulang ke pemikiran yang sama;
• sebagai penyalinan berulang skema sintaksis yang sama dengan perubahan minimal.

Sangat khas bahwa pengulangan sering menjadi mandiri-sustaining: konstruksi yang muncul sekali mulai memperkuat dirinya sendiri, karena model terus mengandalkan fragmen yang sudah dihasilkan dan mereproduksinya kembali dalam bentuk yang sedikit dimodifikasi. Akibatnya, teks dapat mempertahankan penampilan kemajuan ke depan, tetapi faktanya berhenti berkembang secara substantif.

Klise dan Pemiskinan Konten

Bahkan jika tidak ada siklus eksplisit, model dapat menghasilkan teks yang terlalu dapat diprediksi dan miskin konten. Output semacam itu tetap benar secara tata bahasa, tetapi menjadi klise, monoton, dan miskin konten informasi.

Dalam bentuk degenerasi ini, teks biasanya terlihat "benar", tetapi memberikan kesan terlalu aman dan rata-rata. Model lebih memilih kata dan ungkapan yang paling diharapkan, sehingga:

• keragaman leksikal menurun;
• pola ucapan yang sama lebih sering diulang;
• formulasi yang kurang jelas tetapi lebih substansial menghilang;
• teks menjadi lebih halus secara bentuk, tetapi lebih miskin secara makna.

Itulah mengapa degenerasi tidak selalu terlihat sebagai kesalahan eksplisit: terkadang ia memanifestasikan dirinya sebagai teks yang terlalu dapat diprediksi, "rata", dan kosong, yang secara formal ditulis dengan benar, tetapi hampir tidak memberikan informasi baru.

Kehilangan Koherensi

Dengan keacakan yang berlebihan atau kontrol yang lemah atas ekor distribusi, generasi dapat mempertahankan kebenaran tata bahasa lokal, tetapi kehilangan koherensi makna secara keseluruhan: kata-kata yang tidak pantas, transisi topik yang tiba-tiba, dan celah logika mulai masuk ke dalam teks.

Dalam situasi seperti ini, frasa-frasa yang berdekatan mungkin masing-masing terlihat dapat diterima, namun hubungan sebab-akibat, tematik, dan logis di antara mereka melemah. Hal ini memanifestasikan dirinya dalam:

• kalimat benar secara tata bahasa tetapi tidak terhubung dengan baik ke kalimat sebelumnya;
• pemikiran tiba-tiba berubah arah tanpa transisi yang jelas;
• kelanjutan yang lokal dapat diterima tetapi kontekstual tidak pantas muncul dalam teks;
• alur penalaran secara keseluruhan menjadi longgar dan tidak stabil.

Dengan kata lain, model dapat mempertahankan kehalusan lokal pada tingkat frasa individual, tetapi kehilangan koherensi global pada tingkat seluruh paragraf atau respons panjang.

Pergeseran Semantik

Bentuk degenerasi lainnya adalah pergeseran makna secara bertahap, di mana teks tidak langsung runtuh, tetapi perlahan menyimpang dari topik, tugas, atau alur narasi asal.

Berbeda dengan ketidakkoherensian eksplisit, di sini degradasi berkembang secara bertahap:

• model mulai dengan jawaban yang relevan;
• kemudian menambahkan detail yang semakin umum atau lemah terkaitnya;
• setelah itu topik asal menjadi kabur;
• pada akhirnya teks mungkin tetap secara formal lancar, tetapi sudah menjawab permintaan asal dengan buruk.

Pergeseran semacam ini sangat terlihat dalam generasi panjang: model tidak harus jatuh ke dalam siklus, tetapi langkah demi langkah kehilangan disiplin tematik, dan kelanjutan berhenti menjadi benar-benar relevan.

Penurunan Informatifitas

Degenerasi dapat mengekspresikan dirinya tidak hanya dalam pengulangan, tetapi juga dalam teks yang berhenti menambahkan informasi baru. Model terus menulis, namun "kepadatan" semantik output menurun, dan kelanjutan menjadi kosong kontennya.

Dalam teks seperti itu, kata-kata dan kalimat terus terakumulasi, tetapi kemajuan makna melambat. Frasa-frasa baru:

• memformulasikan ulang apa yang sudah dikatakan;
• menambahkan jumlah fakta baru yang minimal;
• menggantikan hal-hal spesifik dengan kata-kata umum;
• mempertahankan volume teks tanpa pertumbuhan konten yang sebanding.

Ini sangat penting karena degradasi semacam ini dapat terlihat kurang mencolok daripada pengulangan eksplisit: teks tampak "normal", tetapi pada pembacaan yang cermat ternyata sebagian besar mengulang pemikiran yang sama dengan kata-kata yang berbeda.

Degenerasi Tersembunyi Tanpa Kegagalan Eksplisit

Tidak semua degenerasi neural terlihat sebagai kerusakan kasar. Dalam beberapa kasus, teks tidak mengandung siklus eksplisit, celah logika yang tajam, atau "noise" yang jelas, namun tetap menyimpang secara nyata dari penulisan manusia yang alami.

Bentuk tersembunyi ini memanifestasikan dirinya sebagai kombinasi:

• dapat diprediksi secara berlebihan;
• ritme frasa yang seragam;
• formulasi yang aman tetapi lemah;
• kurangnya kejutan, nuansa, dan kedalaman makna.

Itulah mengapa degenerasi teks neural tidak hanya terbatas pada perulangan. Ia mencakup spektrum gejala yang lebih luas — dari pengulangan eksplisit hingga pemiskinan makna yang halus, di mana teks tetap benar secara formal, tetapi kehilangan keragaman, daya ungkap, dan nilai substantif.

Penyebab

Ketidaksesuaian antara Pelatihan dan Decoding

Model bahasa biasanya dilatih untuk memprediksi token berikutnya berdasarkan distribusi probabilitas. Namun, saat generasi, teks sering diekstrak bukan sebagai sampel dari distribusi tersebut, melainkan menggunakan prosedur yang memaksimalkan probabilitas secara kaku pada setiap langkah atau di seluruh urutan. Perbedaan antara tujuan pelatihan dan aturan decoding ini adalah salah satu penyebab utama degenerasi dalam tugas terbuka.

"Ekor Tidak Andal" dari Distribusi

Di sisi lain, kebebasan penuh dalam sampling juga bisa berbahaya. Bahkan token yang sangat tidak mungkin biasanya memiliki probabilitas tak nol, dan di antaranya terdapat banyak varian yang lemah, penuh noise, atau tidak terkoordinasi dengan baik. Jika model memilih token dari ekor seperti itu, kualitas kelanjutan dapat menurun drastis.

Pelanggaran Tipikalitas Lokal

Meister dan rekan-rekannya mengaitkan degenerasi dengan fakta bahwa teks alami biasanya mempertahankan konten informasi yang mendekati entropi kondisional yang diharapkan. Ketika decoding secara sistematis menyimpang dari "tipikalitas" ini, teks dapat menjadi terlalu klise atau terlalu berisik.

Hubungan dengan Metode Decoding

Degenerasi teks neural terkait erat tidak hanya dengan kualitas model bahasa itu sendiri, tetapi juga dengan cara tepatnya token berikutnya dipilih dari distribusi probabilitasnya. Kumpulan probabilitas yang sama dapat menghasilkan hasil yang cukup berbeda tergantung pada strategi decoding: beberapa metode memperkuat pengulangan dan klise, yang lain meningkatkan keragaman tetapi berisiko kehilangan koherensi, yang lain lagi mencoba mempertahankan kompromi antara kedua ekstrem ini.

Pencarian Serakah dan Beam Search

Pencarian serakah dan pencarian berkas sangat rentan terhadap pengulangan dan klise dalam tugas generasi terbuka, karena secara sistematis lebih memilih kelanjutan yang paling mungkin.

Dalam kasus pencarian serakah, model pada setiap langkah memilih satu token yang paling mungkin. Pendekatan ini bekerja dengan baik di mana tugas memiliki rangkaian jawaban yang benar yang relatif sempit, namun dalam generasi bebas sering membuat teks terlalu dapat diprediksi. Model berulang kali memilih kelanjutan yang paling "aman", sehingga:

• kecenderungan untuk mengulang konstruksi yang sudah dipilih meningkat;
• keragaman formulasi berkurang;
• teks menjadi lebih klise dan miskin konten.

Pencarian berkas (beam search) sebagian memperluas ruang pencarian, karena melacak beberapa hipotesis yang paling mungkin sekaligus. Namun dalam tugas teks terbuka, ini tidak selalu menyelamatkan dari degenerasi. Sebaliknya, karena orientasi umum pada maksimalisasi likelihood, ia juga dapat secara sistematis lebih memilih kelanjutan yang terlalu "benar" tetapi kurang alami, yang meningkatkan risiko:

• keseragaman;
• repetitivitas;
• teks yang terlalu halus tetapi miskin konten.

Dengan kata lain, metode yang terlalu konsisten memilih kelanjutan yang paling mungkin sering menang dalam hal prediktabilitas lokal, tetapi kalah dalam hal kealamian generasi panjang.

Sampling Murni

Sampling yang tidak dibatasi secara ketat meningkatkan keragaman, tetapi tanpa filter tambahan lebih sering menangkap token lemah dari ekor distribusi, yang dapat memperburuk koherensi teks.

Dalam sampling murni, token berikutnya dipilih secara acak sesuai dengan distribusi probabilitas penuh model. Berbeda dengan pencarian serakah atau beam search, pendekatan ini memberi model lebih banyak kebebasan dan membantu menghindari "terjebak" terlalu dini dalam satu pola yang sama.

Namun, kebebasan ini memiliki sisi sebaliknya. Bahkan jika probabilitas banyak token sangat kecil, mereka biasanya tetap memiliki kesempatan tak nol untuk dipilih. Karena itu model dapat menangkap kelanjutan dari "ekor" distribusi, di mana lebih sering ditemukan:

• kata-kata acak dan lemah secara kontekstual;
• kelanjutan yang tidak terkoordinasi dengan baik;
• token yang lokal dapat diterima tetapi memperburuk koherensi teks secara keseluruhan.

Akibatnya, sampling murni sering mengurangi klise, tetapi pada saat yang sama membuat teks kurang stabil: ia dapat tetap beragam, tetapi menjadi lebih longgar, tidak konsisten, atau tidak stabil secara semantik.

Metode Pemotongan Distribusi

Metode pemotongan distribusi — terutama Top-p dan Top-k — diusulkan sebagai cara praktis untuk mengurangi degenerasi. Mereka membatasi kumpulan token yang dapat diterima dan dengan demikian mengurangi kemungkinan kelanjutan yang buruk.

Logika umum metode-metode ini adalah untuk tidak membiarkan model memilih token berikutnya dari seluruh kosakata. Sebaliknya, hanya bagian distribusi yang paling masuk akal yang dipertimbangkan:

• Top-k menyisakan sejumlah token yang paling mungkin dalam jumlah tetap;
• Top-p menyisakan "inti" dinamis token yang probabilitas kumulatifnya mencapai ambang batas yang ditentukan.

Pembatasan semacam itu mengurangi risiko model memilih kelanjutan yang terlalu lemah dari ekor yang tidak andal, tetapi tidak memaksanya setiap kali mengambil satu-satunya "pilihan terbaik". Berkat ini, metode pemotongan sering menjadi solusi menengah antara dua ekstrem:

• maksimalisasi yang terlalu kaku;
• sampling yang terlalu bebas dan penuh noise.

Kemudian Finlayson dan rekan-rekannya mengusulkan interpretasi teoretis yang lebih ketat tentang efektivitas ini. Mereka menunjukkan bahwa metode truncation membantu membuang token yang kemungkinan besar tidak dapat diandalkan dari sudut pandang distribusi teks yang sebenarnya. Oleh karena itu, pemotongan dapat dilihat bukan hanya sebagai teknik heuristik rekayasa, tetapi juga sebagai cara untuk mengurangi kemungkinan kesalahan sistematis saat memilih token berikutnya.

Strategi Modern

Metode yang lebih baru, seperti locally typical sampling, berusaha mengurangi pengulangan degeneratif sambil mempertahankan kualitas generasi. Demikian pula, contrastive search diusulkan sebagai cara untuk meningkatkan keragaman tanpa mengorbankan koherensi teks.

Metode-metode ini mengembangkan gagasan bahwa masalahnya bukan hanya tentang berapa banyak token yang harus disimpan, tetapi juga tentang token mana saja yang harus dianggap sebagai kandidat yang baik.

Locally typical sampling tidak hanya berorientasi pada probabilitas tinggi, tetapi pada kedekatan konten informasi token dengan entropi kondisional yang diharapkan. Ini memungkinkan pengurangan situasi ketika model:

• memilih kelanjutan yang terlalu klise dan "kosong";
• terjebak dalam pengulangan degeneratif;
• menjadi terlalu dapat diprediksi bahkan tanpa siklus eksplisit.

Contrastive search menggunakan logika yang berbeda: ia berusaha memilih kelanjutan yang sekaligus tetap masuk akal dan tidak terlalu mirip dengan konteks yang sudah dihasilkan. Berkat ini, kemungkinan model memperkuat konstruksi yang sama hanya karena secara lokal sangat mungkin berkurang.

Dibandingkan dengan strategi decoding klasik, metode-metode ini berusaha bukan hanya membatasi pilihan, tetapi membuat kriteria pemilihan itu sendiri lebih sensitif terhadap kualitas generasi panjang — yaitu apakah teks akan tetap substansial, beragam, dan koheren selama beberapa kalimat atau paragraf.

Ketergantungan pada Mode Decoding

Hubungan antara degenerasi neural dan decoding tidak terbatas pada oposisi metode "baik" dan "buruk". Algoritma yang sama dapat berperilaku berbeda tergantung pada seberapa ketat atau bebas ia membatasi distribusi pada setiap langkah.

Secara umum, tiga mode dapat dibedakan:

• pilihan terlalu ketat — model hampir selalu mengambil token yang paling mungkin, yang memperkuat klise dan pengulangan;
• pilihan terlalu bebas — model mendapat akses terlalu luas ke kelanjutan yang lemah, yang meningkatkan risiko ketidakkoherensian;
• pilihan yang dibatasi secara moderat — model mempertahankan keragaman, tetapi tetap dalam batas bagian distribusi yang cukup andal.

Itulah mengapa degenerasi neural sering dianggap sebagai konsekuensi bukan hanya kualitas model itu sendiri, tetapi juga mode decoding yang tidak tepat: terlalu ketat, terlalu lunak, atau tidak terkoordinasi dengan baik dengan tugas generasi tertentu.

Sederhananya, degenerasi lebih sering terjadi pada dua ekstrem: ketika model terlalu ketat memilih hanya kata-kata yang paling mungkin, atau sebaliknya, mendapat terlalu banyak kebebasan dan mulai menarik kelanjutan lemah yang acak. Strategi yang paling stabil biasanya berada di antara mode ekstrem ini.

Metode Mitigasi

Meskipun tidak ada cara universal untuk sepenuhnya menghilangkan degenerasi teks neural, dalam praktiknya sejumlah metode telah dikembangkan yang dapat secara signifikan mengurangi manifestasi paling khasnya — terutama pengulangan, klise, kehilangan koherensi, dan penangkapan ekor distribusi yang "berisik". Metode-metode ini berbeda dalam hal cara tepatnya mereka membatasi pemilihan token berikutnya: beberapa hanya memotong opsi yang lemah, yang lain mempertimbangkan bentuk distribusi dengan lebih halus, yang lain lagi mencoba secara langsung menyeimbangkan koherensi dan keragaman.

Pemotongan Distribusi

Cara paling umum untuk melawan degenerasi neural adalah membatasi pemilihan token berikutnya bukan ke seluruh kosakata, melainkan hanya ke bagiannya yang paling masuk akal. Inilah yang mendasari Top-p dan Top-k.

Ide dasar metode-metode ini adalah bahwa model tidak boleh bebas memilih dari semua token yang mungkin, karena sebagian besar distribusi berada di "ekor tidak andal", di mana varian yang lemah, penuh noise, atau tidak terkoordinasi dengan baik menumpuk. Pemotongan memungkinkan penyempitan ruang pilihan secara artifisial dan dengan demikian mengurangi kemungkinan bahwa generasi akan tiba-tiba tergelincir ke dalam ketidakkoherensian atau mulai hancur.

Dalam praktiknya, dua skema yang paling dikenal digunakan:

• Top-k — hanya menyisakan sejumlah token yang paling mungkin dalam jumlah tetap;
• Top-p (nucleus sampling) — menyisakan "inti" dinamis token yang probabilitas kumulatifnya mencapai ambang batas yang ditentukan $p$.

Makna umum keduanya sama: tidak membiarkan model memilih dari terlalu banyak kelanjutan yang lemah. Di sini Top-p biasanya dianggap lebih fleksibel, karena ukuran himpunan yang diizinkan berubah dari langkah ke langkah tergantung pada bentuk distribusi saat ini.

Finlayson dan rekan-rekannya mengusulkan interpretasi yang lebih ketat tentang mengapa metode truncation sering berhasil: pemotongan membantu membuang token yang mungkin tidak termasuk dalam dukungan distribusi teks "sebenarnya", yaitu yang terutama tidak andal dari sudut pandang model. Oleh karena itu, metode-metode tersebut tidak hanya secara mekanis "memotong ekor", tetapi faktanya mengurangi kemungkinan kesalahan sistematis pada tahap pemilihan token.

Sederhananya, pemotongan distribusi membantu model tidak terlalu jauh masuk ke area opsi yang lemah dan acak. Berkat ini, teks lebih sering tetap lebih koheren, alami, dan kurang rentan terhadap degenerasi.

Metode Sampling yang Lebih Adaptif

Locally typical sampling, η-sampling, dan pendekatan terkait berusaha bukan sekadar "memotong ekor", tetapi mempertimbangkan bentuk distribusi dan struktur informasi dari langkah generasi saat ini.

Berbeda dengan pemotongan sederhana, metode-metode tersebut berusaha mempertimbangkan bukan hanya seberapa mungkin sebuah token, tetapi juga seberapa tipikal token tersebut untuk konteks yang diberikan. Ini penting karena degenerasi terjadi tidak hanya karena token yang terlalu lemah, tetapi juga karena preferensi berlebihan terhadap kelanjutan yang terlalu "aman" dan klise.

Misalnya, locally typical sampling berorientasi pada kedekatan konten informasi token dengan entropi kondisional yang diharapkan. Dengan kata lain, ia berusaha memilih bukan sekadar kata-kata yang paling mungkin, melainkan kata-kata yang lebih sesuai dengan tingkat informatifitas "normal" untuk konteks yang diberikan. Ini memungkinkan pengurangan:

• pengulangan degeneratif;
• klise yang berlebihan;
• pemiskinan makna teks sambil mempertahankan koherensi secara keseluruhan.

Metode adaptif lainnya menggunakan logika serupa: alih-alih pemotongan tetap yang sederhana, mereka berusaha menyesuaikan diri dengan keadaan distribusi saat ini. Berkat ini, model kurang cenderung jatuh ke dua ekstrem:

• menjadi terlalu dapat diprediksi dan "datar";
• menangkap kelanjutan yang terlalu lemah dan penuh noise.

Metode-metode semacam ini biasanya lebih kompleks dalam hal interpretasi dan penyetelan dibandingkan Top-k atau Top-p, namun dapat lebih baik menangani bentuk-bentuk degenerasi yang halus, di mana masalahnya bukan pada ketidakkoherensian eksplisit, tetapi pada hilangnya informatifitas dan repetitivitas pola ucapan.

Sederhananya, metode yang lebih adaptif berusaha bukan hanya menghapus kata-kata yang lemah, tetapi menyimpan kelanjutan yang lebih cocok untuk konteks saat ini dalam hal makna dan "kealamian".

Contrastive Search

Contrastive search dan metode terkait berusaha sekaligus mempertahankan koherensi dan keragaman, mengurangi pengulangan yang sering timbul pada decoding berbasis maksimalisasi ketat.

Ide pendekatan kontrastif adalah untuk tidak hanya mengandalkan probabilitas token berikutnya. Sebaliknya, pemilihan kandidat dibangun sebagai kompromi antara dua persyaratan:

• kelanjutan harus cukup masuk akal;
• kelanjutan tidak boleh terlalu mirip dengan konteks yang sudah dihasilkan dan dengan demikian memperkuat pengulangan.

Berkat ini, contrastive search berusaha menekan tepat kelanjutan yang secara formal tampak sangat mungkin, tetapi dalam praktiknya mengarah pada perulangan, klise, atau generasi yang terlalu seragam. Berbeda dengan sampling murni, pendekatan ini tidak memperkenalkan keacakan sebagai mekanisme utama untuk melawan degenerasi, tetapi berusaha secara terarah memilih kelanjutan yang cukup mungkin tetapi kurang degeneratif.

Metode-metode semacam ini sangat penting karena strategi berbasis maksimalisasi klasik sering memberikan kepercayaan lokal yang tinggi, tetapi membayarnya dengan kealamian teks. Contrastive search berusaha mempertahankan kekuatan pemilihan deterministik — koherensi dan stabilitas — sambil sekaligus mengurangi pengulangan dan keseragaman.

Sederhananya, contrastive search berusaha tidak mengambil kelanjutan hanya karena itu yang paling mungkin. Ia juga "memberi penalti" pada opsi yang terlalu seragam agar teks tidak berputar dalam lingkaran dan tidak menjadi terlalu klise.

Penyesuaian Strategi dengan Tugas

Penelitian yang lebih baru menekankan bahwa tidak ada metode universal: efektivitas strategi decoding tertentu bergantung pada jenis tugas, ukuran model, penyelarasan, dan faktor-faktor lainnya. Apa yang bekerja dengan baik untuk generasi dialog atau esai mungkin bekerja lebih buruk untuk kode, matematika, atau domain deterministik lainnya.

Ini berarti bahwa perjuangan melawan degenerasi neural bukan hanya memilih algoritma "terbaik", tetapi juga mencocokkan metode dengan jenis tugas. Dalam generasi terbuka (cerita, dialog, jawaban panjang), metode sampling dan skema pemilihan yang lebih fleksibel sering membantu mempertahankan keragaman dan kealamian. Dalam tugas yang lebih ketat dan deterministik — misalnya, dalam pemrograman, matematika, atau tugas dengan jawaban benar yang tunggal — stokastisitas yang terlalu agresif, sebaliknya, dapat menurunkan kualitas hasil.

Shi dan rekan-rekannya juga menunjukkan bahwa hasil akhir dipengaruhi tidak hanya oleh strategi decoding itu sendiri, tetapi juga oleh:

• ukuran model;
• tingkat penyelarasannya;
• sensitivitas terhadap hyperparameter;
• lingkungan deployment dan batasan inferensi.

Dari sini muncul kesimpulan praktis yang penting: metode yang sama dapat tampak kuat dalam satu konfigurasi dan jauh lebih lemah dalam konfigurasi lain. Oleh karena itu, mitigasi degenerasi neural dalam praktiknya hampir selalu membutuhkan penyetelan parameter dan pengujian pada kelas tugas tertentu, bukan mengandalkan satu "resep universal".

Sederhananya, metode decoding yang baik bergantung pada apa yang sebenarnya dilakukan model. Untuk teks bebas, beberapa metode bekerja lebih baik; untuk kode, matematika, dan tugas tepat lainnya — metode yang lain.

Kombinasi Metode

Dalam praktiknya, metode mitigasi sering diterapkan bukan secara terpisah, melainkan dalam kombinasi satu sama lain. Misalnya, pemotongan distribusi dapat digunakan bersama dengan temperatur, dan strategi yang lebih kompleks dapat digabungkan dengan batasan tambahan pada pemilihan token.

Makna kombinasi semacam itu adalah memisahkan fungsi-fungsi:

• satu mekanisme menetapkan tingkat keragaman secara keseluruhan;
• yang lain membatasi ekor yang "berisik";
• yang ketiga mengurangi risiko pengulangan atau klise.

Namun, peningkatan jumlah mekanisme yang dikonfigurasi secara bersamaan mempersulit kontrol atas perilaku model. Oleh karena itu, skema yang lebih kompleks tidak selalu berarti hasil yang lebih berkualitas: keuntungan sering bergantung pada seberapa baik hyperparameter dipilih dan seberapa baik kombinasi tertentu sesuai dengan tugas.

Dengan kata lain, mitigasi degenerasi neural paling sering dibangun bukan pada satu metode "ajaib", tetapi pada kombinasi beberapa batasan yang cermat, yang masing-masing menghilangkan bagiannya sendiri dari masalah.

Jangan Disamakan dengan Model Collapse

Degenerasi teks neural dalam pengertian Holtzman dan rekan-rekannya tidak boleh dicampuradukkan dengan model collapse — fenomena terpisah yang dipelajari dalam karya-karya tentang pelatihan rekursif model pada data sintetis.

Dalam kasus pertama, yang dibicarakan terutama adalah degenerasi teks pada tahap generasi (inference), ketika strategi decoding yang tidak tepat menyebabkan pengulangan, klise, atau kehilangan koherensi. Dalam kasus kedua — tentang degradasi model pada tahap pelatihan, ketika data yang dihasilkan model mulai "mencemari" kumpulan pelatihan generasi model berikutnya, yang dapat menyebabkan hilangnya peristiwa langka dan penyempitan distribusi.

Fenomena-fenomena ini terkait secara tematik, karena keduanya berkaitan dengan penurunan kualitas teks jaringan neural, namun dalam literatur biasanya dianggap sebagai masalah yang berbeda: satu berkaitan dengan decoding, yang lain — dengan data dan pelatihan.

Signifikansi bagi Model Bahasa Besar

Di era model bahasa besar, masalah degenerasi neural tidak menghilang, melainkan bergeser dari ranah generator teks kecil ke ranah pengelolaan perilaku sistem yang lebih kuat. Meskipun LLM modern biasanya lebih terselaraskan dan lebih jarang jatuh ke dalam siklus pengulangan kasar, pilihan strategi decoding tetap secara nyata memengaruhi kealamian, keragaman, dan stabilitas output.

Karena itu, degenerasi teks neural dipandang bukan sebagai cacat sempit model bahasa awal, tetapi sebagai masalah fundamental generasi praktis: pemodelan probabilistik yang baik tidak dengan sendirinya menjamin teks yang baik pada tahap inferensi.

Lihat Juga

• Sampling Top-p
• Sampling Top-k
• Temperatur
• Model Bahasa Besar

Referensi

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; diterbitkan di ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.