Perplexity (metric) (ID)

Perpleksitas (Ingg. Perplexity, PPL) dalam teori informasi dan machine learning adalah ukuran ketidakpastian atau "kejutan" model bahasa saat memprediksi sampel teks. Perpleksitas rendah menunjukkan bahwa distribusi probabilitas model sesuai dengan data uji, sementara perpleksitas tinggi berarti model memprediksi urutan dengan buruk.

Secara formal, perpleksitas suatu distribusi probabilitas didefinisikan sebagai eksponen dari entropinya. Untuk distribusi diskret $p(x)$, perpleksitas sama dengan $2^{H(p)}$, di mana $H(p)$ adalah entropi. Secara intuitif, perpleksitas dapat dipahami sebagai jumlah pilihan "efektif" yang dimiliki model pada setiap langkah. Jika perpleksitas sama dengan 100, berarti ketidakpastian model setara dengan memilih satu dari 100 kemungkinan yang sama peluangnya.

Istilah ini pertama kali diperkenalkan pada tahun 1977 oleh sekelompok peneliti IBM di bawah pimpinan Frederick Jelinek dalam konteks pengenalan suara statistik untuk mengukur secara kuantitatif "kesulitan" suatu tugas.

Perpleksitas dalam Model Bahasa

Dalam bidang pemrosesan bahasa alami (NLP), perpleksitas telah menjadi metrik internal (intrinsic) standar untuk mengevaluasi kualitas model bahasa. Metrik ini mengukur seberapa baik model memprediksi urutan kata atau token dalam kumpulan data uji.

Definisi Formal

Untuk korpus uji $W=w_1{w}_2\dots w_N$ dan model bahasa $q$, perpleksitas dihitung sebagai kebalikan rata-rata geometrik probabilitas korpus uji, yang dinormalisasi berdasarkan jumlah kata: $\text{PP}(W,q)={\left(\prod _{i=1}^N\frac{1}{q(w_i\mid w_1,\dots ,w_{i-1})}\right)}^{1/N}$

Rumus ini setara dengan eksponen dari entropi silang, atau rata-rata log-loss (negative log-likelihood): $\text{PP}(W,q)=\exp (-\frac{1}{N}\sum _{i=1}^N\log q(w_i\mid \text{контекст}))$

Minimisasi perpleksitas setara dengan maksimisasi kemungkinan (likelihood) model pada data uji. Dengan demikian, model dengan perpleksitas lebih rendah dianggap lebih akurat secara statistik.

Penggunaan Historis dan LLM Modern

Secara historis, perpleksitas banyak digunakan untuk mengevaluasi model n-gram statistik. Misalnya, untuk korpus Wall Street Journal, model unigram (yang hanya mempertimbangkan frekuensi kata) memiliki perpleksitas ~962, sedangkan model trigram (yang mempertimbangkan konteks dua kata sebelumnya) sekitar 109. Penurunan tajam ini menunjukkan betapa jauh lebih baik model menangkap pola bahasa.

Seiring berkembangnya large language model (LLM), perpleksitas mempertahankan perannya sebagai tolok ukur dasar. Para peneliti melaporkan perpleksitas pada kumpulan data uji standar (misalnya, WikiText) sebagai indikator "kelancaran" model. Misalnya, dalam artikel OpenAI tentang GPT-2, disebutkan bahwa model dengan ~117 juta parameter mencapai perpleksitas sekitar 37 pada korpus WikiText-103. Penurunan perpleksitas biasanya berkorelasi dengan peningkatan kualitas model, sehingga metrik ini berfungsi sebagai indikator kemajuan yang praktis selama pelatihan dan optimasi.

Keterbatasan dan Interpretasi Metrik

Meskipun perpleksitas rendah menandakan probabilitas data yang tinggi menurut model, metrik ini memiliki sejumlah keterbatasan signifikan dan tidak selalu berkorelasi dengan kualitas nyata teks yang dihasilkan.

• Perpleksitas rendah ≠ kualitas tinggi. Perpleksitas mengukur kepercayaan diri model dalam prediksinya, bukan kebenarannya. Model bisa saja salah dengan percaya diri, menghasilkan teks yang tidak bermakna namun secara statistik cukup mungkin (misalnya, mengulang kata dan frasa yang sangat umum).
• Sensitivitas terhadap data dan tokenisasi. Perpleksitas tidak cocok untuk perbandingan langsung antar model dengan arsitektur, kosakata, atau cara tokenisasi yang berbeda. Misalnya, model berbasis karakter mungkin memiliki perpleksitas yang secara numerik lebih rendah daripada model berbasis kata, namun hal itu tidak berarti model tersebut lebih baik dalam menyelesaikan tugas bahasa.
• Ketidakmampuan mengevaluasi semantik dan konteks panjang. Perpleksitas adalah metrik lokal yang mengevaluasi prediksi token berikutnya. Metrik ini berkorelasi lemah dengan kemampuan model untuk menangkap ketergantungan jangka panjang dan konteks makna pada jarak yang besar. Sebuah penelitian tahun 2023 (Hu et al.) menunjukkan bahwa kemampuan LLM untuk memahami teks panjang (hingga 100 ribu token) hampir tidak tercermin dalam metrik perpleksitas.
• Kemungkinan manipulasi. Metrik ini dapat "dipermainkan". Model yang mengalami overfitting akan menunjukkan perpleksitas yang sangat rendah secara artifisial pada data yang telah "dihafalnya". Penelitian (Wang et al., 2022) juga menunjukkan bahwa penduplikasian fragmen teks atau bahkan ketiadaan titik di akhir kalimat dapat menurunkan atau menaikkan perpleksitas secara tidak wajar, tanpa memengaruhi kualitas teks secara nyata.

Kesimpulan: Peran Perpleksitas Saat Ini

Mempertimbangkan keterbatasan yang telah disebutkan, dalam praktik modern perpleksitas dipandang sebagai indikator pendukung dan awal kualitas model bahasa. Metrik ini tetap menjadi alat yang berharga untuk evaluasi cepat dan debugging model, karena tidak bergantung pada tugas aplikasi tertentu dan mudah dihitung.

Namun, untuk evaluasi LLM yang komprehensif, perpleksitas saja tidak cukup. Saat ini, perpleksitas wajib dilengkapi dengan metrik eksternal (extrinsic) yang terkait dengan tugas-tugas tertentu, seperti:

• Akurasi jawaban atas pertanyaan;
• Penilaian manusia (human evaluation);
• BLEU/ROUGE untuk penerjemahan mesin dan peringkasan.

Bersama metode-metode tersebut, perpleksitas terus memainkan peran penting — sebagai ukuran objektif "kejutan" model — namun hasilnya selalu diinterpretasikan dengan mempertimbangkan keterbatasan yang telah disebutkan.

Referensi

• Artikel «Perpleksitas dalam Model Bahasa» di Habr
• Dokumentasi Hugging Face tentang perhitungan perpleksitas

Daftar Pustaka

• Jelinek, F., Bahl, L. R., & Mercer, R. L. (1977). Perplexity — a Measure of the Difficulty of Speech Recognition Tasks. JASA:62(S1):S63.
• Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing (edisi ke-3, Bab 3: N-gram Language Models). PDF.
• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI white paper.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wang, C. et al. (2022). Perplexity by PLM Is Unreliable for Evaluating Text Quality. arXiv:2210.05892.
• Meister, C., & Cotterell, R. (2021). Language Model Evaluation Beyond Perplexity. arXiv:2106.00085.
• Hu, Y. et al. (2024). Can Perplexity Reflect Large Language Model's Ability in Long Text Understanding?. arXiv:2405.06105.
• Lazaridou, A. et al. (2021). Mind the Gap: Assessing Temporal Generalization in Neural Language Models. NeurIPS 2021.