ELO-Peringkat Model

From Systems analysis Wiki
Jump to navigation Jump to search

ELO-peringkat model bahasa — adalah metode evaluasi dan perbandingan model bahasa besar (LLM) yang didasarkan pada sistem peringkat Elo yang telah diadaptasi, yang awalnya dikembangkan untuk catur. Pendekatan ini menggunakan perbandingan berpasangan antar model berdasarkan preferensi manusia untuk membuat satu peringkat terpadu yang mencerminkan performa relatif model-model tersebut[1].

Berbeda dengan benchmark tradisional yang mengukur indikator absolut pada tugas-tugas tertentu, sistem ELO menentukan kemampuan relatif model berdasarkan perbandingan langsung jawaban-jawaban mereka oleh penilai manusia. Prinsip utamanya adalah bahwa pengguna membandingkan jawaban dua model anonim terhadap permintaan yang sama dan memilih pilihan terbaik. Berdasarkan preferensi tersebut, peringkat setiap model dihitung, di mana peringkat yang lebih tinggi menunjukkan keunggulan dalam penilaian manusia[2].

Sejarah Perkembangan

Asal-usul Sistem ELO

Sistem peringkat ELO dikembangkan oleh fisikawan keturunan Hungaria-Amerika Arpad Elo (Arpad Emrick Elo, 1903–1992) pada tahun 1960-an untuk menilai keahlian pemain catur. Elo, seorang profesor fisika, menciptakan sistem ini sebagai penyempurnaan dari sistem Harkness yang sudah ada, yang memiliki kelemahan signifikan dalam keakuratan penilaian[3].

  • 1960: Federasi Catur Amerika Serikat (USCF) secara resmi mengadopsi sistem Elo.
  • 1970: Federasi Catur Dunia (FIDE) mulai menggunakan sistem tersebut[4].

Adaptasi untuk Model Bahasa

Penerapan ELO untuk evaluasi LLM dimulai dengan peluncuran platform LMSYS Chatbot Arena pada 3 Mei 2023. Platform ini dibuat oleh organisasi LMSYS (Large Model Systems Organization) — sebuah kolaborasi peneliti dari UC Berkeley SkyLab, UC San Diego, dan Carnegie Mellon University[5].

Metodologi

Dasar-dasar Matematis

Rumus Klasik ELO

Rumus klasik ELO untuk menghitung probabilitas yang diharapkan dari kemenangan model A atas model B: `P(A > B) = 1 / (1 + 10^((R_B - R_A) / 400))` di mana `R_A` dan `R_B` adalah peringkat model saat ini.

Pembaruan peringkat setelah perbandingan dilakukan menggunakan rumus: `R'_A = R_A + K × (S_A - E_A)` di mana `K` adalah koefisien pengembangan (faktor-K), `S_A` adalah hasil aktual (1 untuk menang, 0,5 untuk seri, 0 untuk kalah), dan `E_A` adalah hasil yang diharapkan[4].

Model Bradley-Terry

Platform modern, termasuk LMSYS Chatbot Arena, telah beralih ke model Bradley-Terry, yang merupakan pendekatan yang lebih berdasar secara statistik. Probabilitas preferensi model `i` atas model `j` dihitung sebagai:

`P(i > j) = e^(β_i) / (e^(β_i) + e^(β_j))` di mana `β_i` dan `β_j` adalah koefisien (peringkat) model yang diestimasi dengan metode kemungkinan maksimum[2]. Metode ini lebih stabil dan menunjukkan kesesuaian yang lebih baik dengan preferensi manusia[6].

Proses Evaluasi di Chatbot Arena

  1. Perbandingan anonim: Pengguna berinteraksi dengan dua model anonim secara paralel.
  2. Pemungutan suara: Setelah menerima jawaban, pengguna memilih pilihan yang lebih disukai.
  3. Pengungkapan identitas: Nama model ditampilkan hanya setelah pemungutan suara.
  4. Pembaruan peringkat: Peringkat diperbarui berdasarkan hasil pemungutan suara, biasanya dengan pemrosesan batch untuk meningkatkan stabilitas[2].

Kelebihan dan Kekurangan

Kelebihan

  • Kesederhanaan dan kemudahan interpretasi: Sistem mudah dipahami dan diimplementasikan.
  • Skalabilitas: Memungkinkan evaluasi sejumlah besar model tanpa memerlukan perbandingan berpasangan yang lengkap.
  • Kesesuaian dengan preferensi manusia: Peringkat secara langsung mencerminkan preferensi nyata pengguna, bukan metrik yang abstrak.

Kekurangan dan Keterbatasan

  • Masalah keandalan: Perhitungan ELO individual dapat menunjukkan volatilitas yang signifikan.
  • Pelanggaran transitivitas: Sistem tidak selalu memenuhi kondisi A>B dan B>C → A>C, yang merupakan keterbatasan mendasar.
  • Ketergantungan pada ukuran sampel: Untuk mendapatkan peringkat yang stabil, diperlukan sampel yang besar (ratusan hingga ribuan perbandingan)[6].
  • Bias dalam penilaian: Hasil dapat menjadi condong karena preferensi pengguna terhadap jawaban yang lebih panjang atau terformat secara stilistis, serta perbedaan budaya penilai.

Kesimpulan

ELO-peringkat merupakan alat penting dalam ekosistem evaluasi model bahasa, menyediakan cara yang intuitif untuk membandingkan model-model tersebut berdasarkan preferensi manusia. Meskipun platform seperti LMSYS Chatbot Arena telah berhasil, metode ini memiliki keterbatasan mendasar, termasuk masalah transitivitas dan keandalan. Peralihan dari ELO klasik ke model Bradley-Terry merupakan penyempurnaan penting, namun masa depan evaluasi LLM kemungkinan akan terletak pada kombinasi berbagai pendekatan untuk mendapatkan gambaran yang lebih lengkap tentang kemampuan model.

Tautan

  • Situs resmi LMSYS Chatbot Arena
  • Papan peringkat LMSYS Chatbot Arena

Literatur

  • Elo, A. E. (1978). The Rating of Chessplayers, Past and Present. Arco Publishing. archive.org.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Daynauth, R. et al. (2025). Ranking Unraveled: Recipes for LLM Rankings in Head-to-Head AI Combat. arXiv:2411.14483.
  • Liu, Y. et al. (2024). Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators. arXiv:2403.16950.
  • Chatzi, I.; Straitouri, E.; Thejaswi, S.; Gomez‑Rodriguez, M. (2024). Prediction‑Powered Ranking of Large Language Models. arXiv:2402.17826.
  • Xu, Y.; Ruis, L.; Rocktäschel, T.; Kirk, R. (2025). Investigating Non‑Transitivity in LLM‑as‑a‑Judge. arXiv:2502.14074.
  • Liu, Z. et al. (2025). am‑ELO: A Stable Framework for Arena‑based LLM Evaluation. arXiv:2505.03475.
  • Tang, S.; Wang, Y.; Jin, C. (2025). Is Elo Rating Reliable? A Study Under Model Misspecification. arXiv:2502.10985.
  • Nair, A. et al. (2025). Tournament of Prompts: Evolving LLM Instructions Through Structured Debates and Elo Ratings. arXiv:2506.00178.
  • Ameli, S. et al. (2024). A Statistical Framework for Ranking LLM‑Based Chatbots. arXiv:2412.18407.
  • Huang, J. Y.; Shen, Y.; Wei, D.; Broderick, T. (2025). Dropping Just a Handful of Preferences Can Change Top LLM Rankings. arXiv:2508.11847.
  • Sun, H.; Shen, Y.; Ton, J.‑F. (2024). Rethinking Bradley‑Terry Models in Preference‑Based Reward Modeling: Foundations, Theory, and Alternatives. arXiv:2411.04991.
  • Glickman, M. E. (2025). Paired Comparison Models with Strength‑Dependent Ties and Order Effects. arXiv:2505.24783.
  • Glickman, M. E. (2025). Rating Competitors in Games with Strength‑Dependent Tie Probabilities. arXiv:2506.11354.
  • Hua, H.-F.; Dong, J.; Liu, Z. (2023). Rating of Players by Laplace Approximation and Dynamic Bradley–Terry Model. arXiv:2310.10386.


Catatan

  1. ↑ «Elo Rating for LLMs: A Deep Dive». Medium. [1]
  2. ↑ 2.0 2.1 2.2 «Chatbot Arena: Benchmarking LLMs in the Wild with Elo Ratings». LMSYS Org. [2]
  3. ↑ «Elo rating system». В Wikipedia, The Free Encyclopedia. [3]
  4. ↑ 4.0 4.1 «How Does the Elo Rating System Work?». History Hit. [4]
  5. ↑ «LMSYS Chatbot Arena: The Ultimate LLM Leaderboard». Originality.AI. [5]
  6. ↑ 6.0 6.1 Boubdir, N., et al. «Elo Uncovered: Robustness and Best Practices in Language Model Evaluation». arXiv:2310.09277. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=ELO-Peringkat_Model&oldid=1788"