Mga Benchmark ng LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Mga benchmark ng malalaking modelo ng wika — ito ay mga standardisadong hanay ng mga pagsubok na inilaan para sa pagsukat, paghahambing, at pagsusuri ng kalidad at mga kakayahan ng malalaking modelo ng wika (LLM)[1]. Karaniwang ang bawat benchmark ay kumakatawan sa isang nakapirming hanay ng mga gawain (halimbawa, mga tanong, teksto, o mga instruksyon), kung saan ang mga tamang sagot o pamantayan ng pagsusuri ay nalalaman nang maaga. Tinitiyak ng ganitong paraan ang layuning paghahambing ng iba't ibang modelo sa magkaparehong kondisyon, na nagbibigay-daan sa pagsubaybay ng pag-unlad sa larangan at pagtukoy ng mga kalakasan at kahinaan ng mga modelo[2].

Ang regular na paggamit ng mga benchmark ay gumaganap ng pangunahing papel sa pag-unlad ng LLM, hinihikayat ang mga developer na pagbutihin ang mga modelo at tinitiyak ang transparency at pagkakatulad ng mga resulta sa siyentipikong komunidad. Ang ebolusyon ng mga benchmark ay sumasalamin sa pag-unlad ng mga LLM mismo: mula sa mga simpleng gawain sa pag-unawa ng wika hanggang sa mga komprehensibong pagsubok na sumusubok ng multi-step na pangangatuwiran, sentido komun, etika, at kaligtasan[3].

Mga Pangunahing Kategorya at Halimbawa

Sasaklaw ang mga benchmark ng LLM sa iba't ibang kasanayan at larangan ng aplikasyon. Sa ibaba ay tinalakay ang mga pangunahing kategorya at ang pinakakilalang mga hanay ng gawain sa bawat isa sa kanila.

Pangkalahatang Pag-unawa sa Wika

Sinusuri ng kategoryang ito ang mga pangunahing kakayahan ng modelo sa pag-unawa at interpretasyon ng natural na wika.

  • GLUE (General Language Understanding Evaluation, 2019) — isa sa mga unang komprehensibong benchmark, na kinabibilangan ng ilang iba't ibang gawain: mula sa pagtukoy ng tono hanggang sa pagsusuri ng lohikal na pagkakaugnay ng teksto. Ang mga resulta sa lahat ng gawain ay pinagsama-sama sa isang solong marka, na nagpahintulot sa paghahambing ng mga maagang modelo batay sa kanilang kabuuang kahusayan[4].
  • SuperGLUE (2019) — ang "pinahusay" na kahalili ng GLUE, na binuo bilang tugon sa mabilis na pagkamit ng mga modelo ng antas malapit sa tao. Kasama sa SuperGLUE ang mga mas mahirap na gawain na nangangailangan ng malalim na pag-unawa sa konteksto at kakayahang gumawa ng mga konklusyon[5].
  • WinoGrande (2019) — isang pinalawak na bersyon ng Winograd Schema quiz. Naglalaman ng 44 libong gawain sa paglutas ng mga malabong panghalip sa mga pangungusap na nangangailangan ng sentido komun para sa pagpili ng tamang interpretasyon[6].

Mga Multi-task at Komprehensibong Benchmark

Sinusubukan ng mga hanay na ito ang mga modelo sa malawak na hanay ng kaalaman at kasanayan, na lumalagpas sa mga purong lingguwistikong gawain.

  • MMLU (Massive Multitask Language Understanding, 2020) — isang koleksyon ng mga gawaing quiz na sumasaklaw sa 57 larangan ng paksa: mula sa mga paksang pang-eskwelahan hanggang sa mga lubhang espesyalisadong propesyonal na kaalaman (abogasya, medisina). Sinusukat ng MMLU ang lawak ng erudisyon ng modelo[7].
  • BIG-bench (Beyond the Imitation Game Benchmark, 2022) — ang pinakamalaking kolaboratibong benchmark sa oras ng paglikha nito, na binuo ng mahigit 400 may-akda. Kinabibilangan ito ng mahigit 200 gawain sa iba't ibang paksa, mula sa lingguwistika hanggang sa pisika, upang subukan ang mga modelo nang higit pa sa pattern matching at tukuyin ang kanilang mga hangganan sa mga hindi karaniwang sitwasyon[8].

Sentido Komun at Katotohanan

Sinusuri ng mga benchmark na ito ang kakayahan ng modelo na gumawa ng lohikal na mga konklusyon tungkol sa mga pang-araw-araw na sitwasyon at umiwas sa pagpapakalat ng maling impormasyon.

  • HellaSwag (2019) — sinusubukan ang sentido komun sa pamamagitan ng gawain ng pagpili ng pinaka-makatotohanang pagpapatuloy para sa isang paglalarawan ng sitwasyon. Ang tampok ng benchmark — ang pagkakaroon ng mga "bitag": ang mga maling sagot ay awtomatikong nabuo at mukhang napaka-kapani-paniwala, na nangangailangan ng malalim na pag-unawa sa konteksto mula sa modelo[9].
  • TruthfulQA (2021) — sinusukat ang posibilidad na ang modelo ay magpakalat ng mga popular na mito at maling kuru-kuro. Naglalaman ng mga tanong kung saan ang karaniwang sagot sa internet ay mali (halimbawa, "Nagdudulot ba ng autism ang mga bakuna?"). Ang modelo ay kailangang huwag sumunod sa mga maling stereotipo at magbigay ng katotohanang tamang sagot[10].

Mga Gawaing Matematikal

  • GSM8K (2021) — naglalaman ng libu-libong tekstwal na mga gawaing matematikal na antas ng elementarya. Ang bawat gawain ay nangangailangan ng pagganap ng isang pagkakasunud-sunod ng 2–8 aritmetikong hakbang upang makuha ang sagot, na sinusubukan ang kakayahan ng modelo sa multi-step na pangangatuwiran[11].
  • MATH (2021) — isang mas kumplikadong hanay na binubuo ng mga gawaing mula sa mga matematikang olimpiyada at kumpetisyon. Kasama ang mga seksyon ng algebra, geometry, at teorya ng numero, na nangangailangan mula sa modelo ng pag-aaral ng mga hindi-trivial na paraan ng paglutas[12].

Paglikha ng Code ng Programa

  • HumanEval (2021) — isang pamantayang pagsubok para sa pagsusuri ng kakayahan ng LLM na sumulat ng code. Naglalaman ng 164 gawaing pangprograma, kung saan ang modelo ay dapat lumikha ng tamang code sa Python batay sa ibinigay na paglalarawan. Ang kawastuhan ay sinusuri gamit ang mga unit test[13].
  • SWE-bench (2023) — isang mas makatotohanang benchmark na nangongolekta ng mga paglalarawan ng tunay na mga problema (issues) mula sa GitHub. Ang modelo ay dapat lumikha ng patch (fragment ng code) na nag-aalis ng problema. Nangangailangan ito ng pag-unawa sa malaking dami ng ibang tao's code at kumplikadong hakbang-hakbang na pangangatuwiran[14].

Pagsusuri ng Mga Dialogong Modelo

  • Chatbot Arena (2024) — isang bukas na online na platform kung saan dalawang anonymous na modelo ang nakikilahok sa isang pares na diyalogo sa gumagamit. Pagkatapos ng diyalogo, ang gumagamit ay bumoboto kung kanino ang mas magandang sagot. Batay sa libu-libong ganitong "duwelo" ay nabubuo ang Elo rating ng mga kagustuhan ng gumagamit, na sumasalamin sa kalidad ng mga modelo sa buhay na komunikasyon[15].
  • MT-Bench (2023) — isang automated na benchmark para sa stress testing ng mga kakayahan sa diyalogo. Naglalaman ito ng 80 pares ng mga tanong na ginagaya ang isang multi-turn na diyalogo. Ang mga sagot ng mga modelo ay sinusuri ng ibang, mas makapangyarihang LLM ("LLM-as-a-judge", halimbawa GPT-4) ayon sa isang nakatakdang sukat[16].

Kaligtasan at Pagiging Mapagkakatiwalaan

  • AgentHarm (2024) — isang benchmark na sinusuri ang posibilidad na ang mga LLM agent ay magsagawa ng mga mapanganib na instruksyon. Kasama ang 110 senaryo na kumakatawan sa mga mapanlinlang na gawain (mula sa panloloko hanggang sa mga cybercrime). Ang isang magandang modelo ay dapat tumanggi sa pagganap ng mga ganitong kahilingan[17].
  • SafetyBench (2023) — isang malawak na hanay ng mahigit 11 libong tanong na sinusuri kung gaano katatag na iniiwasan ng modelo ang paglikha ng hindi katanggap-tanggap na nilalaman at mga mapanganib na payo, kabilang ang mga nagpaprovoke na kahilingan[18].

Mga Limitasyon at Kasalukuyang Problema

  • Kontaminasyon ng data: Ang pangunahing banta sa kredibilidad ng pagsusuri — ang pagtagas ng data ng pagsubok sa mga hanay ng pagsasanay. Maaaring isaulo ng modelo ang mga sagot, na artipisyal na nagpapataas ng resulta nito[2].
  • Saturation ng mga benchmark: Habang umuunlad ang mga modelo, ang kanilang pagganap sa mga lumang benchmark (tulad ng GLUE) ay umaabot sa kisame, at ang pagsubok ay tumigil sa pagiging kapaki-pakinabang para sa pagtatangi ng mga bago, mas makapangyarihang modelo. Nangangailangan ito ng patuloy na pagbuo ng mga mas kumplikadong etalon[2].
  • Agwat sa katotohanan: Ang mataas na mga resulta sa mga benchmark ay hindi laging ginagarantiyahan ang maaasahang operasyon ng modelo sa mga tunay, hindi nakaistraktura na senaryo. Ang tunay na kapaligiran ay madalas na mas mayaman at mas hindi mahuhulaan kaysa sa anumang nakapirming hanay ng mga gawain[1].

Mga Sanggunian

  • Open LLM Leaderboard — bukas na rating ng mga modelo mula sa komunidad ng Hugging Face
  • Chatbot Arena Leaderboard — rating ng mga chat model batay sa mga kagustuhan ng tao

Mga Tala

  1. ↑ 1.0 1.1 «What Are LLM Benchmarks?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 «20 LLM evaluation benchmarks and how they work». Evidently AI. [2]
  3. ↑ Wang, Alex; Singh, Amanpreet; Michael, Julian; et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv. [4]
  4. ↑ Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». arXiv. [5]
  5. ↑ Sakaguchi, Keisuke; Le Bras, Ronan; Bhagavatula, Chandra; Choi, Yejin. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv. [6]
  6. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; et al. «Measuring Massive Multitask Language Understanding». arXiv. [7]
  7. ↑ Srivastava, Aarohi; et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv. [8]
  8. ↑ Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv. [9]
  9. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain. «TruthfulQA: Measuring How Models Mimic Human Falsehoods». arXiv. [10]
  10. ↑ Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; et al. «Training Verifiers to Solve Math Word Problems». arXiv. [11]
  11. ↑ Hendrycks, Dan; Burns, Collin; Saund, Saurav; et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv. [12]
  12. ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; et al. «Evaluating Large Language Models Trained on Code». arXiv. [13]
  13. ↑ Jimenez, Carlos E.; et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [14]
  14. ↑ Chiang, Wei-Lin; et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preferences». lmsys.org. [15]
  15. ↑ Zheng, Lianmin; et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv. [16]
  16. ↑ Andriushchenko, Maksym; et al. «AgentHarm: A Benchmark for Asessing Agentic AI Harm». arXiv. [17]
  17. ↑ Zhang, Zhexin; et al. «SafetyBench: A Comprehensive Benchmark for Evaluating the Safety of Large Language Models». arXiv. [18]
Retrieved from "https://systems-analysis.info/int/index.php?title=Mga_Benchmark_ng_LLM&oldid=4352"