Pagbabawas ng mga Error sa LLM

Pagbabawas ng mga error sa malalaking language model (LLM) — ito ay isang hanay ng mga pamamaraan at teknolohiya na naglalayong mapataas ang katumpakan, pagiging maaasahan, at kaligtasan ng mga sistema ng artificial intelligence na nakabatay sa transformer architecture. Ang problema ng mga error, lalo na ang mga hallucination, ay isa sa mga pangunahing hadlang sa malawak na paggamit ng LLM sa mahahalagang larangan. Ayon sa mga pananaliksik noong 2024–2025, ang dalas ng mga hallucination sa mga publicly available na LLM ay mula 3% hanggang 16%.

Tipolohiya ng mga Error

Ang modernong klasipikasyon ng mga error ng LLM ay kinabibilangan ng ilang pangunahing kategorya, na ang bawat isa ay nangangailangan ng mga espesipikong diskarte sa mitigasyon (pagpapagaan ng mga kahihinatnan).

Mga Hallucination

Mga Hallucination ay ang paglikha ng kapani-paniwalang ngunit hindi wastong nilalaman. Ayon sa pananaliksik ni Huang et al. (2023), mayroong dalawang pangunahing uri:

• Mga factual na hallucination — pagkakaiba mula sa mga nabe-beripikang katotohanan, kabilang ang paglikha ng mga hindi umiiral na katotohanan (fabrication). Sa isang pananaliksik noong 2024, natuklasan ng Stanford University na nalikha ng mga LLM ang mahigit 120 na hindi umiiral na kaso sa korte.
• Mga lohikal na hallucination — paglabag sa lohikal na pagkakasunod-sunod sa pangangatwiran.

Ang mga estadistika ng 2024 ay nagpapakita na ang mga chatbot ay nagha-hallucinate sa 27% ng mga kaso, habang ang 46% ng mga nabuong teksto ay naglalaman ng mga factual na error.

Mga Sistematikong Pagkiling (Bias)

Ang mga pagkiling sa LLM ay nagpapakita sa anyo ng mga panlipunang pagkiling (halimbawa, pag-uugnay ng mga propesyon sa isang tiyak na kasarian) at mga pagkakaiba sa demograpiko sa pagganap. Ipinakita ng mga pananaliksik noong 2024 na sa 10 na nasubok na modelo, ang pagkakaiba sa mga marka para sa iba't ibang grupong demograpiko ay maaaring umabot sa 4 puntos mula sa 10.

Toxicity

Ang toxicity ay tinukoy bilang paglikha ng nakakainsulto, mapanganib, o diskriminatoryong nilalaman. Ang sukatan ng toxicity ay nag-iiba-iba sa malawak na hanay depende sa modelo at konteksto ng paggamit.

Mga Pamamaraan ng Pagbabawas ng mga Error

Ang mga estratehiya laban sa mga error ay maaaring nahahati sa dalawang malalaking grupo: mga pamamaraang nagbabago ng modelo at proseso ng pagsasanay, at mga pamamaraang inilalapat sa yugto ng pagtatanggal (inference).

Pagbabago ng Modelo at Proseso ng Pagsasanay

Fine-tuning at Instruction Tuning

Supervised Fine-Tuning (SFT) ay nagbibigay-daan sa pag-angkop ng mga pre-trained na modelo sa mga tiyak na gawain. Para mabawasan ang gastos sa pagkalkula, ginagamit ang mga pamamaraan ng Parameter-Efficient Fine-Tuning (PEFT), tulad ng LoRA at QLoRA, na maaaring bawasan ang gastos sa karagdagang pagsasanay ng hanggang 99% habang pinapanatili ang kahusayan.

Reinforcement Learning mula sa Human Feedback (RLHF)

Ang RLHF — ito ay isang dalawang-yugtong proseso, kung saan una ay sinasamahan ang isang reward model batay sa mga kagustuhan ng tao, at pagkatapos ay ini-optimize ang pangunahing LLM upang makabuo ng mga sagot na nagpapakinabang sa reward na iyon. Ipinakita ng pamamaraan ang kahusayan nito sa mga modelo ng InstructGPT at GPT-4, na lubos na nagpataas ng kanilang pagsasabay sa mga inaasahan ng mga gumagamit.

Constitutional AI

Ina-unlad ng kumpanyang Anthropic, ang pamamaraan ng Constitutional AI ay isang alternatibo sa RLHF. Sa halip na direktang feedback mula sa tao, ang modelo ay sinasamahan na sundin ang isang hanay ng mga prinsipyo ("konstitusyon"). Binabawasan nito ang pangangailangan para sa pangangasiwa ng tao ng 80–90% at epektibong pinipigilan ang paglikha ng mapanganib na nilalaman.

Mga Solusyon sa Arkitektura

• Mixture of Experts (MoE): Arkitektura na may sparse activation, na nagbibigay-daan na malaki ang pagtaas ng kapasidad ng modelo nang walang proporsyonal na pagtaas ng gastos sa pagkalkula. Ipinapalagay na gumagamit ang GPT-4 ng 8 eksperto na may 220 bilyong parameter bawat isa.
• Mga pagbabago sa mekanismo ng attention: Ang mga teknik tulad ng Grouped Query Attention (GQA) (sa mga modelo ng Llama 3) at Sparse Attention ay nagbabawas ng computational complexity at mga kinakailangan sa memorya, na nagbibigay-daan sa pagproseso ng mas mahabang mga konteksto.

Mga Pamamaraan sa Yugto ng Pagtatanggal (Inference)

Retrieval-Augmented Generation (RAG)

Ang RAG — isa sa pinaka-epektibong pamamaraan para mabawasan ang mga factual na error. Bago bumuo ng sagot, ang sistema ay bumibisita sa isang external na knowledge base (halimbawa, Wikipedia, dokumentasyon ng korporasyon, mga siyentipikong artikulo), kumukuha ng kaugnay na impormasyon at inilalapat ito sa modelo kasama ang orihinal na kahilingan. Ito ay "nagpapatibay" ng sagot sa mga beripikadong katotohanan. Ang mga sistema ng RAG ay nakakamit ng 56.8% exact match sa benchmark na TriviaQA at nangunguna sa mga tradisyonal na modelo ng 60–80% sa pagbabawas ng mga factual na error.

Mga Advanced na Teknik ng Prompting

• Chain-of-Thought (CoT): Prompting na humihikayat sa modelo na bumuo ng sunud-sunod na kadena ng pangangatwiran bago magbigay ng panghuling sagot. Ito ay lubos na nagpapabuti ng mga resulta sa mga gawaing nangangailangan ng lohikal at matematikal na pagkalkula.
• Chain of Draft (CoD): Ebolusyon ng CoT, kung saan ang modelo ay paulit-ulit na nag-e-edit ng mga draft ng sagot nito, na nagbibigay-daan upang makamit ang katumpakang maihahambing sa CoT habang gumagamit ng mas kaunting token.

Intrinsic Self-Correction

Ipinakita ng mga pananaliksik ng TACL noong 2024 na ang kakayahan ng LLM na mag-self-correct nang walang external na impormasyon ay limitado. Ang epektibong self-correction, sa pangkalahatan, ay nangangailangan ng paggamit ng mga external na kasangkapan, tulad ng mga interpreter ng code para sa pagbeberipika ng mga kalkulasyon o mga search engine para sa pag-validate ng mga katotohanan.

Mga Pamamaraan ng Pagtatasa ng mga Error

Para sukatin ang pag-unlad sa pagbabawas ng mga error, ginagamit ang mga espesyalisadong sukatan at benchmark.

• Mga tradisyonal na sukatan: Perplexity, BLEU at ROUGE. Kapaki-pakinabang ang mga ito para sa pagtatasa ng pagdaloy at pagtutugma ng n-gram, ngunit mahina ang pagtatasa ng factual na katumpakan.
• Mga modernong diskarte:
  • FactScore ay nagkakahati-hati ng mga mahabang teksto sa mga atomic na katotohanan at tinatasa ang bahagdan ng mga katotohanang kinukumpirma ng knowledge base.
  • SAFE (Search-Augmented Factuality Evaluator) — pamamaraan mula sa Google, na gumagamit ng paghahanap para sa pag-verify ng mga katotohanan at nakakamit ng 72% na pagsasabay sa mga pagtatasa ng tao, na gumagana nang 20 beses na mas mura.
  • TruthfulQA — benchmark na nakatuon sa kakayahan ng mga modelo na umiwas sa paglikha ng mga popular na maling paniniwala.

Talasanggunian

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.