Reducerea erorilor LLM

Reducerea erorilor în modelele lingvistice mari (LLM) reprezintă un ansamblu de metode și tehnologii destinate creșterii preciziei, fiabilității și siguranței sistemelor de inteligență artificială bazate pe arhitectura transformer. Problema erorilor, în special a halucinațiilor, constituie unul dintre principalele obstacole în calea adoptării largi a LLM în domenii critice. Conform cercetărilor din 2024–2025, frecvența halucinațiilor în LLM disponibile public variază între 3% și 16%.

Tipologia erorilor

Clasificarea modernă a erorilor LLM include mai multe categorii principale, fiecare necesitând abordări specifice de mitigare.

Halucinații

Halucinațiile reprezintă generarea de conținut plauzibil, dar factual incorect. Conform studiului lui Huang et al. (2023), se disting două tipuri principale:

• Halucinații factuale — discrepanță față de fapte verificabile, inclusiv crearea de fapte inexistente (fabricare). Într-un studiu din 2024, Universitatea Stanford a constatat că LLM au inventat peste 120 de cazuri juridice inexistente.
• Halucinații logice — încălcarea coerenței logice în raționamente.

Statisticile din 2024 arată că roboții de conversație halucinează în 27% din cazuri, iar 46% dintre textele generate conțin erori factuale.

Distorsiuni sistematice (Bias)

Distorsiunile în LLM se manifestă sub formă de prejudecăți sociale (de exemplu, asocierea profesiilor cu un anumit gen) și diferențe demografice în performanță. Cercetările din 2024 au arătat că, dintre 10 modele testate, diferența de scoruri între grupurile demografice poate atinge 4 puncte din 10.

Toxicitate

Toxicitatea este definită ca generarea de conținut ofensator, dăunător sau discriminatoriu. Metrica toxicității variază într-un interval larg în funcție de model și de contextul de utilizare.

Metode de reducere a erorilor

Strategiile de combatere a erorilor pot fi împărțite în două mari grupe: metode care modifică modelul și procesul de antrenare, și metode aplicate în etapa de inferență.

Modificarea modelului și a procesului de antrenare

Fine-tuning și Instruction Tuning

Supervised Fine-Tuning (SFT) permite adaptarea modelelor pre-antrenate la sarcini specifice. Pentru reducerea costurilor computaționale se aplică metode de Parameter-Efficient Fine-Tuning (PEFT), precum LoRA și QLoRA, care pot reduce costurile de fine-tuning cu până la 99%, menținând totodată eficiența.

Antrenarea prin reinforcement learning pe baza feedback-ului uman (RLHF)

RLHF este un proces în două etape, în cadrul căruia se antrenează mai întâi un model de recompensă pe baza preferințelor umane, iar apoi LLM-ul principal este optimizat pentru a genera răspunsuri care maximizează această recompensă. Metoda și-a demonstrat eficiența în modelele InstructGPT și GPT-4, îmbunătățind semnificativ alinierea acestora cu așteptările utilizatorilor.

Constitutional AI

Dezvoltată de compania Anthropic, metoda Constitutional AI reprezintă o alternativă la RLHF. În loc de feedback direct din partea oamenilor, modelul este antrenat să urmeze un set de principii („constituție"). Aceasta reduce necesitatea supravegherii umane cu 80–90% și previne eficient generarea de conținut dăunător.

Soluții arhitecturale

• Mixture of Experts (MoE): Arhitectură cu activare sparsă, care permite creșterea semnificativă a capacității modelului fără o creștere proporțională a costurilor computaționale. Se presupune că GPT-4 utilizează 8 experți cu câte 220 de miliarde de parametri fiecare.
• Modificări ale mecanismului de atenție: Tehnici precum Grouped Query Attention (GQA) (în modelele Llama 3) și Sparse Attention reduc complexitatea computațională și cerințele de memorie, permițând procesarea unor contexte mai lungi.

Metode în etapa de inferență

Retrieval-Augmented Generation (RAG)

RAG este una dintre cele mai eficiente metode de reducere a erorilor factuale. Înainte de generarea răspunsului, sistemul accesează o bază de cunoștințe externă (de exemplu, Wikipedia, documentație corporativă, articole științifice), extrage informații relevante și le transmite modelului împreună cu interogarea inițială. Acest lucru „ancorează" răspunsul în fapte verificate. Sistemele RAG ating 56,8% exact match pe benchmark-ul TriviaQA și depășesc modelele tradiționale cu 60–80% în reducerea erorilor factuale.

Tehnici avansate de prompting

• Chain-of-Thought (CoT): Prompting care îndeamnă modelul să genereze un lanț de raționament pas cu pas înainte de a oferi răspunsul final. Aceasta îmbunătățește semnificativ rezultatele în sarcinile care necesită raționament logic și calcule matematice.
• Chain of Draft (CoD): O evoluție a CoT, în care modelul editează iterativ ciornele răspunsului său, permițând obținerea unei precizii comparabile cu CoT folosind un număr semnificativ mai mic de token-uri.

Autocorectare intrinsecă (Intrinsic Self-Correction)

Cercetările TACL din 2024 au arătat că capacitatea LLM de autocorectare fără informații externe este limitată. Autocorectarea eficientă necesită, de regulă, utilizarea unor instrumente externe, precum interpretoare de cod pentru verificarea calculelor sau motoare de căutare pentru validarea faptelor.

Metode de evaluare a erorilor

Pentru măsurarea progresului în reducerea erorilor se utilizează metrici și benchmark-uri specializate.

• Metrici tradiționale: Perplexity, BLEU și ROUGE. Acestea sunt utile pentru evaluarea fluenței și a potrivirii n-gramelor, dar nu gestionează bine evaluarea preciziei factuale.
• Abordări moderne:
  • FactScore descompune textele lungi în fapte atomice și evaluează procentul de fapte confirmate de baza de cunoștințe.
  • SAFE (Search-Augmented Factuality Evaluator) — o metodă de la Google care utilizează căutarea pentru verificarea faptelor și atinge 72% concordanță cu evaluările umane, funcționând de 20 de ori mai ieftin.
  • TruthfulQA — un benchmark axat pe capacitatea modelelor de a evita generarea de concepții greșite populare.

Bibliografie

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.