Намаляване на грешките в LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Намаляване на грешките в големите езикови модели (LLM) — това е комплекс от методи и технологии, насочени към повишаване на точността, надеждността и сигурността на системите за изкуствен интелект, базирани на трансформерна архитектура. Проблемът с грешките, по-специално халюцинациите, е един от ключовите бариери за широкото внедряване на LLM в критично важни области. Според изследвания от 2024–2025 г., честотата на халюцинациите в публично достъпните LLM варира от 3% до 16%[1].

Типология на грешките

Съвременната класификация на грешките в LLM включва няколко основни категории, всяка от които изисква специфични подходи за митигация (смекчаване на последствията).

Халюцинации

Халюцинациите представляват генериране на правдоподобно, но фактически невярно съдържание. Според изследването на Хуанг и др. (2023) се разграничават два основни типа[2]:

  • Фактически халюцинации — разминаване с проверими факти, включително създаване на несъществуващи факти (фабрикация). В изследване от 2024 г. Станфордският университет установи, че LLM са измислили над 120 несъществуващи съдебни дела[3].
  • Логически халюцинации — нарушаване на логическата последователност в разсъжденията.

Статистиката от 2024 г. показва, че чатботовете халюцинират в 27% от случаите, като 46% от генерираните текстове съдържат фактически грешки[3].

Систематични отклонения (Bias)

Отклоненията в LLM се проявяват под формата на социални предразсъдъци (например асоциации на професии с определен пол) и демографски различия в производителността. Изследвания от 2024 г. показаха, че сред 10 тествани модела разликата в оценките за различни демографски групи може да достигне 4 точки от 10.

Токсичност

Токсичността се определя като генериране на обидно, вредно или дискриминационно съдържание. Метриката за токсичност варира в широк диапазон в зависимост от модела и контекста на използване.

Методи за намаляване на грешките

Стратегиите за борба с грешките могат да се разделят на две големи групи: методи, модифициращи модела и процеса на обучение, и методи, прилагани на етапа на извод (инференс).

Модификация на модела и процеса на обучение

Fine-tuning и Instruction Tuning

Supervised Fine-Tuning (SFT) позволява адаптирането на предварително обучени модели към специфични задачи. За намаляване на изчислителните разходи се прилагат методи Parameter-Efficient Fine-Tuning (PEFT), като LoRA и QLoRA, които могат да намалят разходите за дообучение до 99% при запазване на ефективността.

Обучение с подкрепление на базата на обратна връзка от човек (RLHF)

RLHF — това е двуетапен процес, при който първо се обучава модел за възнаграждение въз основа на човешки предпочитания, а след това основният LLM се оптимизира за генериране на отговори, които максимизират това възнаграждение. Методът доказа своята ефективност в моделите InstructGPT и GPT-4, значително повишавайки тяхното съответствие с очакванията на потребителите[4].

Constitutional AI

Разработен от компанията Anthropic, методът Constitutional AI е алтернатива на RLHF. Вместо пряка обратна връзка от човек, моделът се обучава да следва набор от принципи („конституция"). Това намалява необходимостта от човешки надзор с 80–90% и ефективно предотвратява генерирането на вредоносно съдържание[5].

Архитектурни решения

  • Mixture of Experts (MoE): Архитектура с разредена активация, позволяваща значително увеличаване на капацитета на модела без пропорционален ръст на изчислителните разходи. Предполага се, че GPT-4 използва 8 експерта с по 220 млрд. параметъра всеки.
  • Модификации на механизма за внимание: Техники като Grouped Query Attention (GQA) (в моделите Llama 3) и Sparse Attention намаляват изчислителната сложност и изискванията към паметта, позволявайки обработка на по-дълги контексти.

Методи на етапа на извод (инференс)

Retrieval-Augmented Generation (RAG)

RAG — един от най-ефективните методи за намаляване на фактическите грешки. Преди генерирането на отговор системата се обръща към външна база от знания (например Уикипедия, корпоративна документация, научни статии), извлича релевантна информация и я предава на модела заедно с първоначалната заявка. Това „заземява" отговора върху проверени факти. Системите RAG постигат 56,8% exact match на benchmark-а TriviaQA и превъзхождат традиционните модели с 60–80% в намаляването на фактическите грешки.

Напреднали техники за промптване

  • Chain-of-Thought (CoT): Промптване, което подтиква модела да генерира стъпка по стъпка верига от разсъждения, преди да даде окончателен отговор. Това значително подобрява резултатите при задачи, изискващи логически и математически изчисления.
  • Chain of Draft (CoD): Еволюция на CoT, при която моделът итеративно редактира чернови на своя отговор, което позволява постигане на съпоставима с CoT точност при използване на значително по-малко token-и.

Вътрешна самокорекция (Intrinsic Self-Correction)

Изследванията на TACL от 2024 г. показаха, че способността на LLM за самокорекция без външна информация е ограничена. Ефективната самокорекция, като правило, изисква използването на външни инструменти, като интерпретатори на код за проверка на изчисления или търсачки за валидиране на факти[6].

Методи за оценка на грешките

За измерване на напредъка в намаляването на грешките се използват специализирани метрики и benchmark-и.

  • Традиционни метрики: Perplexity, BLEU и ROUGE. Те са полезни за оценка на плавността и съвпадението на n-грами, но се справят слабо с оценката на фактическата точност.
  • Съвременни подходи:
    • FactScore разлага дълги текстове на атомарни факти и оценява процента факти, потвърдени от базата знания.
    • SAFE (Search-Augmented Factuality Evaluator) — метод от Google, който използва търсене за проверка на факти и постига 72% съгласуваност с оценките на човека, работейки 20 пъти по-евтино.
    • TruthfulQA — benchmark, фокусиран върху способността на моделите да избягват генерирането на популярни заблуди.

Литература

  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
  • Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
  • Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
  • Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
  • Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
  • Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
  • Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.

Бележки

  1. ↑ «Hallucination Leaderboard». Vectara. (2024-2025). Проверено 4 июля 2025.
  2. ↑ Huang, L., et al. (2023). «A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions». arXiv:2311.05232.
  3. ↑ 3.0 3.1 Stanford Human-Centered AI (2024). «AI Index Report 2024».
  4. ↑ OpenAI (2024). «Learning to Reason with LLMs». Technical Blog.
  5. ↑ Anthropic (2024). «Constitutional AI: Harmlessness from AI Feedback». Research Paper.
  6. ↑ «When Can LLMs Actually Correct Their Own Mistakes?». Transactions of the Association for Computational Linguistics. (2024).
Retrieved from "https://systems-analysis.info/int/index.php?title=Намаляване_на_грешките_в_LLM&oldid=8717"