Halucynacje i nieprawidłowe odpowiedzi LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Halucynacja (ang. hallucination) w kontekście dużych modeli językowych (LLM) to zjawisko, w którym model pewnie generuje pozornie wiarygodną (plausible) odpowiedź, która w rzeczywistości nie odpowiada prawdzie, dostarczonemu kontekstowi lub jest wewnętrznie sprzeczna[1][2]. Model „wymyśla" fakty, szczegóły lub wnioski logiczne, które nie istnieją w danych źródłowych.

Ważne jest, że halucynacja nie jest awarią ani błędem w tradycyjnym rozumieniu. Model działa zgodnie z założeniami projektowymi: przewiduje najbardziej prawdopodobne następstwo tekstu na podstawie wzorców wyekstrahowanych z danych treningowych. Nie posiada wbudowanego mechanizmu weryfikacji prawdziwości[3]. Halucynacje różnią się od zwykłych błędów tym, że stanowią pewnie podaną, lecz fałszywą informację, często obejmującą nieistniejące fakty, odniesienia lub zdarzenia[4]. Zjawisko to stało się na tyle istotne, że w 2023 roku Słownik Cambridge dodał nowe znaczenie terminu „hallucination" odnoszące się do sztucznej inteligencji[5].

Definicje i klasyfikacja halucynacji

Chociaż używane są różne terminy (np. „konfabulacja", „zmyślenie"), halucynacje w LLM można podzielić na dwie główne kategorie: związane z wiarygodnością faktyczną oraz związane z wiernością źródłu (spójnością kontekstową)[6].

Halucynacje faktyczne

Ma to miejsce, gdy model podaje faktycznie błędne informacje o rzeczywistym świecie. Model twierdzi, że fałszywy „fakt" jest prawdą[1].

  • Przykład: „Charles Lindbergh był pierwszym człowiekiem, który stanął na powierzchni Księżyca" — całkowicie zmyślony fakt.
  • Fałszywe cytaty i odniesienia: Model może wymyślić odniesienie do nieistniejącej pracy naukowej lub przepisu prawa, imitując format prawdziwego odesłania[2]. Podważa to zaufanie do modeli, zwłaszcza w zastosowaniach wymagających dokładności (edukacja, wiadomości, doradztwo)[7].

Błędy logiczne

Model popełnia niespójność lub błąd w rozumowaniu. Poszczególne fakty w odpowiedzi mogą być prawdziwe, lecz wniosek jest nielogiczny lub sprzeczny z elementarną logiką[2]. Zdarza się to często w złożonych rozumowaniach lub zadaniach matematycznych i przyczynowo-skutkowych, gdzie model operuje probabilistycznymi powiązaniami słów, a nie formalną logiką[2][2].

  • Przykład: „Ponieważ ptaki latają, astronauci nie odczuwają grawitacji" — tekst wygląda spójnie, lecz jest logicznie błędny.

Halucynacje kontekstowe

Odpowiedź modelu nie odpowiada dostarczonemu kontekstowi lub instrukcji. Model „wypada" z kontekstu, dodając zbędne informacje lub ignorując wymagane[1].

  • Naruszenie instrukcji: Na prośbę „przetłumacz tekst na hiszpański" model odpowiada po angielsku[1].
  • Informacje spoza źródła: W zadaniu podsumowania model „dodaje" fakty nieobecne w oryginalnym dokumencie lub przekręca je[1].
  • Mieszanie kontekstów: W połowie odpowiedzi model nagle zaczyna mówić o czymś z innej dziedziny. Na przykład odpowiadając na pytanie o komisarza NBA Adama Silvera, model może przełączyć się na jego poprzednika Davida Sterna, mieszając dwa różne konteksty[6].

Niespójność

Odmiana halucynacji, w której model zaprzecza sam sobie w obrębie jednej odpowiedzi lub serii odpowiedzi[6]. W jednym z badań stwierdzono, że poziom samo-sprzeczności odpowiedzi ChatGPT wynosi około 14%[6][6].

  • Przykład: „Firma X została założona w 1990 roku... a kilka zdań dalej ...Firma X, powstała w 2000 roku..."

Halucynacje w kodzie

LLM wytrenowane na kodzie mogą generować syntaktycznie poprawne, lecz niedziałające fragmenty, używając nieistniejących funkcji, bibliotek lub parametrów[2]. Na przykład model może wygenerować `import quantum` w Pythonie, choć taki standardowy moduł nie istnieje. W 2024 roku zaproponowano termin „code hallucination" i stworzono benchmark CodeMirage służący do systematyzacji tego problemu[8].

Przyczyny powstawania

Zjawisko halucynacji uwarunkowane jest kombinacją czynników — od architektury modelu po jakość danych.

  • Architektura i zasada uczenia: Większość LLM (np. GPT) to autoregresyjne transformery wytrenowane do przewidywania kolejnego tokenu. Ich celem jest maksymalizacja prawdopodobieństwa tekstu, a nie weryfikacja prawdziwości twierdzeń[2]. Model nie rozróżnia faktów od fikcji w danych treningowych, traktując wszystko jako wzorce tekstowe[2].
  • Jakość danych treningowych: LLM są trenowane na ogromnych korpusach tekstu z Internetu, które zawierają wiele nieścisłości, mitów i nieaktualnych informacji[1]. Model zapamiętuje i odtwarza te błędy. Istotny jest również knowledge cutoff — granica czasowa, do której model posiada informacje.
  • Sposób generowania tekstu: Stochastyczny charakter generowania (próbkowanie z temperaturą) pozwala modelowi tworzyć bardziej „kreatywne", lecz mniej dokładne odpowiedzi. Ograniczona długość kontekstu może powodować, że model „zapomina" wcześniejsze szczegóły dialogu i zaczyna sobie zaprzeczać[6].

Metody oceny i pomiaru

Do wykrywania i mierzenia halucynacji stosuje się automatyczne metryki, ocenę ludzką oraz wyspecjalizowane benchmarki.

  • Automatyczne metryki: Obejmują podejścia, w których inny LLM pełni rolę „sędziego" (LLM-as-a-judge) oceniającego poprawność odpowiedzi[9], lub analizę entropii (niepewności) modelu podczas generowania[10].
  • Adnotacja ludzka: Uważana za „złoty standard". Eksperci lub asesorzy crowdsourcingowi ręcznie oceniają odpowiedzi, oznaczając błędy. Metoda ta jest stosowana przy uczeniu modeli z użyciem RLHF[11].
  • Benchmarki i testy wytrzymałościowe: Stworzone zostały wyspecjalizowane zbiory danych, takie jak TruthfulQA, zawierający pytania prowokujące model do reprodukowania powszechnych mitów[12]. Istnieją również rankingi, np. Hugging Face Hallucination Leaderboard, gdzie modele porównywane są pod względem poziomu halucynacji[13].

Sposoby łagodzenia i zapobiegania

  • Retrieval-Augmented Generation (RAG): Najbardziej skuteczne podejście, które „przywiązuje" model do zewnętrznej wiedzy. Przed wygenerowaniem odpowiedzi model otrzymuje istotne informacje z bazy danych, wyszukiwarki lub API. Pozwala to modelowi opierać odpowiedź na zweryfikowanych danych, a nie na domysłach[2].
  • Łańcuchy rozumowania (Chain-of-Thought) i samokontrola: Model najpierw generuje rozumowanie krok po kroku, zanim udzieli finalnej odpowiedzi, co zwiększa dokładność. W bardziej zaawansowanych metodach, takich jak Self-Verification, model generuje wstępną odpowiedź, a następnie otrzymuje zadanie jej weryfikacji i poprawy[14].
  • Wbudowane reguły i filtry: Modele są trenowane do odmowy odpowiedzi, gdy nie są pewne. Na przykład modele Claude firmy Anthropic stosują zasadę „prawdomówności" i często odpowiadają „Nie wiem dokładnie...", zamiast wymyślać fakty[11].
  • Integracja z zewnętrznymi narzędziami: Modele takie jak Gemini mogą automatycznie rozpoznawać, kiedy potrzebują zewnętrznego narzędzia (np. kalkulatora do obliczeń lub wyszukiwarki do aktualnych wiadomości) i korzystać z niego, co znacznie zmniejsza liczbę halucynacji[11].

Ryzyka i konsekwencje

  • Ryzyko prawne i reputacyjne: W sferze prawniczej halucynacje mogą mieć poważne konsekwencje. Szeroką sławę zyskała sprawa Mata v. Avianca (2023), gdzie adwokat użył ChatGPT do wyszukiwania precedensów sądowych, a ten wymyślił kilka nieistniejących spraw. Adwokaci zostali ukarani grzywną, a incydent stał się przestrogą przed ufaniem AI bez weryfikacji[1].
  • Rozprzestrzenianie dezinformacji: W skali społecznej LLM mogą nasilać problem fałszywych wiadomości. Znany jest przypadek modelu Galactica firmy Meta, stworzonego z myślą o pomocy naukowcom, który zaczął generować pseudonaukowe teksty ze zmyślonymi eksperymentami i odnośnikami. Po trzech dniach publiczny dostęp do modelu został zamknięty[15].
  • Podejmowanie błędnych decyzji: Użytkownicy, zwłaszcza niedoświadczeni, mają tendencję do ufania pewnie sformułowanym odpowiedziom AI, co może prowadzić do podejmowania błędnych decyzji w finansach, medycynie i innych dziedzinach o krytycznym znaczeniu[7].

Przykłady z praktyki

  • Sprawa Air Canada (2023): Chatbot linii lotniczych wymyślił nieistniejącą politykę zwrotu biletów. Gdy klient zażądał jej zastosowania, firma odmówiła. Kanadyjski Trybunał Transportowy zobowiązał Air Canada do poniesienia odpowiedzialności za informacje dostarczone przez jej chatbota i wypłacenia klientowi odszkodowania[9].
  • Pozew o zniesławienie przeciwko OpenAI (2023): Prezenter radiowy Mark Walters pozwał OpenAI za to, że ChatGPT w odpowiedzi na zapytanie dziennikarza fałszywie oskarżył go o oszustwo. Sprawa ta podkreśliła prawną odpowiedzialność firm za treści generowane przez ich modele[6].

Odniesienia

  • The Beginner's Guide to Hallucinations in Large Language Models — szczegółowy przewodnik od Lakera
  • Survey of Hallucination in Natural Language Generation — naukowy przegląd zjawiska w serwisie arXiv

Literatura

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Przypisy

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.info/int/index.php?title=Halucynacje_i_nieprawidłowe_odpowiedzi_LLM&oldid=2824"