LLM-hallucinációk

From Systems analysis Wiki
Jump to navigation Jump to search

Hallucináció (ang. hallucination) a nagy nyelvi modellek (LLM) kontextusában az a jelenség, amelynek során a modell magabiztosan generál hitelesnek látszó (plausible) választ, amely valójában nem felel meg a valóságnak, az adott kontextusnak, vagy belső ellentmondást tartalmaz[1][2]. A modell tényeket, részleteket vagy logikai következtetéseket „talál ki", amelyek nem szerepelnek a forrásadatokban.

Fontos megjegyezni, hogy a hallucináció nem hiba vagy bug a hagyományos értelemben. A modell úgy működik, ahogyan megtervezték: a szöveges adatokból kinyert minták alapján a legvalószínűbb folytatást jósolja meg. Nincs beépített igazságellenőrző mechanizmusa[3]. A hallucinációk abban különböznek az egyszerű hibáktól, hogy magabiztosan előadott, de hamis információt tartalmaznak, amelybe gyakran nem létező tények, hivatkozások vagy események kerülnek[4]. Ez a jelenség olyannyira jelentőssé vált, hogy 2023-ban a Cambridge-i szótár új jelentést adott a „hallucination\" terminusnak, amelyet a mesterséges intelligenciával kapcsolatban használnak[5].

A hallucinációk meghatározása és osztályozása

Bár különböző terminusokat használnak (például „konfabuláció\", „kitalálás\"), az LLM-ek hallucinációi két fő kategóriába sorolhatók: a tényszerű hitelességgel összefüggők és a forráshoz való hűséggel (kontextuális koherenciával) összefüggők[6].

Tényszerű hallucinációk

Ez az az eset, amikor a modell tényszerűen téves információt közöl a valós világról. A modell hamis „tényt\" igazságként állít be[1].

  • Példa: „Charles Lindbergh volt az első ember, aki a Hold felszínére lépett" – teljesen kitalált tény.
  • Hamis idézetek és hivatkozások: A modell kitalálhat egy nem létező tudományos munkára vagy törvényre való hivatkozást, utánozva egy valódi hivatkozás formátumát[2]. Ez aláássa a modellek iránti bizalmat, különösen olyan alkalmazásokban, ahol pontosság szükséges (oktatás, hírek, tanácsadás)[7].

Logikai hibák

A modell következetlenséget vagy hibát követ el az érvelésben. Az egyes tények a válaszban helyesek lehetnek, de a következtetés logikátlan vagy ellentmond az elemi logikának[2]. Ez gyakran összetett érvelési feladatoknál, matematikai és oksági problémáknál fordul elő, ahol a modell szavak valószínűségi kapcsolataival operál, nem formális logikával[2][2].

  • Példa: „Mivel a madarak repülnek, az űrhajósok nem érzik a gravitációt" – a szöveg összefüggőnek tűnik, de logikailag helytelen.

Kontextuális hallucinációk

A modell válasza nem egyezik meg az adott kontextussal vagy utasítással. A modell „kiesik\" a kontextusból, felesleges információkat ad hozzá, vagy figyelmen kívül hagyja a szükségeseket[1].

  • Utasítás megsértése: Amikor a modellt arra kérik, hogy „fordítsa le a szöveget spanyolra\", angolul válaszol[1].
  • Nem a forrásból származó információ: Összefoglalási feladatnál a modell az eredeti dokumentumban nem szereplő tényeket „ad hozzá\", vagy eltorzítja azokat[1].
  • Kontextusok keveredése: A válasz közepén a modell hirtelen egy másik területről kezd beszélni. Például az NBA-komisszár Adam Silver kapcsán feltett kérdésre a modell átválthat elődjére, David Stern-re, összekeverve a két különböző kontextust[6].

Inkonzisztencia

A hallucináció egy olyan változata, amelynél a modell egyetlen válaszon belül vagy válaszok sorozatában ellentmond önmagának[6]. Egy kutatásban azt találták, hogy a ChatGPT válaszainak önellentmondásossági aránya körülbelül 14%[6][6].

  • Példa: „Az X vállalatot 1990-ben alapították... majd néhány mondattal később ...az X vállalat, amelyet 2000-ben hoztak létre..."

Hallucinációk kódban

A kódon tanított LLM-ek szintaktikailag helyes, de nem működő kódrészleteket generálhatnak, amelyek nem létező függvényeket, könyvtárakat vagy paramétereket használnak[2]. Például a modell generálhat `import quantum` sort Pythonban, noha ilyen szabványos modul nem létezik. 2024-ben bevezették a „code hallucination\" terminust, és létrehozták a CodeMirage benchmarkot a probléma rendszerezésére[8].

A kialakulás okai

A hallucinációk jelensége tényezők összességéből fakad, a modell architektúrájától az adatok minőségéig.

  • Architektúra és tanítási elv: A legtöbb LLM (például a GPT) autoregresszív transformer, amelyet a következő token előrejelzésére tanítottak. Céljuk a szöveg valószínűségének maximalizálása, nem az állítások igazságának ellenőrzése[2]. A modell nem különbözteti meg a tényeket és a fikciót a tanítóadatokban, mindent szöveges mintaként érzékel[2].
  • A tanítóadatok minősége: Az LLM-eket az internetről származó hatalmas szövegkorpuszokon tanítják, amelyek számos pontatlanságot, mítoszt és elavult információt tartalmaznak[1]. A modell megjegyzi és reprodukálja ezeket a hibákat. Szintén fontos a knowledge cutoff – az az időpont, ameddig a modellnek van információja.
  • A szöveggenerálás módja: A generálás sztochasztikus jellege (hőmérséklettel való mintavételezés) lehetővé teszi, hogy a modell „kreatívabb\", de kevésbé pontos válaszokat hozzon létre. A korlátozott kontextushossz ahhoz vezethet, hogy a modell „elfelejti\" a párbeszéd korábbi részleteit, és ellentmond önmagának[6].

Értékelési és mérési módszerek

A hallucinációk felderítésére és mérésére automatikus metrikákat, emberi értékelést és speciális benchmarkokat alkalmaznak.

  • Automatikus metrikák: Olyan megközelítéseket foglalnak magukban, ahol egy másik LLM „bíróként\" (LLM-as-a-judge) értékeli a válasz helyességét[9], vagy elemzik a modell entrópiáját (bizonytalanságát) generálás közben[10].
  • Emberi annotáció: Az „arany standardnak\" számít. Szakértők vagy crowd-értékelők manuálisan értékelik a válaszokat, megjelölve a hibákat. Ezt a módszert alkalmazzák a modellek RLHF-fel való tanításakor[11].
  • Benchmarkok és stressztesztek: Speciális adathalmazokat hoztak létre, mint például a TruthfulQA, amely olyan kérdéseket tartalmaz, amelyek arra provokálják a modellt, hogy elterjedt mítoszokat reprodukáljon[12]. Léteznek olyan ranglista oldalak is, mint például a Hugging Face Hallucination Leaderboard, ahol a modellek hallucinációs szintje szerint hasonlítják össze őket[13].

A mérséklés és megelőzés módszerei

  • Retrieval-Augmented Generation (RAG): A legsikeresebb megközelítés, amely „hozzáköti\" a modellt a külső tudáshoz. A válasz generálása előtt a modell releváns információt kap egy adatbázisból, keresőrendszerből vagy API-ból. Ez lehetővé teszi a modell számára, hogy válaszát ellenőrzött adatokra alapozza, ne pedig találgatásokra[2].
  • Gondolatláncok (Chain-of-Thought) és önellenőrzés: A modell először lépésről lépésre generálja az érvelést, mielőtt megadja a végső választ, ami növeli a pontosságot. Fejlettebb módszerekben, mint a Self-Verification, a modell vázlatos választ generál, majd feladatot kap annak ellenőrzésére és javítására[14].
  • Beépített szabályok és szűrők: A modelleket arra tanítják, hogy megtagadják a választ, ha nem biztosak. Például az Anthropic Claude modelljei a „szavahihetőség\" elvét követik, és gyakran válaszolnak azzal, hogy „Nem tudok erről biztosan...\", ahelyett hogy tényeket találnának ki[11].
  • Integráció külső eszközökkel: Az olyan modellek, mint a Gemini, automatikusan felismerhetik, mikor van szükségük külső eszközre (például kalkulátorra számításokhoz vagy keresőre friss hírekhez), és azt használják, ami jelentősen csökkenti a hallucinációk számát[11].

Kockázatok és következmények

  • Jogi és reputációs kockázatok: A jogi szférában a hallucinációknak komoly következményei lehetnek. Széles körben ismertté vált a Mata v. Avianca (2023) eset, amelyben egy ügyvéd ChatGPT-t használt bírósági precedensek keresésére, és az több nem létező ügyet talált ki. Az ügyvédeket megbírságolták, az incidens pedig tanulságos példává vált arra, hogy az AI-ban nem szabad ellenőrzés nélkül megbízni[1].
  • Dezinformáció terjedése: Társadalmi szinten az LLM-ek fokozhatják az álhírek problémáját. Ismert a Meta Galactica modelljének esete, amelyet tudósok segítésére hoztak létre, de pszeudotudományos szövegeket kezdett generálni kitalált kísérletekkel és hivatkozásokkal. Három nappal a nyilvános közzététel után a modellhez való hozzáférést lezárták[15].
  • Téves döntések meghozatala: A felhasználók, különösen a kevésbé tapasztaltak, hajlamosak megbízni az AI magabiztosan megfogalmazott válaszaiban, ami pénzügyi, orvosi és más kritikus területeken helytelen döntésekhez vezethet[7].

Gyakorlati példák

  • Az Air Canada-eset (2023): A légitársaság chatbotja egy nem létező jegy-visszatérítési politikát talált ki. Amikor az ügyfél kérte annak alkalmazását, a vállalat megtagadta. A kanadai Közlekedési Törvényszék kötelezte az Air Canadát, hogy viselje a felelősséget a chatbotja által közölt információkért, és térítse meg az ügyfél kárát[9].
  • Rágalmazási per az OpenAI ellen (2023): Mark Walters rádióműsorvezető beperelte az OpenAI-t, mert a ChatGPT egy újságíró megkeresésére adott válaszában tévesen megvádolta őt csalással. Ez az eset rávilágított arra, hogy a vállalatoknak jogi felelősségük van a modelljeik által generált tartalmakért[6].

Hivatkozások

  • The Beginner's Guide to Hallucinations in Large Language Models – részletes útmutató a Lakerától
  • Survey of Hallucination in Natural Language Generation – tudományos áttekintés a jelenségről az arXiv-on

Irodalom

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Megjegyzések

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.info/int/index.php?title=LLM-hallucinációk&oldid=3573"