In-Context Learning (HU)

Kontextuson belüli tanulás (ang. In-Context Learning, ICL) — a nagy nyelvi modellek (LLM) azon alapvető képessége, hogy új feladatokat „menet közben" sajátítsanak el, kizárólag a kérés kontextusában (promptjában) megadott példák (demonstrációk) segítségével. A folyamat kulcsfontosságú jellemzője, hogy ez az alkalmazkodás a modell súlyainak (paramétereinek) frissítése nélkül megy végbe, vagyis hagyományos fine-tuning nélkül.\n\nEz a mechanizmus lehetővé teszi a modellek számára, hogy meglepő rugalmasságot mutassanak, és olyan feladatokat oldjanak meg, amelyekre nem kifejezetten lettek betanítva. Az ICL a nagy nyelvi modellek egyik kulcsfontosságú áttörésévé vált, amely erőteljessé és sokoldalúvá tette őket.\n\n== A működés mechanizmusai ==\nAnnak pontos megértése, hogyan működik az ICL, aktív kutatási terület, azonban több vezető elmélet is létezik, amely magyarázatot ad erre a jelenségre.\n\n=== A transformer mint meta-optimalizáló ===\nAz egyik népszerű elmélet szerint a Transformer architektúra az előzetes betanítás során megtanulja, hogy tanulási algoritmusokat valósítson meg a saját előrepasszain (forward passes) keresztül. Amikor a modell példákat tartalmazó promptot kap, implicit módon egyfajta optimalizálást hajt végre a bemutatott feladat megoldása érdekében, belső állapotait (aktivációit) hangolja, nem pedig a súlyait.\n\n=== Bayes-féle következtetés ===\nEgy másik elmélet az ICL-t a Bayes-féle következtetés egy formájaként értelmezi. A hatalmas adathalmazokon előre betanított modell a priori reprezentációval rendelkezik számos fogalomról. A kontextusban szereplő példák bizonyítékként szolgálnak, amelyek lehetővé teszik a modell számára, hogy finomítsa a rejtett fogalmakra vonatkozó poszterior valószínűségi eloszlását. Más szóval, a példák segítenek a modellnek „megérteni", hogy az általa ismert ezer feladat közül éppen melyiket kell megoldania.\n\n== Az In-Context Learning típusai ==\nA megadott példák számától függően az ICL-t három fő típusra osztják.\n\n* Few-shot Learning (néhány példán alapuló tanulás): Ez a legelterjedtebb és legjobban kiegyensúlyozott megközelítés. A modell néhány (általában 2–10) demonstrációs példát kap.\nPélda (hangulatelemzés): \n

Текст: "Какой прекрасный день!"
Тональность: Позитивная

Текст: "Я ненавижу стоять в пробках."
Тональность: Негативная

Текст: "Этот фильм был довольно средним."
Тональность:

\nVárt válasz:\n

Нейтральная

\n\n* One-shot Learning (egyetlen példán alapuló tanulás): A modell csak egy példát kap. Ez sokszor elegendő ahhoz, hogy meghatározza a válasz formátumát, és jelentősen javítsa a teljesítményt a zero-shot megközelítéshez képest.\n\n* Zero-shot Learning (példa nélküli tanulás): A modell nem kap példákat, csupán utasítást vagy a feladat leírását. Ebben az esetben a modell teljes mértékben az előzetes betanítás során szerzett tudására támaszkodik.\n\n== Gyakorlati alkalmazás ==\nAz ICL helyes alkalmazása lehetővé teszi feladatok széles körének megoldását költséges fejlesztés és fine-tuning nélkül.\n\n* Kreatív és stilisztikai feladatokhoz (kód generálása meghatározott stílusban, szöveg írása egy adott szerző modorában):\n** Few-shot Learning ajánlott.\n** A példák segítenek a modellnek megragadni a kívánt stílust, formátumot és kimeneti struktúrát.\n\n* Egyszerű, egyértelmű utasításokkal rendelkező feladatokhoz (fordítás, összefoglalás, egyszerű kérdések megválaszolása):\n** Gyakran elegendő a Zero-shot Learning.\n** A modern modellek megfelelően boldogulnak az ilyen feladatokkal, ha azok részét képezték az előzetes betanításuknak.\n\n* Olyan feladatokhoz, ahol a kimenet formátuma fontos (JSON generálása, entitások kinyerése):\n** One-shot vagy Few-shot Learning ajánlott.\n** Már egyetlen példa is egyértelműen meghatározhatja a várt válaszstruktúrát, megelőzve a formázási hibákat.\n\n== Előnyök és hátrányok ==\n{| class=\"wikitable\"\n|+ Az ICL előnyeinek és hátrányainak összehasonlítása\n|-\n! Előnyök\n! Hátrányok\n|-\n|\n* Rugalmasság és gyorsaság: Azonnali alkalmazkodás új feladatokhoz újratanítás nélkül.\n* Erőforrás-megtakarítás: Nem igényel adatgyűjtést, annotálást és számítási kapacitást a fine-tuninghoz.\n* Hozzáférhetőség: Lehetővé teszi, hogy az ML-szaktudással nem rendelkező felhasználók is egyszerű szöveges példákkal hangolják a modelleket.\n|\n* A kontextusablak korlátai: A példák száma a modell maximális kontextushosszára korlátozódik.\n* Érzékenység a példákra: Az eredmény nagymértékben függ a megadott demonstrációk minőségétől, sorrendjétől és formátumától.\n* Magas következtetési költségek: A sok példát tartalmazó hosszú promptok növelik a generálás költségét és idejét.\n* Biztonsági kockázatok: Bizalmas információk példaként való megadása nem biztonságos.\n|}\n\n== Összehasonlítás más paradigmákkal ==\n=== ICL vs. Fine-tuning ===\nA Fine-tuning (dohányozás) módosítja a modell súlyait, „beleégetve" az új tudást. Ez a modellt egy szűk szakterület szakértőjévé teszi, de csökkenti általános rugalmasságát. Az ICL ezzel szemben nem változtatja meg a súlyokat, és rugalmasabb, ugyanakkor teljesítményben elmaradhat azokon a szűken specializált feladatokon, ahol mély szakterületi tudás szükséges.\n\n=== ICL vs. RAG (Retrieval-Augmented Generation) ===\nMindkét módszer bővíti a modell kontextusát, de eltérő célokra:\n* Az ICL példákat használ arra, hogy megtanítsa a modellnek, hogyan hajtson végre egy feladatot (készség demonstrálása).\n* A RAG kinyert információkat használ arra, hogy tájékoztassa a modellt a válaszadáshoz szükséges tényekről (tudás biztosítása).\nA gyakorlatban az ICL-t és a RAG-ot gyakran kombinálják a legjobb eredmények elérése érdekében.\n\n== Irodalom ==\n* Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.\n* Dai, D. et al. (2022). Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers. arXiv:2212.10559.\n* Panwar, M.; Ahuja, K.; Goyal, N. (2024). In-Context Learning through the Bayesian Prism. arXiv:2306.04891.\n* Müller, S. et al. (2021). Transformers Can Do Bayesian Inference. arXiv:2112.10510.\n* Garg, S. et al. (2022). What Can Transformers Learn In-Context? A Case Study of Simple Function Classes. arXiv:2208.01066.\n* Min, S. et al. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?. arXiv:2202.12837.\n* Wang, X. et al. (2023). Explaining and Finding Good Demonstrations for In-Context Learning. arXiv:2302.13971.\n* Xie, S. et al. (2024). A Survey on In-Context Learning. arXiv:2301.00234.\n* Yu, Z.; Ananiadou, S. (2024). How Do Large Language Models Learn In-Context? Query and Key Matrices of In-Context Heads Are Two Towers for Metric Learning. arXiv:2402.02872.\n* Wibisono, K. C.; Wang, Y. (2024). From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When. arXiv:2406.00131.\n* Chan, J. K. et al. (2022). Data Distributional Properties Drive Emergent In-Context Learning in Transformers. arXiv:2205.05055.\n* Hahn, M.; Goyal, N. (2023). A Theory of Emergent In-Context Learning as Implicit Structure Induction. arXiv:2303.07971.\n\n== Megjegyzések ==\n\n\n\nTemplate:SEOMeta\n