In-Context Learning (DE)

From Systems analysis Wiki
Jump to navigation Jump to search

In-Context Learning (ICL) ist die fundamentale Fähigkeit von großen Sprachmodellen (LLMs), neue Aufgaben „on the fly“ zu erlernen, indem sie ausschließlich Beispiele (Demonstrationen) verwenden, die im Kontext (Prompt) einer Anfrage bereitgestellt werden. Das Schlüsselmerkmal dabei ist, dass dieser Anpassungsprozess ohne Aktualisierung der Modellgewichte (Parameter) stattfindet, also ohne traditionelles Fine-Tuning.[1][2]

Dieser Mechanismus ermöglicht es den Modellen, eine erstaunliche Flexibilität zu zeigen und Aufgaben zu lösen, für die sie nicht speziell trainiert wurden. ICL ist zu einem der entscheidenden Durchbrüche geworden, der große Sprachmodelle so leistungsstark und vielseitig gemacht hat.[3]

Funktionsweise

Das genaue Verständnis der Funktionsweise von ICL bleibt ein aktives Forschungsgebiet, jedoch gibt es mehrere führende Theorien, die dieses Phänomen erklären.

Transformer als Meta-Optimierer

Eine populäre Theorie besagt, dass die Transformer-Architektur während des Vortrainings lernt, Lernalgorithmen in ihren Forward-Passes (Vorwärtsdurchläufen) zu implementieren. Wenn das Modell einen Prompt mit Beispielen erhält, führt es implizit eine Art Optimierung durch, um die dargestellte Aufgabe zu lösen, indem es seine internen Zustände (Aktivierungen) anpasst, nicht aber die Gewichte.[4]

Bayessche Inferenz

Eine andere Theorie betrachtet ICL als eine Form der bayesschen Inferenz. Ein Modell, das auf riesigen Datenmengen vortrainiert wurde, verfügt über ein A-priori-Wissen über eine Vielzahl von Konzepten. Die Beispiele im Kontext dienen als Evidenz, die es dem Modell ermöglicht, seine A-posteriori-Wahrscheinlichkeitsverteilung über verborgene Konzepte zu verfeinern. Mit anderen Worten, die Beispiele helfen dem Modell zu „verstehen“, welche der Tausenden ihm bekannten Aufgaben gerade gelöst werden muss.[5]

Arten des In-Context Learning

Abhängig von der Anzahl der bereitgestellten Beispiele wird ICL in drei Haupttypen unterteilt.

  • Few-Shot Learning (Lernen mit wenigen Beispielen): Dies ist der gebräuchlichste und ausgewogenste Ansatz. Dem Modell werden einige (normalerweise 2 bis 10) Demonstrationsbeispiele zur Verfügung gestellt.

Beispiel (Sentiment-Klassifikation): 

Text: "Was für ein wunderschöner Tag!"
Sentiment: Positiv

Text: "Ich hasse es, im Stau zu stehen."
Sentiment: Negativ

Text: "Dieser Film war ziemlich durchschnittlich."
Sentiment:

Erwartete Antwort: 

Neutral
  • One-Shot Learning (Lernen mit einem Beispiel): Dem Modell wird nur ein einziges Beispiel gegeben. Dies reicht oft aus, um das Antwortformat festzulegen und die Leistung im Vergleich zum Zero-Shot-Ansatz erheblich zu verbessern.
  • Zero-Shot Learning (Lernen ohne Beispiele): Dem Modell werden keine Beispiele, sondern nur eine Anweisung oder eine Beschreibung der Aufgabe gegeben. In diesem Fall verlässt sich das Modell vollständig auf das Wissen, das es während des Vortrainings erworben hat.

Praktische Anwendung

Die richtige Anwendung von ICL ermöglicht die Lösung einer breiten Palette von Aufgaben ohne kostspielige Entwicklung und Feinabstimmung.

  • Für kreative und stilistische Aufgaben (Generierung von Code in einem bestimmten Stil, Verfassen von Texten im Stil eines bestimmten Autors):
    • Empfohlen wird Few-Shot Learning.
    • Beispiele helfen dem Modell, den gewünschten Stil, das Format und die Struktur der Ausgabe zu erfassen.
  • Für einfache Aufgaben mit klaren Anweisungen (Übersetzung, Zusammenfassung, Beantwortung einfacher Fragen):
    • Oft ist Zero-Shot Learning ausreichend.
    • Moderne Modelle bewältigen solche Aufgaben recht gut, wenn sie Teil ihres Vortrainings waren.
  • Für Aufgaben, bei denen das Ausgabeformat wichtig ist (Generierung von JSON, Entitätsextraktion):
    • Empfohlen wird One-Shot oder Few-Shot Learning.
    • Schon ein einziges Beispiel kann die erforderliche Antwortstruktur klar vorgeben und Formatierungsfehler verhindern.

Vor- und Nachteile

Vergleich der Vor- und Nachteile von ICL
Vorteile Nachteile
  • Flexibilität und Geschwindigkeit: Sofortige Anpassung an neue Aufgaben ohne Notwendigkeit eines erneuten Trainings.
  • Ressourceneinsparung: Erfordert keine Datensammlung, Annotation oder Rechenleistung für das Fine-Tuning.
  • Zugänglichkeit: Ermöglicht es Nutzern ohne ML-Expertise, Modelle mithilfe einfacher Textbeispiele anzupassen.
  • Begrenzung des Kontextfensters: Die Anzahl der Beispiele ist durch die maximale Kontextlänge des Modells limitiert.
  • Sensitivität gegenüber Beispielen: Das Ergebnis hängt stark von der Qualität, Reihenfolge und dem Format der bereitgestellten Demonstrationen ab.
  • Hohe Kosten bei der Inferenz: Lange Prompts mit vielen Beispielen erhöhen die Kosten und die Generierungszeit.
  • Sicherheitsrisiken: Die Übermittlung vertraulicher Informationen als Beispiele kann unsicher sein.

Vergleich mit anderen Paradigmen

ICL vs. Fine-Tuning

Fine-Tuning (Feinabstimmung) verändert die Gewichte des Modells und „prägt“ ihm neues Wissen ein. Dies macht das Modell zu einem Experten auf einem engen Gebiet, verringert aber seine allgemeine Flexibilität. ICL hingegen verändert die Gewichte nicht und ist flexibler, kann aber bei hochspezialisierten Aufgaben, die tiefes Domänenwissen erfordern, leistungsschwächer sein.

ICL vs. RAG (Retrieval-Augmented Generation)

Beide Methoden erweitern den Kontext des Modells, jedoch für unterschiedliche Zwecke:

  • ICL verwendet Beispiele, um dem Modell zu lehren, wie es eine Aufgabe ausführen soll (Demonstration einer Fähigkeit).
  • RAG verwendet abgerufene Informationen, um dem Modell die für die Antwort notwendigen Fakten mitzuteilen (Bereitstellung von Wissen).

In der Praxis werden ICL und RAG oft kombiniert, um die besten Ergebnisse zu erzielen.

Literatur

  • Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
  • Dai, D. et al. (2022). Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers. arXiv:2212.10559.
  • Panwar, M.; Ahuja, K.; Goyal, N. (2024). In-Context Learning through the Bayesian Prism. arXiv:2306.04891.
  • Müller, S. et al. (2021). Transformers Can Do Bayesian Inference. arXiv:2112.10510.
  • Garg, S. et al. (2022). What Can Transformers Learn In-Context? A Case Study of Simple Function Classes. arXiv:2208.01066.
  • Min, S. et al. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?. arXiv:2202.12837.
  • Wang, X. et al. (2023). Explaining and Finding Good Demonstrations for In-Context Learning. arXiv:2302.13971.
  • Xie, S. et al. (2024). A Survey on In-Context Learning. arXiv:2301.00234.
  • Yu, Z.; Ananiadou, S. (2024). How Do Large Language Models Learn In-Context? Query and Key Matrices of In-Context Heads Are Two Towers for Metric Learning. arXiv:2402.02872.
  • Wibisono, K. C.; Wang, Y. (2024). From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When. arXiv:2406.00131.
  • Chan, J. K. et al. (2022). Data Distributional Properties Drive Emergent In-Context Learning in Transformers. arXiv:2205.05055.
  • Hahn, M.; Goyal, N. (2023). A Theory of Emergent In-Context Learning as Implicit Structure Induction. arXiv:2303.07971.

Einzelnachweise

  1. ↑ What is In-Context Learning (ICL)? // Lakera.ai
  2. ↑ In-Context Learning (ICL) // Hopsworks.ai
  3. ↑ In-Context Learning, In Context // The Gradient
  4. ↑ Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers // arXiv, 2022.
  5. ↑ Understanding In-Context Learning // Stanford Human-Centered AI, 2023.
Retrieved from "https://systems-analysis.info/int/index.php?title=In-Context_Learning_(DE)&oldid=3198"