PaLM (Pathways Language Model) (DE)

PaLM (Pathways Language Model) ist eine Familie von großen Sprachmodellen (LLM), die von Google entwickelt wurde. Die erste Version des Modells, die im April 2022 vorgestellt wurde, umfasste 540 Milliarden Parameter und war zu diesem Zeitpunkt eines der größten Sprachmodelle der Welt. Sie zeigte bahnbrechende Fähigkeiten, die das Ergebnis einer massiven Skalierung waren.

Die technologische Schlüsselgrundlage von PaLM ist Pathways, eine neue Systemarchitektur für maschinelles Lernen von Google, die eine effiziente Koordination verteilter Berechnungen auf Tausenden von Beschleunigerchips ermöglicht. PaLM war die erste groß angelegte Demonstration dieses Systems und zeigte eine beispiellose Trainingseffizienz bei enormen Skalierungen.

Das Pathways-System: Die Grundlage für die Skalierung

Das 2021 von Google vorgestellte Konzept Pathways sah die Schaffung eines einzigen neuronalen Netzes vor, das in der Lage ist, Wissen über verschiedene Domänen hinweg effizient zu generalisieren und Tausende von Aufgaben gleichzeitig auszuführen. PaLM war die erste groß angelegte Anwendung dieses Systems: Das Training wurde auf 6144 spezialisierten TPU v4-Prozessoren parallelisiert, die in zwei Cloud-Clustern (TPU v4 Pods) zusammengefasst waren.

Zum Zeitpunkt seiner Erstellung war dies die größte TPU-Konfiguration, die jemals für das Training eines einzigen Modells verwendet wurde. Das System erreichte eine Rekordeffizienz bei der Auslastung der Hardware-Ressourcen (57,8 % FLOPs), was es ermöglichte, frühere Projekte in Bezug auf den Maßstab deutlich zu übertreffen und ein Modell mit über einer halben Billion Parametern erfolgreich zu trainieren.

Architektur und Trainingsdaten

Modellarchitektur

PaLM ist ein dichtes (dense) Sprachmodell mit einer Decoder-Only-Architektur, ähnlich den Modellen der GPT-Serie. Diese Architektur ist auf die Vorhersage des nächsten Tokens ausgerichtet und eignet sich gut für die Textgenerierung. Im Gegensatz zur Standard-Transformer-Architektur verwendet PaLM mehrere entscheidende Modifikationen zur Effizienzsteigerung:

• Parallele Schichten: Aufmerksamkeitsmechanismen und vollständig verbundene Schichten werden parallel berechnet, was eine Beschleunigung des Trainings um etwa 15 % ermöglichte.
• SwiGLU-Aktivierung: Die Verwendung der SwiGLU-Aktivierungsfunktion anstelle der Standard-ReLU, was die Qualität des Modells erheblich verbesserte.

Trainingsdaten

PaLM wurde auf einem hochwertigen Datenkorpus von 780 Milliarden Token trainiert. Der Datensatz war mehrsprachig und vielfältig und umfasste:

• Hochwertige Webdokumente und Bücher.
• Artikel aus Wikipedia.
• Dialoge aus sozialen Netzwerken (50 % des Korpus).
• Quellcode von GitHub (5 % des Korpus).

Etwa 78 % der Daten waren auf Englisch, die restlichen 22 % bildeten einen mehrsprachigen Datensatz. Für die Tokenisierung wurde eine spezielle „verlustfreie“ Methode verwendet, die alle Leerzeichen (entscheidend für Code) beibehielt und nicht erkannte Unicode-Zeichen in Bytes aufspaltete.

Fähigkeiten und Ergebnisse

Emergente Fähigkeiten und Few-Shot-Learning

PaLM zeigte, dass die Skalierung des Modells, des Datenvolumens und der Rechenleistung zu emergenten (unerwartet auftretenden) Fähigkeiten führen kann. Bei vielen Aufgaben stieg die Leistung des Modells erst bei Erreichen des maximalen Maßstabs stark und nichtlinear an, was auf das Auftreten neuer, bisher nicht beobachteter Fähigkeiten hindeutete.

Das Modell wurde im Few-Shot-Learning-Modus (ohne Feinabstimmung, mit nur wenigen Beispielen im Prompt) evaluiert und übertraf frühere große Modelle (wie GPT-3 und LaMDA) in 28 von 29 gängigen NLP-Benchmarks. Auf dem umfassenden Aufgabensatz BIG-bench war PaLM das erste Modell, dessen Ergebnisse das durchschnittliche Niveau menschlicher Testpersonen übertrafen.

Schlussfolgern mittels Gedankenkette (Chain-of-Thought)

Eine der bemerkenswertesten Errungenschaften von PaLM war die Fähigkeit zum mehrstufigen logischen Schlussfolgern unter Verwendung der „Chain-of-Thought“-Prompting-Technik. Diese Methode besteht darin, dem Modell Beispiele vorzulegen, in denen die Lösung einer Aufgabe schrittweise dargelegt wird. Nach dem Training mit solchen Beispielen war PaLM in der Lage, eine eigene „Gedankenkette“ zu generieren, um neue komplexe Aufgaben zu lösen, wie zum Beispiel:

• Mathematische Aufgaben: Im Test GSM8K (Aufgaben auf Grundschulniveau) löste PaLM 58 % der Aufgaben und übertraf damit das bisherige State-of-the-Art-Ergebnis, das von einem feingetunten Modell erzielt wurde.
• Aufgaben zum gesunden Menschenverstand: Das Modell konnte ausführliche Erklärungen für nicht-triviale Aufgaben generieren, zum Beispiel die Deutung von zuvor unbekannten Witzen.

Diese Fähigkeit machte den „Denkprozess“ des Modells transparenter und menschenähnlicher.

Codegenerierung und Mehrsprachigkeit

Obwohl Quellcode nur 5 % der Trainingsdaten ausmachte, zeigte PaLM bei Aufgaben zur Codegenerierung und -transformation eine Leistung, die mit dem spezialisierten Modell OpenAI Codex vergleichbar war. Das Modell demonstrierte auch starke Fähigkeiten bei mehrsprachigen Aufgaben, einschließlich Übersetzungen.

Evolution und Nachfolger: Die PaLM-Familie

PaLM wurde zur Grundlage für eine ganze Familie von Modellen, die von Google entwickelt wurden.

PaLM 2

Das im Mai 2023 vorgestellte PaLM 2 ist ein effizienterer und mehrsprachiger Nachfolger. Anstatt die Anzahl der Parameter zu erhöhen, wurde der Schwerpunkt auf die Qualität der Trainingsdaten und die Effizienz der Architektur gelegt. PaLM 2 wurde auf Texten in über 100 Sprachen trainiert und zeigt verbesserte Fähigkeiten in den Bereichen Logik, Programmierung und Übersetzung. Das Modell wird in vier Größen (von der kleinsten zur größten) veröffentlicht: Gecko, Otter, Bison und Unicorn. Die kompakteste Variante (Gecko) ist leicht genug, um offline auf mobilen Geräten zu laufen.

Spezialisierte Versionen

Auf der Grundlage von PaLM und PaLM 2 wurden Versionen für spezifische Domänen entwickelt:

• Med-PaLM 2: Ein spezialisiertes Modell für die Medizin. Es war das erste KI-System, das bei Fragen des US-amerikanischen medizinischen Lizenexamen (USMLE) Expertenniveau erreichte.
• Sec-PaLM 2: Ein auf Cybersicherheit ausgerichtetes Modell, das darauf trainiert ist, Schwachstellen zu erkennen und bösartigen Code zu analysieren.

PaLM-E: Eine multimodale Version

PaLM-E (Pathways Language Model Embodied) ist ein multimodales Modell, das das Sprachmodell PaLM mit visuellen Daten aus einem Vision Transformer (ViT) kombiniert. Dies ermöglicht dem Modell, sowohl Text als auch Bilder zu verarbeiten, um Aufgaben zu lösen, die mit der physischen Welt zusammenhängen, wie zum Beispiel die Steuerung von Robotern.

Ethische Aspekte und Einschränkungen

Die Entwickler von PaLM betonen die Notwendigkeit eines verantwortungsvollen Ansatzes bei der Entwicklung großer Sprachmodelle. In der offiziellen wissenschaftlichen Veröffentlichung wurde eine Analyse möglicher Verzerrungen (Bias) und Toxizität im generierten Text durchgeführt. Um Transparenz zu gewährleisten, veröffentlichte Google eine Model Card und ein Datasheet für PaLM, in denen die Eigenschaften des Datensatzes, Testergebnisse und identifizierte Einschränkungen dokumentiert sind. Diese Maßnahmen entsprechen modernen Praktiken der verantwortungsvollen KI und zielen darauf ab, die Risiken im Zusammenhang mit Vorurteilen und der Generierung schädlicher Inhalte zu verringern.

Weblinks

• Offizieller Google-Blog über PaLM
• PaLM API für Entwickler

Literatur

• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. arXiv:2204.02311.
• Anil, R. et al. (2023). PaLM 2 Technical Report. arXiv:2305.10403.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• Singhal, K. et al. (2022). Large Language Models Encode Clinical Knowledge. arXiv:2212.13138.
• Singhal, K. et al. (2023). Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
• Barham, P. et al. (2022). Pathways: Asynchronous Distributed Dataflow for ML. arXiv:2203.12533.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Schaeffer, R. et al. (2023). Are Emergent Abilities of Large Language Models a Mirage?. arXiv:2304.15004.
• Lu, S. et al. (2023). Are Emergent Abilities in Large Language Models just In-Context Learning?. arXiv:2309.01809.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Diao, S. et al. (2023). Active Prompting with Chain-of-Thought for Large Language Models. arXiv:2302.12246.