Stochastischer Papagei

Stochastischer Papagei (englisch Stochastic parrot) ist eine Metapher aus dem Bereich der künstlichen Intelligenz, die große Sprachmodelle (LLMs) als Systeme beschreibt, die linguistische Formen statistisch plausibel kombinieren können, jedoch kein echtes Verständnis für deren Bedeutung besitzen.

Der Begriff wurde im März 2021 in dem wissenschaftlichen Artikel „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?“ (dt. „Über die Gefahren von stochastischen Papageien: Können Sprachmodelle zu groß sein?“) eingeführt, der auf der FAccT-Konferenz veröffentlicht wurde. Die Autoren waren Emily M. Bender, Timnit Gebru, Angelina McMillan-Major und Margaret Mitchell.

Definition und Konzept

Laut den Autoren des Artikels ist ein stochastischer Papagei „ein System, das Sequenzen linguistischer Formen, die es in seinen umfangreichen Trainingsdaten beobachtet hat, basierend auf probabilistischen Informationen über deren Kombination wahllos aneinanderreiht, jedoch ohne jeden Bezug zur Bedeutung“.

Der Begriff besteht aus zwei Teilen:

• Stochastisch – vom altgriechischen στοχαστικός („auf Vermutungen beruhend“), bezeichnet in der modernen Mathematik einen Prozess, der durch eine zufällige Wahrscheinlichkeitsverteilung bestimmt wird.
• Papagei – ein Verweis auf die Fähigkeit von Papageien, menschliche Sprache zu imitieren, ohne ihre Bedeutung zu verstehen.

Das Konzept besagt, dass LLMs, die darauf trainiert sind, das nächste Wort in einer Sequenz vorherzusagen, im Wesentlichen komplexe Autovervollständigungssysteme sind, die Symbole manipulieren, ohne Zugang zu deren Bedeutung zu haben.

Hauptargumente des Artikels „On the Dangers of Stochastic Parrots“

In der Arbeit werden vier Hauptkategorien von Risiken hervorgehoben, die mit der Entwicklung übermäßig großer Sprachmodelle verbunden sind.

1. Unerkennbare Trainingsdaten

LLMs werden auf riesigen, nicht annotierten Datensätzen trainiert, die aus dem Internet gesammelt werden (z. B. Common Crawl). Solche Datensätze enthalten unweigerlich Voreingenommenheit (Bias), toxische Sprache und hegemoniale Sichtweisen, die schutzbedürftigen Gruppen schaden. Beispielsweise repräsentieren Internetinhalte überproportional weiße Männer aus Industrieländern (67 % der Reddit-Nutzer in den USA sind Männer).

2. Mangel an echtem Sprachverständnis

Die Autoren argumentieren, dass LLMs kein echtes Sprachverständnis besitzen. Sie beziehen sich auf die Theorie, dass Sprache ein Zeichensystem ist, in dem die Form (das Wort) untrennbar mit der Bedeutung (dem Sinn) verbunden ist. Die Trainingsdaten für LLMs enthalten nur die Form, wodurch dem Modell der Zugang zur Bedeutung verwehrt wird. Daher imitieren LLMs lediglich sinnvolle Sprache.

3. Synthetischer Text und potenzieller Schaden

Da LLMs grammatikalisch korrekten und überzeugenden Text generieren, neigen Menschen dazu, ihm Bedeutung beizumessen und ihm zu vertrauen. Dies birgt das Risiko der Verbreitung von Desinformation, Hassrede und Betrug. Je perfekter die Nachahmung, desto größer ist das Risiko, dass Menschen die Fähigkeiten der KI überschätzen und ihr kritische Entscheidungen anvertrauen.

Wissenschaftlicher Einfluss und Kontroverse um die Veröffentlichung

Der Artikel stand im Mittelpunkt eines großen Skandals bei Google, wo zu dieser Zeit die Mitautorinnen Timnit Gebru und Margaret Mitchell arbeiteten. Ende 2020, während des internen Peer-Review-Prozesses, forderte die Google-Führung die Autoren auf, den Artikel zurückzuziehen oder die Namen der Google-Mitarbeiter daraus zu entfernen.

Timnit Gebru, eine führende Forscherin im Bereich KI-Ethik, weigerte sich, dieser Forderung nachzukommen, was im Dezember 2020 zu ihrer Entlassung bei Google führte. Im Februar 2021 wurde auch Margaret Mitchell entlassen, die sich zur Unterstützung von Gebru geäußert hatte. Diese Ereignisse lösten eine breite öffentliche Empörung aus. Mehr als 2.200 Google-Mitarbeiter und Tausende von Vertretern der akademischen Welt unterzeichneten einen Protestbrief, in dem sie dem Unternehmen wissenschaftliche Zensur und die Unterdrückung von Forschung vorwarfen, die seine kommerziellen Interessen berühren könnte. Schließlich wurde der Artikel im März 2021 auf der FAccT-Konferenz veröffentlicht.

Reaktionen, Debatten und die Entwicklung der Ansichten

Die Metapher des „stochastischen Papageis“ verbreitete sich schnell und wurde zu einem zentralen Punkt in den Debatten über die Natur der künstlichen Intelligenz. Die American Dialect Society (ADS) wählte „stochastic parrot“ zum KI-Wort des Jahres 2023, wo es sogar „ChatGPT“ und „LLM“ übertraf.

Kritik am Konzept und Belege für Verständnis

Das Konzept wurde von vielen führenden Forschern in Frage gestellt.

• Geoffrey Hinton, einer der „Paten“ des Deep Learning, argumentierte, dass „man einen Satz verstehen muss, um das nächste Wort genau vorhersagen zu können“. Im Jahr 2023, nachdem er Google verlassen hatte, erklärte er, dass große Modelle bereits „verstehen“, was ihnen beigebracht wird, und eigenständige Schlussfolgerungen ziehen können.
• Emergente Fähigkeiten: Studien zeigten, dass LLMs ab einer bestimmten Größe einen sprunghaften Anstieg neuer Fähigkeiten aufweisen, wie z. B. das Lösen arithmetischer Aufgaben, die nicht explizit in sie einprogrammiert wurden.
• Interne Weltmodelle: Eine Studie aus dem Jahr 2022 zeigte, dass ein Modell, das darauf trainiert wurde, Othello anhand von Textaufzeichnungen von Zügen zu spielen, spontan eine interne Darstellung des Spielbretts bildete, was auf die Entwicklung eines abstrakten Modells der beschriebenen Welt hindeutet.
• Leistung in Benchmarks: Moderne Modelle wie GPT-4 zeigen bei komplexen Fachexamen Leistungen auf menschlichem Niveau (oder darüber), was nach Ansicht einiger ohne Verständnis nicht möglich wäre.

Ironische Verwendung und öffentlicher Diskurs

Der Begriff wurde so populär, dass er sogar von OpenAI-Chef Sam Altman ironisch verwendet wurde, der auf Twitter schrieb: „ich bin ein stochastischer Papagei, und du auch“ (i am a stochastic parrot, and so r u). Damit spielte er darauf an, dass auch die menschliche Sprache zu einem großen Teil eine probabilistische Vorhersage des nächsten Wortes ist, und griff so die Kritik an der KI auf.

Einfluss auf den wissenschaftlichen Diskurs

Die Metapher des „stochastischen Papageis“ bleibt zentral in den Debatten über die Fähigkeiten und Grenzen von LLMs. Sie half dabei, das Problem des fehlenden echten Verständnisses bei Sprachmodellen zu formulieren und lenkte die Aufmerksamkeit auf die mit ihrer Entwicklung verbundenen Risiken. Gleichzeitig zwingt der schnelle Fortschritt im Bereich der LLMs zu einer ständigen Neubewertung dieser Metapher, da die neuesten Modelle ein immer komplexeres Verhalten zeigen, das nicht in das Bild eines „sinnlosen Papageis“ passt. Der Begriff beeinflusst weiterhin den wissenschaftlichen Diskurs und unterstreicht die Bedeutung einer kritischen Analyse der Fähigkeiten von KI-Systemen und ihrer sozialen Folgen.

Literatur

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.