Stochastic parrot — นกแก้วสุ่มตัวอย่าง

นกแก้วสุ่มตัวอย่าง (อังกฤษ: Stochastic parrot) — คือคำเปรียบเปรยที่ใช้ในสาขาปัญญาประดิษฐ์เพื่ออธิบาย LLM ขนาดใหญ่ในฐานะระบบที่สามารถรวมรูปแบบทางภาษาศาสตร์ได้อย่างน่าเชื่อถือในเชิงสถิติ แต่ไร้ซึ่งความเข้าใจความหมายที่แท้จริง

คำนี้ถูกบัญญัติขึ้นในเดือนมีนาคม ค.ศ. 2021 ในบทความวิชาการชื่อ «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» ซึ่งตีพิมพ์ในการประชุม FAccT โดยมีผู้เขียนคือ Emily M. Bender, Timnit Gebru, Angelina McMillan-Major และ Margaret Mitchell

คำจำกัดความและแนวคิด

ตามที่ผู้เขียนบทความระบุ นกแก้วสุ่มตัวอย่างหมายถึง «ระบบสำหรับการเชื่อมต่อลำดับรูปแบบทางภาษาศาสตร์ที่พบในข้อมูลการฝึกอบรมขนาดใหญ่อย่างไม่เป็นระเบียบ ตามข้อมูลความน่าจะเป็นว่ารูปแบบเหล่านั้นผสมผสานกันอย่างไร แต่ปราศจากความเชื่อมโยงใด ๆ กับความหมาย»

คำนี้ประกอบด้วยสองส่วน:

• สุ่มตัวอย่าง (Stochastic) — มาจากภาษากรีกโบราณ στοχαστικός ("อิงการคาดเดา") ในคณิตศาสตร์สมัยใหม่หมายถึงกระบวนการที่กำหนดโดยการแจกแจงความน่าจะเป็นแบบสุ่ม
• นกแก้ว (Parrot) — อ้างอิงถึงความสามารถของนกแก้วในการเลียนแบบเสียงพูดของมนุษย์โดยไม่เข้าใจความหมาย

แนวคิดนี้ยืนยันว่า LLM ที่ฝึกมาเพื่อทำนายคำถัดไปในลำดับนั้น โดยแก่นแท้แล้วคือระบบเติมข้อความอัตโนมัติที่ซับซ้อน ซึ่งจัดการกับสัญลักษณ์โดยไม่สามารถเข้าถึงความหมายของสัญลักษณ์เหล่านั้นได้

ข้อโต้แย้งหลักของบทความ «On the Dangers of Stochastic Parrots»

งานวิจัยนี้ระบุหมวดหมู่ความเสี่ยงหลักสี่ประการที่เกี่ยวข้องกับการพัฒนา LLM ที่มีขนาดใหญ่เกินไป

1. ข้อมูลการฝึกอบรมที่ไม่อาจรู้ได้ทั้งหมด

LLM ได้รับการฝึกอบรมบน dataset ขนาดมหึมาที่ไม่มีการกำกับข้อมูล ซึ่งรวบรวมมาจากอินเทอร์เน็ต (เช่น Common Crawl) dataset เหล่านี้หลีกเลี่ยงไม่ได้ที่จะมีอคติ ภาษาที่เป็นพิษ และมุมมองที่ครอบงำซึ่งสร้างความเสียหายต่อกลุ่มเปราะบาง ตัวอย่างเช่น เนื้อหาบนอินเทอร์เน็ตนั้นเป็นตัวแทนของผู้ชายผิวขาวจากประเทศพัฒนาแล้วอย่างไม่สมส่วน (ผู้ใช้ Reddit ในสหรัฐอเมริกา 67% เป็นผู้ชาย)

2. การขาดความเข้าใจภาษาที่แท้จริง

ผู้เขียนยืนยันว่า LLM ไม่มีความเข้าใจภาษาที่แท้จริง พวกเขาอ้างอิงทฤษฎีที่ว่าภาษาเป็นระบบสัญลักษณ์ที่รูปแบบ (คำ) เชื่อมโยงกับความหมายอย่างแยกไม่ออก ข้อมูลการฝึกอบรมสำหรับ LLM มีเพียงรูปแบบเท่านั้น ทำให้โมเดลไม่สามารถเข้าถึงความหมายได้ ดังนั้น LLM จึงเพียงแค่เลียนแบบการพูดที่มีความหมาย

3. ข้อความสังเคราะห์และอันตรายที่อาจเกิดขึ้น

เนื่องจาก LLM สร้างข้อความที่ถูกต้องตามหลักไวยากรณ์และน่าเชื่อถือ ผู้คนจึงมีแนวโน้มที่จะมอบความหมายให้กับข้อความนั้นและไว้วางใจมัน สิ่งนี้ก่อให้เกิดความเสี่ยงต่อการแพร่กระจายของข้อมูลเท็จ ถ้อยคำแสดงความเกลียดชัง และการฉ้อโกง ยิ่งการเลียนแบบสมบูรณ์แบบมากเท่าใด ความเสี่ยงที่ผู้คนจะประเมินความสามารถของ AI สูงเกินจริงและมอบการตัดสินใจที่สำคัญให้กับมันก็ยิ่งสูงขึ้นเท่านั้น

อิทธิพลทางวิชาการและความขัดแย้งรอบการตีพิมพ์

บทความนี้กลายเป็นศูนย์กลางของเรื่องอื้อฉาวครั้งใหญ่ที่ Google ซึ่งในขณะนั้น Timnit Gebru และ Margaret Mitchell ผู้ร่วมเขียนทำงานอยู่ ในปลายปี ค.ศ. 2020 ระหว่างการทบทวนภายใน ผู้บริหารของ Google เรียกร้องให้ผู้เขียนถอนบทความหรือลบชื่อพนักงาน Google ออกจากบทความ

Timnit Gebru นักวิจัยด้านจริยธรรม AI ชั้นนำ ปฏิเสธที่จะปฏิบัติตามข้อเรียกร้องนี้ ซึ่งนำไปสู่การที่เธอถูกไล่ออกจาก Google ในเดือนธันวาคม ค.ศ. 2020 ในเดือนกุมภาพันธ์ ค.ศ. 2021 Margaret Mitchell ที่ออกมาสนับสนุน Gebru ก็ถูกไล่ออกเช่นกัน เหตุการณ์เหล่านี้ก่อให้เกิดเสียงสะท้อนจากสาธารณชนอย่างกว้างขวาง พนักงาน Google กว่า 2,200 คน และตัวแทนจากแวดวงวิชาการอีกหลายพันคนได้ลงนามในจดหมายประท้วง โดยกล่าวหาบริษัทว่าเซ็นเซอร์งานวิชาการและปิดกั้นการวิจัยที่อาจกระทบต่อผลประโยชน์ทางการค้าของบริษัท ในที่สุดบทความดังกล่าวได้รับการตีพิมพ์ในเดือนมีนาคม ค.ศ. 2021 ในการประชุม FAccT

ปฏิกิริยา การถกเถียง และวิวัฒนาการของมุมมอง

คำเปรียบเปรย "นกแก้วสุ่มตัวอย่าง" แพร่หลายอย่างรวดเร็วและกลายเป็นจุดศูนย์กลางในการถกเถียงเกี่ยวกับธรรมชาติของปัญญาประดิษฐ์ American Dialect Society (ADS) ได้เลือก «stochastic parrot» เป็นคำแห่งปีในสาขา AI ประจำปี ค.ศ. 2023 โดยคำนี้แซงหน้าแม้แต่ "ChatGPT" และ "LLM"

การวิจารณ์แนวคิดและหลักฐานของความเข้าใจ

แนวคิดนี้ถูกโต้แย้งโดยนักวิจัยชั้นนำหลายคน

• Geoffrey Hinton หนึ่งใน "บิดาผู้ก่อตั้ง" ของ Deep Learning ยืนยันว่า "เพื่อให้ทำนายคำถัดไปได้อย่างแม่นยำ จำเป็นต้องเข้าใจประโยค" ในปี ค.ศ. 2023 หลังจากลาออกจาก Google เขากล่าวว่าโมเดลขนาดใหญ่ "เข้าใจ" สิ่งที่ได้รับการสอนแล้ว และสามารถสรุปผลได้อย่างอิสระ
• ความสามารถเกิดใหม่ (Emergent abilities): การวิจัยแสดงให้เห็นว่าเมื่อถึงขนาดหนึ่ง LLM แสดงให้เห็นการปรากฏขึ้นอย่างก้าวกระโดดของความสามารถใหม่ ๆ เช่น การแก้โจทย์คำนวณ ซึ่งไม่ได้ถูกฝังอยู่ในระบบอย่างชัดเจน
• โมเดลภายในของโลก: งานวิจัยปี ค.ศ. 2022 แสดงให้เห็นว่าโมเดลที่ฝึกให้เล่น Othello โดยอาศัยการบันทึกการเคลื่อนไหวเป็นข้อความ ได้สร้างการแสดงแทนภายในของกระดานเกมขึ้นมาเองโดยอัตโนมัติ ซึ่งบ่งชี้ถึงการพัฒนาโมเดลนามธรรมของโลกที่ถูกอธิบาย
• ประสิทธิภาพบน benchmark: โมเดลสมัยใหม่ เช่น GPT-4 แสดงผลลัพธ์ในระดับมนุษย์ (หรือสูงกว่า) ในการสอบวิชาชีพที่ซับซ้อน ซึ่งนักวิจัยบางส่วนเห็นว่าเป็นไปไม่ได้หากปราศจากความเข้าใจ

การใช้งานในเชิงประชดและวาทกรรมสาธารณะ

คำนี้แพร่หลายมากจนแม้แต่ CEO ของ OpenAI อย่าง Sam Altman ยังใช้มันในเชิงประชด โดยเขียนบน Twitter ว่า: «i am a stochastic parrot, and so r u» ด้วยการกระทำนี้เขาได้ใบ้ว่าการพูดของมนุษย์ก็เป็นในระดับหนึ่งการทำนายคำถัดไปแบบความน่าจะเป็นเช่นกัน เป็นการเล่นกับคำวิจารณ์ที่มีต่อ AI

อิทธิพลต่อวาทกรรมทางวิชาการ

คำเปรียบเปรย "นกแก้วสุ่มตัวอย่าง" ยังคงเป็นศูนย์กลางในการถกเถียงเกี่ยวกับความสามารถและข้อจำกัดของ LLM ช่วยให้สามารถระบุปัญหาการขาดความเข้าใจที่แท้จริงของโมเดลภาษา และดึงความสนใจไปสู่ความเสี่ยงที่เกี่ยวข้องกับการพัฒนาโมเดลเหล่านั้น ในขณะเดียวกัน ความก้าวหน้าอย่างรวดเร็วในสาขา LLM บังคับให้ต้องตีความคำเปรียบเปรยนี้ใหม่อยู่เสมอ เนื่องจากโมเดลล่าสุดแสดงพฤติกรรมที่ซับซ้อนมากขึ้นเรื่อย ๆ ซึ่งไม่สอดคล้องกับภาพของ "นกแก้วที่ไร้ความหมาย" คำนี้ยังคงมีอิทธิพลต่อวาทกรรมทางวิชาการ โดยเน้นย้ำถึงความสำคัญของการวิเคราะห์เชิงวิพากษ์เกี่ยวกับความสามารถของระบบ AI และผลกระทบทางสังคมของระบบเหล่านั้น

บรรณานุกรม

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.