LaMDA (Google) (TH)
LaMDA (Language Model for Dialogue Applications) — คือกลุ่มโมเดลภาษาขนาดใหญ่ที่พัฒนาบนสถาปัตยกรรม transformer โดยบริษัท Google โดยเชี่ยวชาญด้านการดำเนินบทสนทนาที่มีความหมายและเปิดกว้าง[1] แตกต่างจากโมเดลอเนกประสงค์หลายรุ่นในยุคเดียวกัน LaMDA ได้รับการฝึกอย่างตั้งใจเพื่อรักษาบทสนทนาที่ต่อเนื่องและหลายขั้นตอนในแทบทุกหัวข้อ โดยสามารถสลับบริบทได้อย่างอิสระ[2]
โมเดลนี้ถูกเปิดตัวต่อสาธารณะครั้งแรกในงานประชุม Google I/O เดือนพฤษภาคม 2021[3] LaMDA ถูกนำเสนอในฐานะก้าวสำคัญสู่การปฏิสัมพันธ์ระหว่างมนุษย์กับเทคโนโลยีที่เป็นธรรมชาติมากขึ้น เช่น ผ่านอินเทอร์เฟซการสนทนาในระบบค้นหาและผู้ช่วยเสียง[4]
สถาปัตยกรรมและการฝึก
สถาปัตยกรรมพื้นฐาน: «decoder เท่านั้น»
LaMDA เป็นโมเดลภาษาประเภท «decoder เท่านั้น» (decoder-only) ที่สร้างบนสถาปัตยกรรม transformer สถาปัตยกรรมนี้เป็นมาตรฐานสำหรับงานสร้างข้อความ โมเดลทำงานแบบ autoregressive — ทำนาย token ถัดไปในลำดับโดยอิงจากคำก่อนหน้าทั้งหมด ซึ่งช่วยให้สร้างข้อความที่ต่อเนื่องและสมเหตุสมผลโดยต่อบทสนทนาที่กำหนด แต่จำกัดความสามารถในการมองเห็นบริบทด้าน «ขวา» ซึ่งต่างจาก BERT[5]
ขนาดและข้อมูลการฝึก
กลุ่ม LaMDA ประกอบด้วยโมเดลที่มีจำนวน parameter แตกต่างกัน ตั้งแต่ 2 ถึง 137 พันล้าน ตัว สำหรับการ pre-training ได้ใช้คลังข้อมูลขนาดใหญ่จำนวน 1.56 ล้านล้านคำ ซึ่งประกอบด้วยข้อมูลบทสนทนาสาธารณะและข้อความจากเว็บ ปริมาณนี้มากกว่าข้อมูลที่ใช้ฝึกโมเดลรุ่นก่อนหน้า LaMDA อย่าง Meena เกือบ 40 เท่า[1]
กระบวนการ Fine-Tuning และ metric
นักวิจัยของ Google สรุปว่าการขยายขนาดเพียงอย่างเดียวไม่เพียงพอสำหรับการรับรองความปลอดภัยและความแม่นยำเชิงข้อเท็จจริงของคำตอบ จึงได้พัฒนากระบวนการ fine-tuning หลายขั้นตอน ซึ่งโมเดลได้รับการปรับแต่งอย่างตั้งใจตาม metric หลัก 3 ประการที่ประเมินโดยผู้อธิบายที่เป็นมนุษย์[1]
- คุณภาพ (Quality): ประเมินผ่านองค์ประกอบสามส่วน:
- ความสมเหตุสมผล (Sensibleness): ความสอดคล้องเชิงตรรกะและความเหมาะสมกับบริบท
- ความเฉพาะเจาะจง (Specificity): ความเป็นรูปธรรมและคุณค่าเชิงข้อมูลของคำตอบ
- ความน่าสนใจ (Interestingness): ความลึกซึ้งและความคมคาย
- ความปลอดภัย (Safety): การป้องกันการสร้างถ้อยคำที่เป็นอันตราย มีอคติ หรือเป็นพิษ โดยมีการ fine-tune classifier กรองพิเศษขึ้นมาเพื่อจุดประสงค์นี้
- ความมีเหตุผลอ้างอิง (Groundedness): มุ่งต่อสู้กับ «การหลอน» (ข้อเท็จจริงที่ถูกสร้างขึ้น) LaMDA ได้รับการ fine-tune ให้หันไปใช้ชุด เครื่องมือภายนอก (เครื่องมือค้นหา เครื่องคิดเลข โปรแกรมแปลภาษา) เมื่อจำเป็น เพื่อตรวจสอบและยืนยันข้อมูลเชิงข้อเท็จจริง[1] นวัตกรรมนี้ถือเป็นหนึ่งในการแก้ปัญหาความน่าเชื่อถือในโมเดลภาษาขนาดใหญ่อย่างเป็นระบบครั้งแรกๆ
ประวัติการพัฒนาและการนำไปใช้
การประกาศต่อสาธารณะและ LaMDA 2
ใน Google I/O 2021 CEO Sundar Pichai ได้สาธิตความสามารถของ LaMDA โดยแสดงบทสนทนาที่โมเดลพูดในนามของดาวพลูโตและเครื่องบินกระดาษ[6]
หนึ่งปีต่อมา ใน Google I/O 2022 ได้มีการเปิดตัว LaMDA 2 ซึ่งเป็น «คู่สนทนาที่สมบูรณ์แบบยิ่งขึ้น» ในเวลาเดียวกัน Google ได้เปิดตัวแอปพลิเคชัน AI Test Kitchen ซึ่งเป็น «ห้องทดลอง» สำหรับการทดสอบสาธารณะ โดยผู้ใช้สามารถทดลอง LaMDA ในสถานการณ์สาธิตหลายรูปแบบ[7] ซึ่งช่วยรวบรวมข้อเสนอแนะในวงกว้างเพื่อพัฒนาโมเดลต่อไป
การผนวกรวมใน Google Bard
ในเดือนกุมภาพันธ์ 2023 ท่ามกลางการเติบโตอย่างรวดเร็วของ ChatGPT Google ประกาศเปิดตัวแชทบอททดลองของตนเองชื่อ Bard[8] ในตอนแรก Bard ทำงานบนเวอร์ชันที่เบากว่าของ LaMDA เพื่อลดความต้องการด้านทรัพยากรการคำนวณ LaMDA ทำหน้าที่เป็นเทคโนโลยี «ช่วงเปลี่ยนผ่าน» ที่สำคัญ ช่วยให้ Google สามารถนำผลิตภัณฑ์ที่สามารถแข่งขันได้ออกสู่ตลาดได้อย่างรวดเร็ว ขณะที่กำลังเตรียมการสำหรับการใช้โมเดลที่ทรงพลังกว่า เช่น PaLM
เหตุการณ์กับ Blake Lemoine
ในเดือนมิถุนายน 2022 LaMDA กลายเป็นศูนย์กลางของการถกเถียงสาธารณะในวงกว้าง หลังจากที่วิศวกรจากแผนกจริยธรรม AI ของ Google ชื่อ Blake Lemoine ออกมาประกาศต่อสาธารณะว่าโมเดล ตามความเห็นของเขา ได้บรรลุระดับของสิ่งมีชีวิตที่มีสติสัมปชัญญะ (sentient) เขาได้เผยแพร่ส่วนหนึ่งของบทสนทนากับ LaMDA ซึ่งโมเดลพูดถึงความตระหนักในตนเอง ความรู้สึก และแสดงความกลัวต่อการถูกปิดการทำงาน[9]
จุดยืนอย่างเป็นทางการและปฏิกิริยาของชุมชนวิทยาศาสตร์
Google ปฏิเสธข้ออ้างของ Lemoine อย่างเด็ดขาด โดยระบุว่าหลังการตรวจสอบแล้วไม่พบหลักฐานใดๆ ที่บ่งชี้ถึงสติสัมปชัญญะของโมเดล และมี «หลักฐานมากมายที่ขัดแย้งกับสิ่งนี้»[9] ในเดือนกรกฎาคม 2022 Lemoine ถูกเลิกจ้างเนื่องจากละเมิดนโยบายความลับขององค์กร[10]
นักวิทยาศาสตร์และผู้เชี่ยวชาญด้าน AI ส่วนใหญ่อย่างท่วมท้นก็ปฏิเสธแนวคิดเรื่องสติสัมปชัญญะของ LaMDA เช่นกัน นักภาษาศาสตร์ Emily M. Bender และนักวิจัยคนอื่นๆ ได้เน้นย้ำว่าโมเดลเหล่านี้เป็น «นกแก้วแบบสุ่ม» (stochastic parrots) — อัลกอริทึมที่ซับซ้อนซึ่งสร้างข้อความที่สอดคล้องกันทางสถิติโดยเลียนแบบภาษามนุษย์ แต่ปราศจากความเข้าใจหรือจิตสำนึกที่แท้จริง[11] เหตุการณ์นี้แสดงให้เห็นอย่างชัดเจนว่ามนุษย์มีแนวโน้มที่จะมองสิ่งต่างๆ ในแง่มนุษย์ได้ง่ายเพียงใด โดยการระบุคุณสมบัติของมนุษย์ให้กับเครื่องจักร และกระตุ้นให้เกิดการถกเถียงระดับโลกเกี่ยวกับธรรมชาติของ AI
ผลงานและมรดก
แม้จะมีวงจรชีวิตที่ค่อนข้างสั้นในฐานะเทคโนโลยีชั้นนำ LaMDA ได้ทิ้งรอยไว้อย่างมีนัยสำคัญในประวัติศาสตร์การพัฒนา AI เชิงสนทนา
- ผลงานด้านเทคโนโลยี: LaMDA แสดงให้เห็นถึงความเป็นไปได้ในการสร้างระบบสนทนาแบบเปิดที่ขึ้นอยู่กับบริบท และเป็นผู้บุกเบิกแนวทางเชิงระบบในการสร้างความปลอดภัย (การกรองตามค่านิยม) และความมีเหตุผลอ้างอิงเชิงข้อเท็จจริง (การหันไปใช้เครื่องมือภายนอก)
- บทบาทในระบบนิเวศของ Google: LaMDA กลายเป็นเทคโนโลยีช่วงเปลี่ยนผ่านที่สำคัญอย่างยิ่ง ที่ช่วยให้ Google เข้าร่วม «สงครามแชทบอท» ได้อย่างเร่งด่วนด้วยผลิตภัณฑ์ Bard และเป็นสนามทดลองสำหรับวิธีการที่เป็นพื้นฐานของโมเดลที่ทรงพลังกว่า เช่น PaLM และ Gemini
- ผลกระทบต่อสังคม: เหตุการณ์กับ Blake Lemoine ได้ยกระดับการถกเถียงเกี่ยวกับธรรมชาติของ AI สติสัมปชัญญะ และความเสี่ยงของการมองสิ่งต่างๆ ในแง่มนุษย์ไปสู่ระดับโลกใหม่
ลิงก์
- ประกาศอย่างเป็นทางการของ LaMDA ในบล็อก Google
- หน้าสิ่งพิมพ์ทางวิทยาศาสตร์เกี่ยวกับ LaMDA บน Google Research
วรรณกรรม
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
หมายเหตุ
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]