Neural Text Degeneration — นิวรัลเทกซ์ดีเจเนอเรชัน (การเสื่อมสภาพของข้อความในโมเดลภาษาประสาทเทียม)

นิวรัลเทกซ์ดีเจเนอเรชัน หรือ การเสื่อมสภาพของข้อความในการสร้างด้วยโครงข่ายประสาทเทียม (อังกฤษ: Neural Text Degeneration) คือกลุ่มของความบกพร่องในการสร้างข้อความของโมเดลภาษาประสาทเทียม ซึ่งทำให้ผลลัพธ์ที่ได้ไม่เป็นธรรมชาติ ไม่ว่าจะเป็นการซ้ำซากมากเกินไป มีลักษณะเป็นแม่แบบ มีเนื้อหาน้อย หรือสูญเสียความเชื่อมโยง คำนี้แพร่หลายขึ้นหลังจากงานวิจัยของ Ari Holtzman และคณะ เรื่อง The Curious Case of Neural Text Degeneration (2019; ICLR 2020) ซึ่งแสดงให้เห็นว่ากลยุทธ์การ decoding ที่อิงการเพิ่มค่าความน่าจะเป็นโดยตรงมักให้ผลลัพธ์ที่มีคุณภาพต่ำในงานการสร้างข้อความแบบเปิด

คำอธิบายเบื้องต้น

นิวรัลเทกซ์ดีเจเนอเรชัน คือสถานการณ์ที่โมเดลสร้างข้อความต่อได้อย่างเป็นทางการ แต่ทำได้ไม่ดีในแง่ของภาษาที่เป็นธรรมชาติ

โดยทั่วไปจะปรากฏในลักษณะดังนี้:

• โมเดลเริ่มซ้ำคำหรือวลีเดิมซ้ำๆ
• ข้อความกลายเป็นแม่แบบและ «ไร้ชีวิตชีวา» มากเกินไป
• คำตอบสูญเสียความเชื่อมโยงทางความหมาย
• คำที่สุ่มหรือไม่เหมาะสมเริ่มปรากฏในข้อความที่ต่อออกมา

กล่าวอีกนัยหนึ่ง โมเดลจะกลายเป็นสิ่งที่ «ระมัดระวังมากเกินไป» และเลือกสิ่งเดิมซ้ำๆ ตลอดเวลา หรือในทางกลับกัน ได้รับอิสระมากเกินไปและเริ่มดึงข้อความต่อที่อ่อนแอและมีสัญญาณรบกวน ในทั้งสองกรณี ข้อความจะเลิกมีลักษณะคล้ายภาษามนุษย์ที่เป็นธรรมชาติ

ประวัติการศึกษา

ปัญหานี้ถูกอธิบายอย่างละเอียดโดย Holtzman และคณะในปี 2019 โดยอาศัยข้อมูลจากการสร้างข้อความแบบเปิด โดยเฉพาะเรื่องราว การต่อข้อความอิสระ และการตอบโต้ในบทสนทนา ผู้เขียนแสดงให้เห็นว่าวิธีการ decoding ที่มุ่งเพิ่มค่าความน่าจะเป็น เช่น greedy search และ beam search มักนำไปสู่ลำดับที่ไม่เป็นธรรมชาติ ซ้ำซาก และมีเนื้อหาน้อยในงานแบบเปิด

ในงานชิ้นเดียวกันยังแสดงให้เห็นอีกว่าแนวทางตรงข้าม ซึ่งก็คือการสุ่มตัวอย่างแบบ stochastic ล้วนๆ โดยไม่ตัดส่วนหาง ก็มีปัญหาเช่นกัน เพราะโมเดลอาจเลือก token จาก «หางที่ไม่น่าเชื่อถือ» ของการแจกแจงความน่าจะเป็น ซึ่งทำให้ความเชื่อมโยงลดลงและเพิ่มความเสี่ยงของข้อความต่อที่สุ่มและไม่สอดคล้องกัน

งานวิจัยในภายหลังได้ชี้แจงและขยายคำอธิบายนี้ โดยเฉพาะ Finlayson และคณะได้เสนอการตีความเชิงทฤษฎีว่าเหตุใดวิธีการตัดส่วนหาง (เช่น Top-p) จึงมักช่วยลดการเสื่อมสภาพของข้อความได้ เนื่องจากการตัดส่วนหางช่วยหลีกเลี่ยง token ที่โมเดลไม่น่าเชื่อถือเป็นพิเศษ

Meister และคณะยังเชื่อมโยงปัญหาการเสื่อมสภาพกับการละเมิด local typicality อีกด้วย โดยข้อความของมนุษย์มักพยายามรักษาเนื้อหาข้อมูลให้ใกล้เคียงกับ conditional entropy ที่คาดหวัง แทนที่จะเพิ่มค่าความน่าจะเป็นของ token ถัดไปแต่ละตัวให้สูงสุดเพียงอย่างเดียว

รูปแบบหลักของการแสดงออก

นิวรัลเทกซ์ดีเจเนอเรชันอาจแสดงออกมาไม่เพียงแค่ในรูปแบบของการซ้ำที่ชัดเจน แต่ยังรวมถึงรูปแบบที่ซ่อนเร้นกว่า ตั้งแต่ความยากจนทางความหมายไปจนถึงการสลายตัวของความเชื่อมโยงอย่างค่อยเป็นค่อยไป ข้อความลักษณะนี้มักยังคงถูกต้องทางไวยากรณ์อยู่ แต่เริ่มแตกต่างอย่างเห็นได้ชัดจากภาษามนุษย์ที่เป็นธรรมชาติในด้านความหลากหลาย ความมีข้อมูล และความสม่ำเสมอในการพัฒนาความคิด

การซ้ำและการวนซ้ำ

รูปแบบที่รู้จักกันดีที่สุดคือการซ้ำของ token วลี หรือโครงสร้างทางวากยสัมพันธ์ทั้งหมด ข้อความเริ่ม «วนเวียน» โดยเพิ่มข้อความต่อที่แทบจะเหมือนกันซ้ำแล้วซ้ำอีก

การเสื่อมสภาพลักษณะนี้อาจปรากฏในระดับต่างๆ:

• การซ้ำคำเดี่ยว
• การผลิตซ้ำวลีเดิมซ้ำๆ
• การวนกลับมาที่ความคิดเดิมซ้ำๆ
• การคัดลอกโครงสร้างทางวากยสัมพันธ์เดิมหลายครั้งด้วยการเปลี่ยนแปลงน้อยที่สุด

สิ่งที่น่าสังเกตเป็นพิเศษคือการซ้ำมักกลายเป็นการเสริมตัวเอง เมื่อโครงสร้างที่เกิดขึ้นครั้งหนึ่งเริ่มเสริมความแข็งแกร่งให้ตัวเอง เนื่องจากโมเดลยังคงอ้างอิงส่วนที่สร้างไปแล้วและสร้างซ้ำในรูปแบบที่ปรับเปลี่ยนเล็กน้อย ผลลัพธ์คือข้อความอาจดูเหมือนยังคงเดินหน้าอยู่ แต่ในความเป็นจริงหยุดพัฒนาในเชิงเนื้อหา

ความเป็นแม่แบบและความยากจนของเนื้อหา

แม้จะไม่มีวงจรซ้ำที่ชัดเจน โมเดลก็อาจสร้างข้อความที่คาดเดาได้และมีเนื้อหาน้อยเกินไป ผลลัพธ์ดังกล่าวยังคงถูกต้องทางไวยากรณ์ แต่กลายเป็นข้อความที่ธรรมดา น่าเบื่อ และยากจนในเชิงข้อมูล

ในการเสื่อมสภาพรูปแบบนี้ ข้อความมักดู «ถูกต้อง» แต่ให้ความรู้สึกว่าปลอดภัยและเฉลี่ยมากเกินไป โมเดลเลือกคำและสำนวนที่คาดหวังมากที่สุด ทำให้:

• ความหลากหลายทางคำศัพท์ลดลง
• แม่แบบการพูดเดิมถูกทำซ้ำบ่อยขึ้น
• สำนวนที่ไม่ชัดเจนแต่มีความหมายมากกว่าหายไป
• ข้อความมีรูปแบบที่เรียบร้อยขึ้นแต่ยากจนในแง่ความหมาย

นั่นคือเหตุผลที่การเสื่อมสภาพไม่ได้ดูเหมือนข้อผิดพลาดที่ชัดเจนเสมอไป บางครั้งมันแสดงออกเป็นข้อความที่คาดเดาได้มากเกินไป «เรียบ» และว่างเปล่า ซึ่งเขียนได้ถูกต้องในเชิงรูปแบบ แต่แทบไม่ให้ข้อมูลใหม่

การสูญเสียความเชื่อมโยง

เมื่อมีความสุ่มมากเกินไปหรือควบคุมส่วนหางของการแจกแจงได้ไม่ดี การสร้างข้อความอาจยังคงความถูกต้องทางไวยากรณ์ในระดับท้องถิ่น แต่สูญเสียความเชื่อมโยงทางความหมายโดยรวม กล่าวคือ คำที่ไม่เหมาะสม การเปลี่ยนหัวข้ออย่างกะทันหัน และช่องว่างทางตรรกะเริ่มปรากฏในข้อความ

ในสถานการณ์เช่นนี้ ประโยคที่อยู่ติดกันอาจดูยอมรับได้แยกกัน แต่ความเชื่อมโยงเชิงเหตุผล เชิงหัวข้อ และเชิงตรรกะระหว่างกันอ่อนแอลง ซึ่งแสดงออกในลักษณะที่:

• ประโยคถูกต้องทางไวยากรณ์แต่เชื่อมโยงกับประโยคก่อนหน้าได้ไม่ดี
• ความคิดเปลี่ยนทิศทางอย่างกะทันหันโดยไม่มีการเปลี่ยนผ่านที่ชัดเจน
• ข้อความต่อที่ยอมรับได้ในระดับท้องถิ่นแต่ไม่เหมาะสมในบริบทปรากฏขึ้น
• ทิศทางการให้เหตุผลโดยรวมกลายเป็นหลวมและไม่มั่นคง

กล่าวอีกนัยหนึ่ง โมเดลอาจรักษาความเรียบในระดับท้องถิ่นในระดับวลีแต่ละประโยค แต่สูญเสียความเชื่อมโยงระดับโลกในระดับย่อหน้าทั้งหมดหรือคำตอบที่ยาว

การเลื่อนดริฟต์ทางความหมาย

อีกรูปแบบหนึ่งของการเสื่อมสภาพคือการค่อยๆ เคลื่อนความหมาย ซึ่งข้อความไม่ล่มสลายทันที แต่ค่อยๆ เบี่ยงเบนออกจากหัวข้อเดิม งาน หรือเส้นทางการบรรยาย

ต่างจากความไม่เชื่อมโยงที่ชัดเจน การเสื่อมสภาพในรูปแบบนี้พัฒนาขึ้นอย่างค่อยเป็นค่อยไป:

• โมเดลเริ่มต้นด้วยคำตอบที่เกี่ยวข้อง
• จากนั้นเพิ่มรายละเอียดที่เป็นทั่วไปหรือเชื่อมโยงอ่อนแอมากขึ้นเรื่อยๆ
• หลังจากนั้นหัวข้อเดิมเลือนหาย
• ในที่สุดข้อความอาจยังคงราบรื่นในเชิงรูปแบบ แต่ตอบสนองต่อคำถามเดิมได้ไม่ดีแล้ว

การดริฟต์ดังกล่าวเห็นได้ชัดเจนเป็นพิเศษในการสร้างข้อความยาว เนื่องจากโมเดลไม่จำเป็นต้องตกอยู่ในวงวน แต่ทีละขั้นตอนสูญเสียวินัยทางหัวข้อ และข้อความต่อไปหยุดมีความเกี่ยวข้องอย่างแท้จริง

การลดลงของความมีข้อมูล

การเสื่อมสภาพอาจแสดงออกมาไม่เพียงแค่ในการซ้ำ แต่ยังรวมถึงการที่ข้อความหยุดเพิ่มข้อมูลใหม่ โมเดลยังคงเขียนต่อ แต่ «ความหนาแน่น» ทางความหมายของผลลัพธ์ลดลง และข้อความต่อกลายเป็นสิ่งที่ว่างเปล่าในเชิงเนื้อหา

ในข้อความดังกล่าว คำและประโยคยังคงสะสมอยู่ แต่การก้าวหน้าทางความหมายช้าลง วลีใหม่:

• กล่าวซ้ำสิ่งที่พูดไปแล้ว
• เพิ่มข้อเท็จจริงใหม่ในปริมาณน้อยที่สุด
• แทนที่ความเฉพาะเจาะจงด้วยคำทั่วไป
• รักษาปริมาณของข้อความโดยไม่มีการเติบโตของเนื้อหาที่เทียบเคียงได้

สิ่งนี้มีความสำคัญเป็นพิเศษเพราะการเสื่อมสภาพลักษณะนี้อาจดูสังเกตได้น้อยกว่าการซ้ำที่ชัดเจน ข้อความดูเหมือน «ปกติ» แต่เมื่ออ่านอย่างตั้งใจจะพบว่าส่วนใหญ่กำลังทำซ้ำความคิดเดิมด้วยคำพูดที่ต่างกัน

การเสื่อมสภาพที่ซ่อนเร้นโดยไม่มีความล้มเหลวที่ชัดเจน

นิวรัลเทกซ์ดีเจเนอเรชันไม่ได้ปรากฏเป็นความเสียหายอย่างรุนแรงเสมอไป ในบางกรณีข้อความไม่มีวงจรซ้ำที่ชัดเจน ช่องว่างทางตรรกะที่รุนแรง หรือ «สัญญาณรบกวน» ที่เห็นได้ชัด แต่ก็ยังเบี่ยงเบนออกจากการเขียนของมนุษย์ที่เป็นธรรมชาติอย่างเห็นได้ชัด

รูปแบบที่ซ่อนเร้นนี้แสดงออกมาเป็นการผสมผสานของ:

• ความสามารถในการคาดเดาได้มากเกินไป
• จังหวะของวลีที่ซ้ำซากน่าเบื่อ
• สำนวนที่ปลอดภัยแต่อ่อนแอ
• ขาดความน่าประหลาดใจ ความละเอียดอ่อน และความลึกทางความหมาย

นั่นคือเหตุผลที่นิวรัลเทกซ์ดีเจเนอเรชันไม่ได้จำกัดอยู่แค่การวนซ้ำ แต่ครอบคลุมกลุ่มอาการที่กว้างกว่า ตั้งแต่การซ้ำที่ชัดเจนไปจนถึงความยากจนทางความหมายอย่างละเอียด ซึ่งข้อความยังคงถูกต้องในเชิงรูปแบบแต่สูญเสียความหลากหลาย การแสดงออก และคุณค่าในเชิงเนื้อหา

สาเหตุ

ความไม่ตรงกันระหว่างการฝึกและการ decoding

โมเดลภาษาโดยทั่วไปได้รับการฝึกเพื่อทำนาย token ถัดไปตามการแจกแจงความน่าจะเป็น อย่างไรก็ตาม ในระหว่างการสร้างข้อความ ข้อความมักถูกดึงออกมาไม่ใช่ในรูปแบบตัวอย่างจากการแจกแจงดังกล่าว แต่ผ่านขั้นตอนที่เพิ่มค่าความน่าจะเป็นอย่างเข้มงวดในแต่ละขั้นตอนหรือตลอดทั้งลำดับ ความแตกต่างระหว่างเป้าหมายการฝึกและกฎการ decoding นี้เป็นหนึ่งในสาเหตุหลักของการเสื่อมสภาพในงานแบบเปิด

«หางที่ไม่น่าเชื่อถือ» ของการแจกแจง

ในทางกลับกัน อิสระในการสุ่มตัวอย่างโดยสมบูรณ์ก็อาจเป็นอันตรายได้เช่นกัน แม้แต่ token ที่มีความน่าจะเป็นต่ำมากโดยทั่วไปก็มีความน่าจะเป็นไม่เป็นศูนย์ และในนั้นมีตัวเลือกที่อ่อนแอ มีสัญญาณรบกวน หรือไม่สอดคล้องกันจำนวนมาก หากโมเดลเลือก token จากหางดังกล่าว คุณภาพของข้อความต่อก็อาจลดลงอย่างรวดเร็ว

การละเมิด local typicality

Meister และคณะเชื่อมโยงการเสื่อมสภาพกับข้อเท็จจริงที่ว่าข้อความที่เป็นธรรมชาติมักรักษาเนื้อหาข้อมูลให้ใกล้เคียงกับ conditional entropy ที่คาดหวัง เมื่อการ decoding เบี่ยงเบนไปจาก «ความเป็นปกติ» นี้อย่างเป็นระบบ ข้อความก็อาจกลายเป็นสิ่งที่ธรรมดาเกินไปหรือมีสัญญาณรบกวนมากเกินไป

ความเชื่อมโยงกับวิธีการ decoding

นิวรัลเทกซ์ดีเจเนอเรชันเกี่ยวข้องอย่างใกล้ชิดไม่เพียงแค่กับคุณภาพของโมเดลภาษาเอง แต่ยังรวมถึงวิธีการที่ token ถัดไปถูกเลือกจากการแจกแจงความน่าจะเป็นของโมเดล ชุดความน่าจะเป็นชุดเดียวกันสามารถให้ผลลัพธ์ที่แตกต่างกันอย่างเห็นได้ชัดขึ้นอยู่กับกลยุทธ์การ decoding บางวิธีเสริมการซ้ำและความเป็นแม่แบบ บางวิธีเพิ่มความหลากหลายแต่เสี่ยงต่อการสูญเสียความเชื่อมโยง และบางวิธีพยายามรักษาสมดุลระหว่างสองขั้วนี้

Greedy search และ beam search

Greedy search และ beam search มีแนวโน้มที่จะเกิดการซ้ำและความเป็นแม่แบบในงานการสร้างข้อความแบบเปิดเป็นพิเศษ เนื่องจากเลือกข้อความต่อที่มีความน่าจะเป็นสูงที่สุดอย่างเป็นระบบ

ในกรณีของgreedy search โมเดลเลือก token ที่มีความน่าจะเป็นสูงที่สุดหนึ่งตัวในแต่ละขั้นตอน แนวทางนี้ทำงานได้ดีในที่ที่งานมีชุดคำตอบที่ถูกต้องค่อนข้างแคบ อย่างไรก็ตาม ในการสร้างข้อความอิสระมักทำให้ข้อความคาดเดาได้มากเกินไป โมเดลเลือกข้อความต่อที่ «ปลอดภัย» ที่สุดซ้ำแล้วซ้ำอีก ทำให้:

• แนวโน้มการซ้ำโครงสร้างที่เลือกไปแล้วแข็งแกร่งขึ้น
• ความหลากหลายของสำนวนลดลง
• ข้อความกลายเป็นแม่แบบและยากจนในเชิงเนื้อหา

Beam search ขยายพื้นที่การค้นหาบางส่วนเนื่องจากติดตามสมมติฐานที่มีความน่าจะเป็นสูงสุดหลายรายการพร้อมกัน อย่างไรก็ตาม ในงานข้อความแบบเปิดนี้ไม่ได้ป้องกันการเสื่อมสภาพเสมอไป ในทางตรงกันข้าม เนื่องจากมีแนวทางทั่วไปในการเพิ่มค่าความน่าจะเป็น มันยังอาจเลือกข้อความต่อที่ «ถูกต้อง» มากเกินไปแต่ไม่เป็นธรรมชาติอย่างเป็นระบบ ซึ่งเพิ่มความเสี่ยงของ:

• ความน่าเบื่อ
• การซ้ำ
• ข้อความที่เรียบเกินไปแต่มีเนื้อหาน้อย

กล่าวอีกนัยหนึ่ง วิธีการที่เลือกข้อความต่อที่มีความน่าจะเป็นสูงสุดอย่างสม่ำเสมอเกินไป มักชนะในด้านความคาดเดาได้ในระดับท้องถิ่น แต่แพ้ในด้านความเป็นธรรมชาติของการสร้างข้อความยาว

การสุ่มตัวอย่างล้วนๆ

การสุ่มตัวอย่างที่ไม่มีการจำกัดเข้มงวดเพิ่มความหลากหลาย แต่หากไม่มีตัวกรองเพิ่มเติม มักจะจับ token ที่อ่อนแอจากส่วนหางของการแจกแจงได้บ่อยขึ้น ซึ่งอาจทำให้ความเชื่อมโยงของข้อความลดลง

ในการสุ่มตัวอย่างล้วนๆ token ถัดไปถูกเลือกแบบสุ่มตามการแจกแจงความน่าจะเป็นเต็มรูปแบบของโมเดล ต่างจาก greedy search หรือ beam search แนวทางนี้ให้อิสระแก่โมเดลมากขึ้นและช่วยหลีกเลี่ยงการ «ติดค้าง» ในแม่แบบเดิมเร็วเกินไป

อย่างไรก็ตาม อิสระนี้มีด้านลบ แม้ว่าความน่าจะเป็นของ token หลายตัวจะต่ำมาก แต่โดยทั่วไปยังคงมีโอกาสไม่เป็นศูนย์ที่จะถูกเลือก ด้วยเหตุนี้โมเดลอาจจับข้อความต่อจาก «หาง» ของการแจกแจง ซึ่งมักพบ:

• คำที่สุ่มและอ่อนแอในเชิงบริบท
• ข้อความต่อที่ไม่สอดคล้องกัน
• token ที่ยอมรับได้ในระดับท้องถิ่นแต่ลดทอนความเชื่อมโยงโดยรวมของข้อความ

ผลลัพธ์คือการสุ่มตัวอย่างล้วนๆ มักลดความเป็นแม่แบบ แต่พร้อมกันนั้นก็ทำให้ข้อความไม่มั่นคงมากขึ้น ข้อความอาจยังคงหลากหลายแต่กลายเป็นสิ่งที่หลวม ไม่สม่ำเสมอ หรือไม่มั่นคงทางความหมาย

วิธีการตัดส่วนหางของการแจกแจง

วิธีการตัดส่วนหางของการแจกแจง โดยเฉพาะ Top-p และ Top-k ถูกเสนอขึ้นเป็นวิธีปฏิบัติในการลดการเสื่อมสภาพ วิธีการเหล่านี้จำกัดชุด token ที่อนุญาตและลดความน่าจะเป็นของข้อความต่อที่ไม่ประสบความสำเร็จ

ตรรกะทั่วไปของวิธีการเหล่านี้คือไม่ให้โมเดลเลือก token ถัดไปจากคำศัพท์ทั้งหมด แต่พิจารณาเฉพาะส่วนที่มีความน่าจะเป็นสูงที่สุดของการแจกแจงเท่านั้น:

• Top-k เหลือเพียง token ที่มีความน่าจะเป็นสูงสุดจำนวนคงที่
• Top-p เหลือ «นิวเคลียส» แบบไดนามิกของ token ที่ความน่าจะเป็นรวมกันถึงเกณฑ์ที่กำหนด $p$

ข้อจำกัดดังกล่าวลดความเสี่ยงที่โมเดลจะเลือกข้อความต่อที่อ่อนแอเกินไปจากหางที่ไม่น่าเชื่อถือ แต่ไม่ได้บังคับให้เลือกตัวเลือก «ดีที่สุด» ตัวเดียวเสมอไป ด้วยเหตุนี้วิธีการตัดส่วนหางมักเป็นทางออกระดับกลางระหว่างสองขั้ว:

• การเพิ่มค่าที่เข้มงวดเกินไป
• การสุ่มตัวอย่างที่อิสระและมีสัญญาณรบกวนมากเกินไป

ต่อมา Finlayson และคณะเสนอการตีความเชิงทฤษฎีที่เข้มงวดกว่าเกี่ยวกับประสิทธิภาพนี้ พวกเขาแสดงให้เห็นว่า truncation method ช่วยทิ้ง token ที่มีแนวโน้มที่จะไม่น่าเชื่อถือจากมุมมองของการแจกแจงข้อความที่แท้จริง ดังนั้นการตัดส่วนหางสามารถมองได้ไม่เพียงแค่เป็นเทคนิค heuristic เชิงวิศวกรรม แต่ยังเป็นวิธีลดโอกาสของข้อผิดพลาดที่เป็นระบบในการเลือก token ถัดไปอีกด้วย

กลยุทธ์สมัยใหม่

วิธีการที่ใหม่กว่า เช่น locally typical sampling มุ่งลดการซ้ำที่เสื่อมสภาพพร้อมรักษาคุณภาพการสร้างข้อความ ในทำนองเดียวกัน contrastive search ถูกเสนอขึ้นเป็นวิธีเพิ่มความหลากหลายโดยไม่เสียสละความเชื่อมโยงของข้อความ

วิธีการเหล่านี้พัฒนาแนวคิดที่ว่าปัญหาไม่ได้อยู่เพียงแค่ว่าควรเหลือ token กี่ตัว แต่ token ใดที่ควรถือเป็นตัวเลือกที่ดี

Locally typical sampling ไม่ได้มุ่งแค่ความน่าจะเป็นสูง แต่มุ่งความใกล้ชิดของเนื้อหาข้อมูลของ token กับ conditional entropy ที่คาดหวัง กล่าวอีกนัยหนึ่ง วิธีการนี้พยายามไม่เพียงแค่เลือกคำที่มีความน่าจะเป็นสูงสุด แต่เลือกคำที่สอดคล้องกับระดับข้อมูลที่ «ปกติ» สำหรับบริบทนั้นดีกว่า ซึ่งช่วยลด:

• การซ้ำที่เสื่อมสภาพ
• ความเป็นแม่แบบมากเกินไป
• ความยากจนทางความหมายของข้อความพร้อมรักษาความเชื่อมโยงโดยรวม

Contrastive search ใช้ตรรกะที่แตกต่างออกไป โดยพยายามเลือกข้อความต่อที่ทั้งยังคงน่าจะเป็น และไม่คล้ายกับบริบทที่สร้างไปแล้วมากเกินไป ด้วยเหตุนี้จึงลดโอกาสที่โมเดลจะเสริมโครงสร้างเดิมซ้ำๆ เพียงเพราะมันมีความน่าจะเป็นสูงมากในระดับท้องถิ่น

เมื่อเทียบกับกลยุทธ์ decoding แบบดั้งเดิม วิธีการเหล่านี้ไม่เพียงแค่จำกัดการเลือก แต่พยายามทำให้เกณฑ์การเลือกเองไวต่อคุณภาพของการสร้างข้อความยาวมากขึ้น กล่าวคือ ว่าข้อความจะยังคงมีเนื้อหา หลากหลาย และเชื่อมโยงกันตลอดหลายประโยคหรือย่อหน้าหรือไม่

การพึ่งพาโหมดการ decoding

ความเชื่อมโยงระหว่างนิวรัลเทกซ์ดีเจเนอเรชันและการ decoding ไม่ได้จำกัดอยู่แค่การเปรียบเทียบวิธีการ «ดี» กับ «ไม่ดี» อัลกอริทึมเดียวกันอาจทำงานต่างกันขึ้นอยู่กับว่ามันจำกัดการแจกแจงในแต่ละขั้นตอนอย่างเข้มงวดหรืออิสระเพียงใด

โดยทั่วไปสามารถแบ่งได้เป็นสามโหมด:

• การเลือกที่เข้มงวดเกินไป — โมเดลเกือบจะเลือก token ที่มีความน่าจะเป็นสูงสุดเสมอ ซึ่งเสริมความเป็นแม่แบบและการซ้ำ
• การเลือกที่อิสระเกินไป — โมเดลได้รับการเข้าถึงข้อความต่อที่อ่อนแอในวงกว้างเกินไป ซึ่งเพิ่มความเสี่ยงของความไม่เชื่อมโยง
• การเลือกที่จำกัดพอดี — โมเดลรักษาความหลากหลายแต่อยู่ในขอบเขตของส่วนที่น่าเชื่อถือพอสมควรของการแจกแจง

นั่นคือเหตุผลที่นิวรัลเทกซ์ดีเจเนอเรชันมักถูกมองว่าเป็นผลลัพธ์ไม่เพียงแค่ของคุณภาพของโมเดลเอง แต่ยังรวมถึงโหมดการ decoding ที่ไม่เหมาะสม ไม่ว่าจะเข้มงวดเกินไป อ่อนเกินไป หรือไม่สอดคล้องกับงานการสร้างข้อความเฉพาะ

พูดง่ายๆ การเสื่อมสภาพมักเกิดขึ้นที่ขั้วสองด้าน เมื่อโมเดลเลือกเฉพาะคำที่มีความน่าจะเป็นสูงสุดอย่างเข้มงวดเกินไป หรือในทางตรงกันข้าม ได้รับอิสระมากเกินไปและเริ่มดึงข้อความต่อที่สุ่มและอ่อนแอ กลยุทธ์ที่มั่นคงที่สุดมักอยู่ระหว่างโหมดขั้วสองด้านนี้

วิธีการบรรเทา

แม้ว่าจะไม่มีวิธีสากลในการกำจัดนิวรัลเทกซ์ดีเจเนอเรชันอย่างสมบูรณ์ แต่ในทางปฏิบัติได้มีการพัฒนาวิธีการต่างๆ ที่ช่วยลดการแสดงออกที่พบบ่อยที่สุดได้อย่างเห็นได้ชัด โดยเฉพาะการซ้ำ ความเป็นแม่แบบ การสูญเสียความเชื่อมโยง และการจับ «หางที่มีสัญญาณรบกวน» ของการแจกแจง วิธีการเหล่านี้แตกต่างกันในด้านวิธีการจำกัดการเลือก token ถัดไป บางวิธีตัดตัวเลือกที่อ่อนแอออกอย่างง่าย บางวิธีคำนึงถึงรูปแบบของการแจกแจงอย่างละเอียดกว่า และบางวิธีพยายามสร้างสมดุลระหว่างความเชื่อมโยงและความหลากหลายโดยตรง

การตัดส่วนหางของการแจกแจง

วิธีที่พบบ่อยที่สุดในการต่อสู้กับนิวรัลเทกซ์ดีเจเนอเรชันคือการจำกัดการเลือก token ถัดไปไม่ให้ใช้คำศัพท์ทั้งหมด แต่เฉพาะส่วนที่น่าจะเป็นมากที่สุดเท่านั้น นั่นคือพื้นฐานของ Top-p และ Top-k

แนวคิดหลักของวิธีการเหล่านี้คือโมเดลไม่ควรเลือกอย่างอิสระจาก token ทุกตัวที่เป็นไปได้ เนื่องจากส่วนสำคัญของการแจกแจงอยู่ใน «หางที่ไม่น่าเชื่อถือ» ซึ่งมีตัวเลือกที่อ่อนแอ มีสัญญาณรบกวน หรือไม่สอดคล้องกัน การตัดส่วนหางช่วยจำกัดพื้นที่การเลือกให้แคบลงโดยเทียมและลดโอกาสที่การสร้างข้อความจะเบี่ยงเบนไปสู่ความไม่เชื่อมโยงหรือเริ่มแตกสลาย

ในทางปฏิบัติมีสองรูปแบบที่เป็นที่รู้จักมากที่สุด:

• Top-k — เหลือเพียง token ที่มีความน่าจะเป็นสูงสุดจำนวนคงที่
• Top-p (nucleus sampling) — เหลือ «นิวเคลียส» แบบไดนามิกของ token ที่ความน่าจะเป็นรวมกันถึงเกณฑ์ที่กำหนด $p$

ความหมายโดยรวมของวิธีการทั้งสองคือเดียวกัน ไม่ให้โมเดลเลือกจากข้อความต่อที่อ่อนแอมากเกินไป ทั้งนี้ Top-p มักถือว่ามีความยืดหยุ่นมากกว่า เนื่องจากขนาดของชุดที่อนุญาตเปลี่ยนแปลงจากขั้นตอนหนึ่งไปอีกขั้นตอนขึ้นอยู่กับรูปแบบปัจจุบันของการแจกแจง

Finlayson และคณะเสนอการตีความที่เข้มงวดกว่าว่าเหตุใด truncation method จึงมักได้ผล โดยการตัดส่วนหางช่วยทิ้ง token ที่อาจไม่เป็นของพื้นที่รองรับของการแจกแจงข้อความ «ที่แท้จริง» กล่าวคือเป็น token ที่ไม่น่าเชื่อถือเป็นพิเศษจากมุมมองของโมเดล ดังนั้นวิธีการดังกล่าวไม่เพียงแค่ «ตัดหาง» ในเชิงกลไก แต่ยังลดโอกาสของข้อผิดพลาดที่เป็นระบบในขั้นตอนการเลือก token อีกด้วย

พูดง่ายๆ การตัดส่วนหางของการแจกแจงช่วยให้โมเดลไม่เดินไกลเกินไปในพื้นที่ของตัวเลือกที่อ่อนแอและสุ่ม ด้วยเหตุนี้ข้อความมักยังคงเชื่อมโยง เป็นธรรมชาติ และมีแนวโน้มเสื่อมสภาพน้อยลง

วิธีการสุ่มตัวอย่างแบบปรับตัวมากขึ้น

Locally typical sampling, η-sampling และแนวทางที่เกี่ยวข้องพยายามไม่เพียงแค่ «ตัดหาง» แต่คำนึงถึงรูปแบบของการแจกแจงและโครงสร้างข้อมูลของขั้นตอนการสร้างข้อความปัจจุบัน

ต่างจากการตัดส่วนหางอย่างง่าย วิธีการดังกล่าวพยายามคำนึงถึงไม่เพียงแค่ว่า token นั้นน่าจะเป็นเพียงใด แต่ยังว่ามันเป็น token ที่ปกติเพียงใดสำหรับบริบทนั้นด้วย สิ่งนี้สำคัญเพราะการเสื่อมสภาพไม่ได้เกิดขึ้นเฉพาะจาก token ที่อ่อนแอเกินไป แต่ยังเกิดจากการเลือก token ที่ «ปลอดภัย» และธรรมดามากเกินไป

ตัวอย่างเช่น locally typical sampling มุ่งความใกล้ชิดของเนื้อหาข้อมูลของ token กับ conditional entropy ที่คาดหวัง กล่าวอีกนัยหนึ่ง วิธีการนี้พยายามไม่เพียงแค่เลือกคำที่มีความน่าจะเป็นสูงสุด แต่เลือกคำที่สอดคล้องกับระดับข้อมูลที่ «ปกติ» สำหรับบริบทนั้นดีกว่า ซึ่งช่วยลด:

• การซ้ำที่เสื่อมสภาพ
• ความเป็นแม่แบบมากเกินไป
• ความยากจนทางความหมายของข้อความพร้อมรักษาความเชื่อมโยงโดยรวม

วิธีการปรับตัวอื่นๆ ใช้ตรรกะที่คล้ายกัน แทนที่จะตัดตายตัวอย่างง่าย วิธีการเหล่านี้พยายามปรับตัวให้เข้ากับสถานะปัจจุบันของการแจกแจง ด้วยเหตุนี้โมเดลมีแนวโน้มน้อยกว่าที่จะตกอยู่ในสองขั้ว:

• กลายเป็นสิ่งที่คาดเดาได้และ «แบน» มากเกินไป
• จับข้อความต่อที่อ่อนแอและมีสัญญาณรบกวนมากเกินไป

วิธีการดังกล่าวมักซับซ้อนกว่าในการตีความและปรับแต่งเมื่อเทียบกับ Top-k หรือ Top-p แต่สามารถจัดการกับรูปแบบที่ละเอียดอ่อนของการเสื่อมสภาพได้ดีกว่า ซึ่งปัญหาไม่ได้อยู่ที่ความไม่เชื่อมโยงที่ชัดเจน แต่อยู่ที่การสูญเสียความมีข้อมูลและการซ้ำของแม่แบบการพูด

พูดง่ายๆ วิธีการสุ่มตัวอย่างแบบปรับตัวมากขึ้นพยายามไม่เพียงแค่ลบคำที่อ่อนแอ แต่เก็บข้อความต่อที่เหมาะกับบริบทปัจจุบันในด้านความหมายและ «ความเป็นธรรมชาติ» ดีกว่า

Contrastive search

Contrastive search และวิธีการที่เกี่ยวข้องพยายามรักษาทั้งความเชื่อมโยงและความหลากหลายพร้อมกัน โดยลดการซ้ำที่มักเกิดขึ้นกับ decoding ที่อิงการเพิ่มค่าอย่างเข้มงวด

แนวคิดของแนวทาง contrastive คือไม่พึ่งพาแค่ความน่าจะเป็นของ token ถัดไป แต่การเลือกตัวเลือกเป็นการประนีประนอมระหว่างสองข้อกำหนด:

• ข้อความต่อต้องน่าจะเป็นพอสมควร
• ข้อความต่อต้องไม่คล้ายกับบริบทที่สร้างไปแล้วมากเกินไปและเสริมการซ้ำ

ด้วยเหตุนี้ contrastive search พยายามยับยั้งข้อความต่อที่ดูน่าจะเป็นมากในเชิงรูปแบบ แต่ในทางปฏิบัตินำไปสู่การวนซ้ำ ความเป็นแม่แบบ หรือการสร้างข้อความที่ซ้ำซากเกินไป ต่างจากการสุ่มตัวอย่างล้วนๆ แนวทางนี้ไม่ใช้ความสุ่มเป็นกลไกหลักในการต่อสู้กับการเสื่อมสภาพ แต่พยายามเลือกข้อความต่อที่น่าจะเป็นพอสมควรแต่เสื่อมสภาพน้อยกว่าอย่างตั้งใจ

วิธีการดังกล่าวมีความสำคัญเป็นพิเศษเพราะกลยุทธ์ที่อิงการเพิ่มค่าแบบดั้งเดิมมักให้ความมั่นใจในระดับท้องถิ่นสูง แต่แลกมาด้วยความเป็นธรรมชาติของข้อความ Contrastive search พยายามรักษาจุดแข็งของการเลือกแบบ deterministic ซึ่งได้แก่ความเชื่อมโยงและความมั่นคง พร้อมกับลดการซ้ำและความน่าเบื่อ

พูดง่ายๆ contrastive search พยายามไม่เลือกข้อความต่อเพียงเพราะมันมีความน่าจะเป็นสูงสุด แต่ยัง «ลงโทษ» ตัวเลือกที่ซ้ำซากมากเกินไปเพื่อไม่ให้ข้อความวนซ้ำหรือกลายเป็นแม่แบบมากเกินไป

การเลือกกลยุทธ์ให้เหมาะกับงาน

งานวิจัยในภายหลังเน้นย้ำว่าไม่มีวิธีสากล ประสิทธิภาพของกลยุทธ์ decoding เฉพาะขึ้นอยู่กับประเภทของงาน ขนาดของโมเดล การ alignment และปัจจัยอื่นๆ สิ่งที่ทำงานได้ดีสำหรับการสร้างข้อความบทสนทนาหรือบทความอาจทำงานได้แย่กว่าในโค้ด คณิตศาสตร์ หรือโดเมน deterministic อื่นๆ

ซึ่งหมายความว่าการต่อสู้กับนิวรัลเทกซ์ดีเจเนอเรชันไม่ใช่เพียงการเลือกอัลกอริทึม «ดีที่สุด» แต่ยังจับคู่วิธีการกับประเภทของงานด้วย ในการสร้างข้อความแบบเปิด (เรื่องราว บทสนทนา คำตอบยาว) วิธีการสุ่มตัวอย่างและรูปแบบการคัดเลือกที่ยืดหยุ่นกว่ามักช่วยรักษาความหลากหลายและความเป็นธรรมชาติ ในงานที่เข้มงวดและ deterministic กว่า เช่น การเขียนโปรแกรม คณิตศาสตร์ หรืองานที่มีคำตอบที่ถูกต้องชัดเจน ความสุ่มที่ก้าวร้าวเกินไปอาจลดคุณภาพของผลลัพธ์ได้ในทางตรงกันข้าม

Shi และคณะยังแสดงให้เห็นว่าผลลัพธ์สุดท้ายได้รับอิทธิพลไม่เพียงแค่จากกลยุทธ์การ decoding เอง แต่ยังจาก:

• ขนาดของโมเดล
• ระดับการ alignment
• ความไวต่อ hyperparameter
• สภาพแวดล้อมการ deploy และข้อจำกัดของ inference

จากนี้มีข้อสรุปทางปฏิบัติที่สำคัญ วิธีการเดียวกันอาจดูแข็งแกร่งในการกำหนดค่าหนึ่งและอ่อนแอกว่าอย่างเห็นได้ชัดในอีกการกำหนดค่าหนึ่ง ดังนั้นการบรรเทานิวรัลเทกซ์ดีเจเนอเรชันในทางปฏิบัติแทบจะต้องปรับ parameter และตรวจสอบกับประเภทของงานเฉพาะเสมอ มากกว่าการพึ่งพา «สูตรสากล» ตัวเดียว

พูดง่ายๆ วิธีการ decoding ที่ดีขึ้นอยู่กับว่าโมเดลกำลังทำอะไรอยู่ สำหรับข้อความอิสระวิธีการบางอย่างทำงานได้ดีกว่า สำหรับโค้ด คณิตศาสตร์ และงานที่แม่นยำอื่นๆ จะเป็นวิธีการอื่น

การรวมวิธีการต่างๆ เข้าด้วยกัน

ในทางปฏิบัติ วิธีการบรรเทามักถูกนำมาใช้ไม่แยกกัน แต่ในการผสมผสานกัน ตัวอย่างเช่น การตัดส่วนหางของการแจกแจงอาจใช้ร่วมกับอุณหภูมิ และกลยุทธ์ที่ซับซ้อนกว่าอาจรวมกับข้อจำกัดเพิ่มเติมในการเลือก token

ความหมายของการผสมผสานดังกล่าวคือการแยกหน้าที่ออกจากกัน:

• กลไกหนึ่งกำหนดระดับความหลากหลายโดยรวม
• อีกกลไกหนึ่งจำกัด «หางที่มีสัญญาณรบกวน»
• กลไกที่สามลดความเสี่ยงของการซ้ำหรือความเป็นแม่แบบ

อย่างไรก็ตาม การเพิ่มจำนวนกลไกที่ต้องปรับพร้อมกันทำให้การควบคุมพฤติกรรมของโมเดลซับซ้อนขึ้น ดังนั้นรูปแบบที่ซับซ้อนกว่าไม่ได้หมายถึงผลลัพธ์ที่ดีกว่าเสมอไป ผลกำไรมักขึ้นอยู่กับว่า hyperparameter ถูกปรับดีเพียงใดและการผสมผสานเฉพาะสอดคล้องกับงานเพียงใด

กล่าวอีกนัยหนึ่ง การบรรเทานิวรัลเทกซ์ดีเจเนอเรชันส่วนใหญ่สร้างขึ้นจากการผสมผสานข้อจำกัดหลายอย่างอย่างระมัดระวัง ไม่ใช่วิธีการ «วิเศษ» วิธีเดียว โดยแต่ละข้อจำกัดกำจัดปัญหาของตัวเอง

ไม่ควรสับสนกับ model collapse

นิวรัลเทกซ์ดีเจเนอเรชันในความหมายของ Holtzman และคณะไม่ควรสับสนกับ model collapse ซึ่งเป็นปรากฏการณ์แยกต่างหากที่ศึกษาในงานวิจัยเกี่ยวกับการฝึกโมเดลซ้ำๆ บนข้อมูลสังเคราะห์

ในกรณีแรกพูดถึงการเสื่อมสภาพของข้อความในขั้นตอนการสร้าง (inference) เป็นหลัก เมื่อกลยุทธ์การ decoding ที่ไม่เหมาะสมนำไปสู่การซ้ำ ความเป็นแม่แบบ หรือการสูญเสียความเชื่อมโยง ในกรณีที่สองพูดถึงการเสื่อมสภาพของโมเดลในขั้นตอนการฝึก เมื่อข้อมูลที่สร้างโดยโมเดลเริ่ม «ปนเปื้อน» ชุดข้อมูลการฝึกของโมเดลรุ่นต่อไป ซึ่งอาจนำไปสู่การหายไปของเหตุการณ์ที่หายากและการแคบลงของการแจกแจง

ปรากฏการณ์เหล่านี้มีความเชื่อมโยงกันในเชิงหัวข้อ เนื่องจากทั้งสองเกี่ยวข้องกับการเสื่อมลงของคุณภาพข้อความของโครงข่ายประสาทเทียม อย่างไรก็ตามในวรรณกรรมมักถูกพิจารณาเป็นปัญหาที่แตกต่างกัน ปัญหาหนึ่งเกี่ยวข้องกับการ decoding อีกปัญหาหนึ่งเกี่ยวข้องกับข้อมูลและการฝึก

ความสำคัญสำหรับโมเดลภาษาขนาดใหญ่

ในยุคของโมเดลภาษาขนาดใหญ่ ปัญหานิวรัลเทกซ์ดีเจเนอเรชันไม่ได้หายไป แต่เลื่อนจากพื้นที่ของตัวสร้างข้อความขนาดเล็กมาสู่พื้นที่การจัดการพฤติกรรมของระบบที่มีประสิทธิภาพมากขึ้น แม้ว่า LLM สมัยใหม่มักมีการ alignment ที่ดีกว่าและตกอยู่ในวงซ้ำอย่างรุนแรงน้อยกว่า แต่การเลือกกลยุทธ์ decoding ยังคงส่งผลต่อความเป็นธรรมชาติ ความหลากหลาย และความมั่นคงของผลลัพธ์อย่างเห็นได้ชัด

ด้วยเหตุนี้นิวรัลเทกซ์ดีเจเนอเรชันจึงถูกมองไม่ใช่เป็นข้อบกพร่องแคบๆ ของโมเดลภาษายุคแรก แต่เป็นปัญหาพื้นฐานของการสร้างข้อความในทางปฏิบัติ กล่าวคือ การสร้างแบบจำลองความน่าจะเป็นที่ดีไม่ได้รับประกันข้อความที่ดีในขั้นตอน inference เสมอไป

ดูเพิ่มเติม

• การสุ่มตัวอย่างแบบ Top-p
• การสุ่มตัวอย่างแบบ Top-k
• อุณหภูมิ
• โมเดลภาษาขนาดใหญ่

เอกสารอ้างอิง

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; ตีพิมพ์ใน ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.