Neural Text Degeneration (VI)

Sự suy thoái văn bản trong mạng nơ-ron, còn gọi là vyrождение văn bản khi sinh bằng mạng nơ-ron (tiếng Anh: Neural Text Degeneration), — là một nhóm bệnh lý trong quá trình sinh văn bản của các mô hình ngôn ngữ nơ-ron, khi đầu ra trở nên phi tự nhiên: lặp đi lặp lại quá mức, rập khuôn, nghèo nội dung hoặc mất tính mạch lạc. Thuật ngữ này được phổ biến rộng rãi sau công trình của Ari Holtzman và các cộng sự The Curious Case of Neural Text Degeneration (2019; ICLR 2020), trong đó được chứng minh rằng các chiến lược giải mã dựa trên việc trực tiếp tối đa hóa xác suất thường cho kết quả kém chất lượng trong các bài toán sinh văn bản mở.

Giải thích đơn giản

Sự suy thoái văn bản trong mạng nơ-ron — là tình huống khi mô hình về mặt hình thức vẫn tiếp tục tạo ra văn bản, nhưng làm điều đó kém chất lượng xét theo tiêu chuẩn của ngôn ngữ tự nhiên.

Thông thường điều này biểu hiện như sau:

• mô hình bắt đầu lặp lại những từ hoặc cụm từ giống nhau;
• văn bản trở nên quá rập khuôn và «vô hồn»;
• câu trả lời mất đi tính mạch lạc về mặt ngữ nghĩa;
• các từ ngẫu nhiên hoặc không phù hợp bắt đầu xuất hiện trong phần tiếp theo.

Nói cách khác, mô hình hoặc trở nên quá «thận trọng» và luôn chọn cùng một thứ, hoặc ngược lại, được quá nhiều tự do và bắt đầu kéo về những phần tiếp theo yếu kém và ồn ào. Trong cả hai trường hợp, văn bản không còn giống với lời nói tự nhiên của con người nữa.

Lịch sử nghiên cứu

Vấn đề này được Holtzman và các cộng sự trình bày chi tiết vào năm 2019 trên cơ sở nghiên cứu sinh văn bản mở — chủ yếu là các câu chuyện, phần tiếp theo tự do và các câu trả lời hội thoại. Các tác giả đã chứng minh rằng các phương pháp giải mã hướng đến tối đa hóa xác suất, chẳng hạn như tìm kiếm tham lam (greedy search) và tìm kiếm chùm tia (beam search), trong các bài toán mở thường dẫn đến các chuỗi phi tự nhiên, lặp lại và nghèo nội dung.

Trong cùng công trình đó, người ta cũng chỉ ra rằng cách tiếp cận ngược lại — lấy mẫu ngẫu nhiên thuần túy không cắt giảm — cũng có vấn đề, vì mô hình có thể chọn token từ «đuôi không đáng tin cậy» của phân phối xác suất. Điều này làm giảm tính mạch lạc và tăng nguy cơ các phần tiếp theo ngẫu nhiên, khớp nối kém.

Các công trình sau này đã làm rõ và mở rộng giải thích này. Cụ thể, Finlayson và các cộng sự đề xuất một diễn giải lý thuyết về lý do tại sao các phương pháp cắt giảm (ví dụ: Top-p) thường giúp giảm sự suy thoái văn bản: việc cắt giảm phần đuôi cho phép tránh các token mà mô hình đặc biệt không đáng tin cậy.

Meister và các cộng sự còn liên kết thêm vấn đề suy thoái với sự vi phạm tính điển hình cục bộ: văn bản của con người, như một quy tắc, có xu hướng duy trì nội dung thông tin gần với entropy có điều kiện kỳ vọng, chứ không chỉ đơn giản là tối đa hóa xác suất của mỗi token tiếp theo.

Các biểu hiện chính

Sự suy thoái văn bản trong mạng nơ-ron có thể biểu hiện không chỉ dưới dạng các lặp lại rõ ràng, mà còn ở các dạng ẩn hơn: từ sự nghèo nàn về ngữ nghĩa đến sự tan rã dần dần của tính mạch lạc. Bề ngoài, những văn bản như vậy thường vẫn đúng ngữ pháp, tuy nhiên bắt đầu khác biệt đáng kể so với lời nói tự nhiên của con người về sự đa dạng, tính thông tin và sự bền vững của sự phát triển ý tưởng.

Lặp lại và vòng lặp

Dạng phổ biến nhất — lặp lại token, cụm từ hoặc toàn bộ cấu trúc cú pháp. Văn bản bắt đầu «đi vòng tròn», thêm vào những phần tiếp theo gần giống nhau lặp đi lặp lại.

Sự suy thoái như vậy có thể biểu hiện ở các cấp độ khác nhau:

• như sự lặp lại các từ đơn lẻ;
• như sự tái hiện ám ảnh một cụm từ giống nhau;
• như sự quay lại theo chu kỳ một ý nghĩ giống nhau;
• như sự sao chép nhiều lần một sơ đồ cú pháp giống nhau với những thay đổi tối thiểu.

Đặc biệt đáng chú ý là các lặp lại thường trở nên tự duy trì: một cấu trúc đã xuất hiện bắt đầu tự củng cố, vì mô hình tiếp tục dựa vào đoạn đã tạo ra và tái hiện nó một lần nữa ở dạng hơi thay đổi. Kết quả là văn bản có thể duy trì vẻ ngoài tiến về phía trước, nhưng thực tế ngừng phát triển về mặt nội dung.

Rập khuôn và nghèo nàn về nội dung

Ngay cả khi không có các vòng lặp rõ ràng, mô hình có thể tạo ra văn bản quá có thể đoán trước và nghèo nội dung. Đầu ra như vậy vẫn đúng ngữ pháp, nhưng trở nên tầm thường, đơn điệu và nghèo về nội dung thông tin.

Ở dạng suy thoái này, văn bản thường trông «đúng», nhưng tạo ấn tượng quá an toàn và trung bình. Mô hình ưu tiên những từ và cách diễn đạt được mong đợi nhất, do đó:

• sự đa dạng từ vựng giảm xuống;
• những khuôn mẫu lời nói giống nhau được lặp lại thường xuyên hơn;
• những cách diễn đạt ít hiển nhiên hơn nhưng có nội dung hơn biến mất;
• văn bản trở nên mượt mà hơn về hình thức, nhưng nghèo hơn về ý nghĩa.

Chính vì vậy sự suy thoái không phải lúc nào cũng trông như một lỗi rõ ràng: đôi khi nó biểu hiện như văn bản quá có thể đoán trước, «phẳng» và rỗng, được viết đúng về mặt hình thức, nhưng hầu như không cung cấp thông tin mới.

Mất tính mạch lạc

Khi có quá nhiều tính ngẫu nhiên hoặc kiểm soát yếu đối với phần đuôi của phân phối, quá trình sinh có thể duy trì tính đúng đắn ngữ pháp cục bộ, nhưng mất đi tính liên kết ngữ nghĩa tổng thể: những từ không phù hợp, những chuyển tiếp chủ đề bất ngờ và những đứt gãy logic bắt đầu xuất hiện trong văn bản.

Trong tình huống như vậy, các cụm từ liền kề có thể riêng lẻ trông có vẻ chấp nhận được, tuy nhiên các mối liên kết nhân quả, chủ đề và logic giữa chúng suy yếu. Điều này biểu hiện ở chỗ:

• câu đúng ngữ pháp nhưng liên kết kém với câu trước;
• ý nghĩ đột ngột thay đổi hướng mà không có sự chuyển tiếp rõ ràng;
• trong văn bản xuất hiện những phần tiếp theo được phép cục bộ nhưng không phù hợp về mặt ngữ cảnh;
• tiến trình suy luận tổng thể trở nên rời rạc và không ổn định.

Nói cách khác, mô hình có thể duy trì sự mượt mà cục bộ ở cấp độ các cụm từ riêng lẻ, nhưng mất đi tính mạch lạc toàn cục ở cấp độ toàn bộ đoạn văn hoặc câu trả lời dài.

Trôi dạt ngữ nghĩa

Một dạng suy thoái khác — sự dịch chuyển dần dần về ý nghĩa, khi văn bản không sụp đổ ngay lập tức mà từ từ rời xa chủ đề, nhiệm vụ hoặc dòng tường thuật ban đầu.

Khác với sự mất mạch lạc rõ ràng, ở đây sự suy giảm phát triển dần dần:

• mô hình bắt đầu với câu trả lời có liên quan;
• sau đó thêm vào ngày càng nhiều chi tiết chung chung hoặc liên kết yếu;
• sau đó chủ đề ban đầu bị mờ nhạt;
• cuối cùng văn bản có thể vẫn trơn tru về mặt hình thức, nhưng trả lời kém cho câu hỏi ban đầu.

Sự trôi dạt như vậy đặc biệt rõ ràng trong quá trình sinh dài: mô hình không nhất thiết rơi vào vòng lặp, nhưng từng bước từng bước mất đi kỷ luật chủ đề, và phần tiếp theo không còn thực sự có liên quan nữa.

Giảm tính thông tin

Sự suy thoái có thể biểu hiện không chỉ ở những lặp lại, mà còn ở chỗ văn bản ngừng thêm thông tin mới. Mô hình tiếp tục viết, tuy nhiên «mật độ» ngữ nghĩa của đầu ra giảm xuống, và phần tiếp theo trở nên rỗng về nội dung.

Trong văn bản như vậy, các từ và câu tiếp tục tích lũy, nhưng sự tiến bộ về ý nghĩa chậm lại. Các cụm từ mới:

• diễn đạt lại những gì đã được nói;
• thêm số lượng tối thiểu các sự kiện mới;
• thay thế sự cụ thể bằng những lời nói chung chung;
• duy trì khối lượng văn bản mà không có sự tăng trưởng tương đương về nội dung.

Đây đặc biệt quan trọng, vì sự suy giảm như vậy có thể trông ít đáng chú ý hơn so với các lặp lại rõ ràng: văn bản có vẻ «bình thường», nhưng khi đọc kỹ hóa ra nó chủ yếu lặp lại cùng một ý nghĩ bằng những từ khác nhau.

Suy thoái ẩn không có lỗi rõ ràng

Không phải mọi sự suy thoái nơ-ron đều trông như một sự cố thô. Trong một số trường hợp, văn bản không chứa các vòng lặp rõ ràng, những đứt gãy logic đột ngột hoặc «nhiễu» hiển nhiên, tuy nhiên vẫn đáng kể lệch khỏi văn viết tự nhiên của con người.

Dạng ẩn như vậy biểu hiện như sự kết hợp của:

• tính có thể đoán trước quá mức;
• nhịp điệu đơn điệu của các cụm từ;
• những cách diễn đạt an toàn nhưng yếu;
• thiếu sự bất ngờ, sắc thái và chiều sâu ngữ nghĩa.

Chính vì vậy sự suy thoái văn bản trong mạng nơ-ron không chỉ quy về vòng lặp. Nó bao gồm một phổ triệu chứng rộng hơn — từ các lặp lại rõ ràng đến sự nghèo nàn ngữ nghĩa tinh tế, khi văn bản vẫn đúng về mặt hình thức, nhưng mất đi sự đa dạng, tính biểu cảm và giá trị nội dung.

Nguyên nhân

Sự không khớp giữa huấn luyện và giải mã

Các mô hình ngôn ngữ thường được huấn luyện để dự đoán token tiếp theo theo phân phối xác suất. Tuy nhiên khi sinh văn bản, văn bản thường không được rút ra như một mẫu từ phân phối này, mà bằng các thủ tục tối đa hóa cứng xác suất ở mỗi bước hoặc trên toàn bộ chuỗi. Sự khác biệt này giữa mục tiêu huấn luyện và quy tắc giải mã là một trong những nguyên nhân chính của suy thoái trong các bài toán mở.

«Đuôi không đáng tin cậy» của phân phối

Mặt khác, sự tự do hoàn toàn trong lấy mẫu cũng có thể có hại. Ngay cả các token có xác suất rất thấp thường vẫn có xác suất khác không, và trong số chúng có nhiều phương án yếu kém, ồn ào hoặc khớp nối kém. Nếu mô hình chọn token từ đuôi như vậy, chất lượng của phần tiếp theo có thể giảm mạnh.

Vi phạm tính điển hình cục bộ

Meister và các cộng sự liên kết sự suy thoái với việc văn bản tự nhiên thường duy trì nội dung thông tin gần với entropy có điều kiện kỳ vọng. Khi giải mã một cách có hệ thống rời xa «tính điển hình» này, văn bản có thể trở nên quá tầm thường hoặc quá ồn ào.

Mối liên hệ với các phương pháp giải mã

Sự suy thoái văn bản trong mạng nơ-ron gắn liền không chỉ với chất lượng của chính mô hình ngôn ngữ, mà còn với việc chính xác như thế nào token tiếp theo được chọn từ phân phối xác suất của nó. Cùng một tập hợp xác suất có thể cho kết quả khác nhau đáng kể tùy thuộc vào chiến lược giải mã: một số phương pháp tăng cường lặp lại và rập khuôn, những phương pháp khác tăng sự đa dạng nhưng có nguy cơ mất tính mạch lạc, những phương pháp khác nữa cố gắng duy trì sự cân bằng giữa hai thái cực này.

Tìm kiếm tham lam và beam search

Tìm kiếm tham lam và tìm kiếm chùm tia đặc biệt dễ bị lặp lại và rập khuôn trong các bài toán sinh mở, vì chúng có hệ thống ưu tiên các phần tiếp theo có xác suất cao nhất.

Trong trường hợp tìm kiếm tham lam, mô hình ở mỗi bước chọn một token có xác suất cao nhất. Cách tiếp cận này hoạt động tốt ở những nơi bài toán có tập hợp câu trả lời đúng tương đối hẹp, tuy nhiên trong sinh tự do nó thường làm cho văn bản quá có thể đoán trước. Mô hình lặp đi lặp lại chọn những phần tiếp theo «an toàn» nhất, do đó:

• xu hướng lặp lại các cấu trúc đã chọn tăng lên;
• sự đa dạng của cách diễn đạt giảm xuống;
• văn bản trở nên rập khuôn hơn và nghèo về nội dung.

Tìm kiếm chùm tia (beam search) một phần mở rộng không gian tìm kiếm, vì nó theo dõi đồng thời một số giả thuyết có xác suất cao nhất. Tuy nhiên trong các bài toán văn bản mở điều này không phải lúc nào cũng cứu khỏi sự suy thoái. Ngược lại, do định hướng chung vào tối đa hóa xác suất, nó cũng có thể có hệ thống ưu tiên những phần tiếp theo quá «đúng», nhưng ít tự nhiên, điều này làm tăng nguy cơ:

• đơn điệu;
• lặp lại;
• văn bản quá mượt mà nhưng nghèo nội dung.

Nói cách khác, các phương pháp lựa chọn nhất quán nhất phần tiếp theo có xác suất cao nhất thường chiến thắng về tính có thể đoán trước cục bộ, nhưng thua về tính tự nhiên của quá trình sinh dài.

Lấy mẫu thuần túy

Lấy mẫu không bị hạn chế chặt chẽ làm tăng sự đa dạng, nhưng không có bộ lọc bổ sung thường xuyên hơn nắm bắt các token yếu từ phần đuôi của phân phối, điều này có thể làm xấu đi tính mạch lạc của văn bản.

Với lấy mẫu thuần túy, token tiếp theo được chọn ngẫu nhiên theo phân phối xác suất đầy đủ của mô hình. Không giống như tìm kiếm tham lam hay beam search, cách tiếp cận này cho mô hình nhiều tự do hơn và giúp tránh «bị mắc kẹt» quá sớm trong cùng một khuôn mẫu.

Tuy nhiên sự tự do này có mặt trái. Ngay cả khi xác suất của nhiều token rất nhỏ, chúng thường vẫn có cơ hội khác không được chọn. Do đó mô hình có thể nắm bắt các phần tiếp theo từ «đuôi» của phân phối, nơi thường gặp hơn:

• các từ ngẫu nhiên và yếu về ngữ cảnh;
• các phần tiếp theo khớp nối kém;
• các token được phép cục bộ nhưng làm xấu đi tính mạch lạc tổng thể của văn bản.

Kết quả là lấy mẫu thuần túy thường làm giảm tính rập khuôn, nhưng đồng thời làm cho văn bản kém ổn định hơn: nó có thể vẫn đa dạng, nhưng trở nên rời rạc hơn, thiếu nhất quán hơn hoặc không ổn định về mặt ngữ nghĩa.

Các phương pháp cắt giảm phân phối

Các phương pháp cắt giảm phân phối — chủ yếu là Top-p và Top-k — được đề xuất như một cách thực tế để giảm sự suy thoái. Chúng giới hạn tập hợp các token được phép và do đó giảm xác suất các phần tiếp theo không thành công.

Logic chung của các phương pháp này là không cho phép mô hình chọn token tiếp theo từ toàn bộ từ vựng. Thay vào đó chỉ xem xét phần đáng tin cậy nhất của phân phối:

• Top-k để lại một số lượng cố định các token có xác suất cao nhất;
• Top-p để lại «nhân» động của các token mà tổng xác suất của chúng đạt đến ngưỡng đã cho.

Sự hạn chế như vậy làm giảm nguy cơ mô hình chọn một phần tiếp theo quá yếu từ phần đuôi không đáng tin cậy, nhưng không buộc nó phải lấy mỗi lần chỉ một «lựa chọn tốt nhất» duy nhất. Nhờ đó các phương pháp cắt giảm thường là giải pháp trung gian giữa hai thái cực:

• tối đa hóa quá cứng nhắc;
• lấy mẫu quá tự do và ồn ào.

Sau đó Finlayson và các cộng sự đề xuất một giải thích lý thuyết nghiêm ngặt hơn về hiệu quả này. Họ chỉ ra rằng các phương pháp truncation giúp loại bỏ các token có nhiều khả năng không đáng tin cậy hơn từ quan điểm của phân phối văn bản thực. Do đó cắt giảm có thể được coi không chỉ là một kỹ thuật heuristic kỹ thuật, mà còn là một cách để giảm xác suất các lỗi có hệ thống khi chọn token tiếp theo.

Các chiến lược hiện đại

Các phương pháp mới hơn, chẳng hạn như locally typical sampling, cố gắng giảm các lặp lại suy thoái trong khi vẫn duy trì chất lượng sinh. Tương tự, contrastive search được đề xuất như một cách để tăng sự đa dạng mà không hy sinh tính mạch lạc của văn bản.

Các phương pháp này phát triển ý tưởng rằng vấn đề không chỉ là bao nhiêu token cần giữ lại, mà còn là chính xác những token nào nên được coi là ứng viên tốt.

Locally typical sampling hướng đến không chỉ là xác suất cao, mà là sự gần gũi của nội dung thông tin của token với entropy có điều kiện kỳ vọng. Điều này cho phép giảm các tình huống khi mô hình:

• chọn những phần tiếp theo quá tầm thường và «rỗng»;
• bị mắc kẹt trong các lặp lại suy thoái;
• trở nên quá có thể đoán trước ngay cả không có vòng lặp rõ ràng.

Contrastive search sử dụng logic khác: nó cố gắng chọn những phần tiếp theo đồng thời vẫn hợp lý và không quá giống với ngữ cảnh đã được sinh. Nhờ đó xác suất mô hình tăng cường cùng một cấu trúc chỉ vì chúng có xác suất cục bộ rất cao được giảm xuống.

So với các chiến lược decoding cổ điển, các phương pháp này cố gắng không chỉ hạn chế sự lựa chọn, mà làm cho bản thân tiêu chí lựa chọn nhạy cảm hơn với chất lượng của quá trình sinh dài — tức là liệu văn bản có vẫn có nội dung, đa dạng và mạch lạc trong nhiều câu hoặc đoạn văn.

Phụ thuộc vào chế độ giải mã

Mối liên hệ giữa sự suy thoái nơ-ron và giải mã không quy về sự đối lập giữa các phương pháp «tốt» và «xấu». Cùng một thuật toán có thể hoạt động khác nhau tùy thuộc vào mức độ cứng nhắc hay tự do mà nó hạn chế phân phối ở mỗi bước.

Nhìn chung có thể phân biệt ba chế độ:

• lựa chọn quá cứng nhắc — mô hình hầu như luôn lấy các token có xác suất cao nhất, điều này tăng cường tính rập khuôn và lặp lại;
• lựa chọn quá tự do — mô hình có quyền truy cập quá rộng vào các phần tiếp theo yếu kém, điều này làm tăng nguy cơ mất mạch lạc;
• lựa chọn bị hạn chế vừa phải — mô hình duy trì sự đa dạng, nhưng vẫn trong phần đủ đáng tin cậy của phân phối.

Chính vì vậy sự suy thoái nơ-ron thường được coi là hệ quả không chỉ của chất lượng bản thân mô hình, mà còn của chế độ giải mã không phù hợp: quá cứng nhắc, quá mềm hoặc phối hợp kém với bài toán sinh cụ thể.

Nói đơn giản hơn, sự suy thoái thường xảy ra ở hai thái cực: khi mô hình hoặc quá cứng nhắc chỉ chọn những từ có xác suất cao nhất, hoặc ngược lại, nhận quá nhiều tự do và bắt đầu kéo về những phần tiếp theo yếu kém ngẫu nhiên. Các chiến lược ổn định nhất thường nằm giữa các chế độ cực đoan này.

Các phương pháp giảm nhẹ

Mặc dù không có cách nào để loại bỏ hoàn toàn sự suy thoái văn bản trong mạng nơ-ron, trên thực tế đã được phát triển một số phương pháp cho phép giảm đáng kể các biểu hiện điển hình nhất của nó — chủ yếu là lặp lại, rập khuôn, mất tính mạch lạc và nắm bắt «đuôi ồn ào» của phân phối. Các phương pháp này khác nhau về cách chính xác chúng hạn chế việc chọn token tiếp theo: một số đơn giản là cắt bỏ các phương án yếu, những phương pháp khác tính đến hình dạng của phân phối tinh tế hơn, những phương pháp khác nữa cố gắng trực tiếp cân bằng tính mạch lạc và sự đa dạng.

Cắt giảm phân phối

Cách phổ biến nhất để chống lại sự suy thoái nơ-ron — hạn chế việc chọn token tiếp theo không phải từ toàn bộ từ vựng, mà chỉ từ phần đáng tin cậy nhất của nó. Chính trên đây mà Top-p và Top-k được xây dựng.

Ý tưởng cơ bản của các phương pháp này là mô hình không nên tự do chọn trong số tất cả các token có thể, vì một phần đáng kể của phân phối nằm trong «đuôi không đáng tin cậy», nơi tích tụ các phương án yếu kém, ồn ào hoặc khớp nối kém. Cắt giảm cho phép thu hẹp nhân tạo không gian lựa chọn và do đó giảm xác suất sinh đột ngột đi vào mất mạch lạc hoặc bắt đầu tan rã.

Trên thực tế, hai sơ đồ nổi tiếng nhất được sử dụng:

• Top-k — để lại chỉ một số lượng cố định các token có xác suất cao nhất;
• Top-p (nucleus sampling) — để lại «nhân» động của các token mà tổng xác suất của chúng đạt đến ngưỡng đã cho $p$.

Ý nghĩa chung của chúng là một: không cho phép mô hình chọn từ quá nhiều phần tiếp theo yếu kém. Đồng thời Top-p thường được coi là linh hoạt hơn, vì kích thước của tập hợp được phép thay đổi từ bước này sang bước khác tùy thuộc vào hình dạng hiện tại của phân phối.

Finlayson và các cộng sự đề xuất một giải thích nghiêm ngặt hơn về lý do tại sao các phương pháp truncation thường hoạt động: cắt giảm giúp loại bỏ các token có thể không thuộc hỗ trợ của phân phối văn bản «thực», tức là đặc biệt không đáng tin cậy từ quan điểm của mô hình. Do đó các phương pháp như vậy không chỉ đơn giản là «cắt đuôi» một cách cơ học, mà thực sự làm giảm xác suất các lỗi có hệ thống ở giai đoạn chọn token.

Nói đơn giản hơn, cắt giảm phân phối giúp mô hình không đi quá xa vào vùng các phương án yếu và ngẫu nhiên. Nhờ đó văn bản thường vẫn mạch lạc hơn, tự nhiên hơn và ít có xu hướng suy thoái hơn.

Các phương pháp lấy mẫu thích ứng hơn

Locally typical sampling, η-sampling và các cách tiếp cận liên quan cố gắng không chỉ «cắt đuôi», mà tính đến hình dạng của phân phối và cấu trúc thông tin của bước sinh hiện tại.

Khác với cắt giảm đơn giản, các phương pháp như vậy cố gắng tính đến không chỉ xác suất của token cao đến mức nào, mà còn điển hình đến mức nào nó cho ngữ cảnh đã cho. Điều này quan trọng vì suy thoái xảy ra không chỉ do các token quá yếu, mà còn do sự ưu tiên quá mức các phần tiếp theo quá «an toàn» và tầm thường.

Ví dụ, locally typical sampling hướng đến sự gần gũi của nội dung thông tin của token với entropy có điều kiện kỳ vọng. Nói cách khác, nó cố gắng chọn không chỉ những từ có xác suất cao nhất, mà những từ phù hợp tốt hơn với mức độ thông tin «bình thường» cho ngữ cảnh đã cho. Điều này cho phép giảm:

• các lặp lại suy thoái;
• tính rập khuôn quá mức;
• sự nghèo nàn ngữ nghĩa của văn bản trong khi duy trì tính mạch lạc tổng thể.

Logic tương tự được sử dụng bởi các phương pháp thích ứng khác: thay vì cắt giảm cố định đơn giản, chúng cố gắng điều chỉnh theo trạng thái hiện tại của phân phối. Nhờ đó mô hình ít có xu hướng rơi vào hai thái cực:

• hoặc trở nên quá có thể đoán trước và «phẳng»;
• hoặc nắm bắt những phần tiếp theo quá yếu và ồn ào.

Các phương pháp như vậy thường phức tạp hơn trong giải thích và điều chỉnh so với Top-k hay Top-p, tuy nhiên chúng có thể xử lý tốt hơn các dạng suy thoái tinh tế, nơi vấn đề không phải ở mất mạch lạc rõ ràng, mà ở việc mất tính thông tin và lặp lại các khuôn mẫu lời nói.

Nói đơn giản hơn, các phương pháp thích ứng hơn cố gắng không chỉ loại bỏ những từ yếu, mà giữ lại những phần tiếp theo phù hợp tốt hơn với ngữ cảnh hiện tại về ý nghĩa và «tính tự nhiên».

Contrastive search

Contrastive search và các phương pháp gần gũi cố gắng đồng thời duy trì tính mạch lạc và sự đa dạng, giảm các lặp lại thường xuất hiện với giải mã dựa trên tối đa hóa nghiêm ngặt.

Ý tưởng của cách tiếp cận contrastive là không chỉ dựa vào xác suất của token tiếp theo. Thay vào đó, việc chọn ứng viên được xây dựng như một sự thỏa hiệp giữa hai yêu cầu:

• phần tiếp theo phải đủ hợp lý;
• phần tiếp theo không được quá giống với ngữ cảnh đã được sinh và do đó tăng cường sự lặp lại.

Nhờ đó contrastive search cố gắng loại bỏ chính xác những phần tiếp theo trông rất có xác suất về mặt hình thức, nhưng thực tế dẫn đến vòng lặp, rập khuôn hoặc sinh quá đơn điệu. Không giống như lấy mẫu thuần túy, cách tiếp cận này không giới thiệu tính ngẫu nhiên như là cơ chế chính để chống lại sự suy thoái, mà cố gắng có chủ đích chọn những phần tiếp theo đủ hợp lý, nhưng ít suy thoái hơn.

Các phương pháp như vậy đặc biệt quan trọng vì các chiến lược dựa trên tối đa hóa cổ điển thường cho độ tin cậy cục bộ cao, nhưng trả giá bằng tính tự nhiên của văn bản. Contrastive search cố gắng duy trì những điểm mạnh của lựa chọn xác định — tính mạch lạc và ổn định — đồng thời giảm lặp lại và đơn điệu.

Nói đơn giản hơn, contrastive search cố gắng không lấy phần tiếp theo chỉ vì nó có xác suất cao nhất. Nó thêm vào «hình phạt» cho các phương án quá đơn điệu, để văn bản không bị vòng lặp và không trở nên quá rập khuôn.

Lựa chọn chiến lược phù hợp với bài toán

Các nghiên cứu sau này nhấn mạnh rằng không có phương pháp phổ quát: hiệu quả của chiến lược decoding cụ thể phụ thuộc vào loại bài toán, kích thước mô hình, sự căn chỉnh và các yếu tố khác. Những gì hoạt động tốt cho sinh hội thoại hoặc bài luận, có thể hoạt động kém hơn trong mã, toán học hoặc các lĩnh vực xác định khác.

Điều này có nghĩa là cuộc chiến chống lại sự suy thoái nơ-ron — không chỉ là chọn thuật toán «tốt nhất», mà còn là so sánh phương pháp với loại bài toán. Trong sinh mở (câu chuyện, hội thoại, câu trả lời dài) các phương pháp lấy mẫu và các sơ đồ lựa chọn linh hoạt hơn thường giúp duy trì sự đa dạng và tính tự nhiên. Trong các bài toán cứng nhắc và xác định hơn — ví dụ, trong lập trình, toán học hoặc các bài toán có câu trả lời đúng duy nhất — tính ngẫu nhiên quá hung hãn, ngược lại, có thể làm giảm chất lượng kết quả.

Shi và các cộng sự cũng chỉ ra rằng kết quả cuối cùng bị ảnh hưởng không chỉ bởi bản thân chiến lược giải mã, mà còn bởi:

• kích thước mô hình;
• mức độ căn chỉnh của nó;
• độ nhạy với các siêu tham số;
• môi trường triển khai và các hạn chế inference.

Từ đây rút ra kết luận thực tiễn quan trọng: cùng một phương pháp có thể trông mạnh trong một cấu hình và đáng kể yếu hơn — trong một cấu hình khác. Do đó việc giảm nhẹ sự suy thoái nơ-ron trên thực tế hầu như luôn đòi hỏi điều chỉnh tham số và kiểm tra trên lớp bài toán cụ thể, chứ không phải dựa vào một «công thức phổ quát».

Nói đơn giản hơn, cách giải mã tốt phụ thuộc vào những gì chính xác mô hình đang làm. Đối với văn bản tự do, một số phương pháp hoạt động tốt hơn, đối với mã, toán học và các bài toán chính xác khác — những phương pháp khác.

Kết hợp các phương pháp

Trên thực tế, các phương pháp giảm nhẹ thường được áp dụng không riêng lẻ, mà kết hợp với nhau. Ví dụ, cắt giảm phân phối có thể được sử dụng cùng với nhiệt độ, và các chiến lược phức tạp hơn — kết hợp với các hạn chế bổ sung về việc chọn token.

Ý nghĩa của các kết hợp như vậy là phân chia chức năng:

• một cơ chế thiết lập mức độ đa dạng chung;
• một cơ chế khác hạn chế «đuôi ồn ào»;
• cơ chế thứ ba giảm nguy cơ lặp lại hoặc rập khuôn.

Tuy nhiên việc tăng số lượng cơ chế được điều chỉnh đồng thời làm phức tạp việc kiểm soát hành vi của mô hình. Do đó sơ đồ phức tạp hơn không phải lúc nào cũng có nghĩa là kết quả chất lượng hơn: lợi ích thường phụ thuộc vào mức độ siêu tham số được chọn tốt và mức độ kết hợp cụ thể tương ứng với bài toán.

Nói cách khác, việc giảm nhẹ sự suy thoái nơ-ron thường được xây dựng không phải trên một phương pháp «thần kỳ», mà trên sự kết hợp cẩn thận của một số hạn chế, mỗi hạn chế giải quyết phần của vấn đề.

Không nên nhầm lẫn với model collapse

Sự suy thoái văn bản trong mạng nơ-ron theo nghĩa của Holtzman và các cộng sự không nên nhầm lẫn với model collapse — một hiện tượng riêng biệt được nghiên cứu trong các công trình về huấn luyện đệ quy các mô hình trên dữ liệu tổng hợp.

Trong trường hợp đầu tiên, chúng ta nói chủ yếu về sự suy thoái văn bản ở giai đoạn sinh (inference), khi chiến lược giải mã không phù hợp dẫn đến lặp lại, rập khuôn hoặc mất tính mạch lạc. Trong trường hợp thứ hai — về sự suy giảm mô hình ở giai đoạn huấn luyện, khi dữ liệu được sinh bởi mô hình bắt đầu «làm ô nhiễm» tập huấn luyện của thế hệ mô hình tiếp theo, điều này có thể dẫn đến sự biến mất của các sự kiện hiếm và thu hẹp phân phối.

Các hiện tượng này có liên quan về chủ đề, vì cả hai liên quan đến sự suy giảm chất lượng văn bản của mạng nơ-ron, tuy nhiên trong tài liệu thường được coi là các vấn đề khác nhau: một vấn đề liên quan đến giải mã, vấn đề kia — đến dữ liệu và huấn luyện.

Ý nghĩa đối với các mô hình ngôn ngữ lớn

Trong thời đại các mô hình ngôn ngữ lớn, vấn đề suy thoái nơ-ron không biến mất, mà dịch chuyển từ lĩnh vực các bộ sinh văn bản nhỏ sang lĩnh vực quản lý hành vi của các hệ thống mạnh mẽ hơn. Mặc dù các LLM hiện đại thường được căn chỉnh tốt hơn và ít rơi vào các vòng lặp lại thô lỗ hơn, nhưng việc chọn chiến lược decoding vẫn ảnh hưởng đáng kể đến tính tự nhiên, sự đa dạng và độ ổn định của đầu ra.

Do đó sự suy thoái văn bản trong mạng nơ-ron được coi không phải là khiếm khuyết hẹp của các mô hình ngôn ngữ đầu, mà là một vấn đề cơ bản của sinh thực tế: mô hình hóa xác suất tốt không tự nó đảm bảo văn bản tốt ở giai đoạn inference.

Xem thêm

• Lấy mẫu Top-p
• Lấy mẫu Top-k
• Nhiệt độ
• Các mô hình ngôn ngữ lớn

Tài liệu tham khảo

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; xuất bản tại ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.