Theoretical foundations of large language models (VI)

Cơ sở lý thuyết của các mô hình ngôn ngữ lớn (dựa trên kiến trúc transformer) — là tổng thể các nguyên lý toán học, thống kê và lý thuyết thông tin làm nền tảng cho hoạt động, quá trình huấn luyện và khả năng của các mô hình ngôn ngữ lớn (LLM) hiện đại. Những nền tảng này giải thích cách các mô hình được xây dựng trên kiến trúc Transformer có thể hiểu và tạo ra ngôn ngữ của con người với mức độ mạch lạc cao.

Nền tảng kiến trúc: kiến trúc Transformer

Các LLM hiện đại hầu như hoàn toàn dựa trên kiến trúc Transformer, được giới thiệu vào năm 2017 trong bài báo «Attention Is All You Need». Kiến trúc này đã từ bỏ các lớp hồi quy (như trong RNN và LSTM), tập trung vào cơ chế attention (chú ý), cho phép xử lý hiệu quả các chuỗi dài và song song hóa các phép tính.

Cơ chế tự chú ý (Self-Attention)

Đây là nhân của kiến trúc Transformer. Cơ chế tự chú ý cho phép mô hình đánh trọng số mức độ quan trọng của mỗi từ (token) trong chuỗi so với tất cả các từ khác trong cùng chuỗi đó. Với mỗi token, ba vector được tạo ra:

• Query (Q, Truy vấn): vector đại diện cho từ hiện tại.
• Key (K, Khóa): vector được dùng để so sánh với các truy vấn từ các từ khác.
• Value (V, Giá trị): vector chứa thông tin về từ sẽ được truyền tiếp.

Điểm attention được tính theo tích vô hướng có tỷ lệ:

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

trong đó $d_k$ là số chiều của các vector khóa. Cơ chế này cho phép mô hình nắm bắt các phụ thuộc ngữ cảnh phức tạp, bất kể khoảng cách giữa các từ.

Multi-Head Attention — là việc thực hiện song song nhiều phép tính như vậy với các ma trận chiếu khác nhau, cho phép mô hình đồng thời tập trung vào các khía cạnh khác nhau của cú pháp và ngữ nghĩa.

Các loại kiến trúc dựa trên Transformer

Có ba biến thể chính khi sử dụng các thành phần của Transformer:

1. Encoder-Decoder (Bộ mã hóa - Bộ giải mã): Kiến trúc cổ điển cho các bài toán chuyển đổi chuỗi sang chuỗi (ví dụ: dịch máy). Encoder xử lý chuỗi đầu vào, còn Decoder tạo ra chuỗi đầu ra. Ví dụ: T5, BART.
2. Encoder-Only (Chỉ bộ mã hóa): Các mô hình chỉ sử dụng ngăn xếp encoder. Chúng rất phù hợp cho các bài toán đòi hỏi hiểu sâu ngữ cảnh của toàn bộ chuỗi (phân loại văn bản, nhận dạng thực thể được đặt tên). Ví dụ: BERT.
3. Decoder-Only (Chỉ bộ giải mã): Các mô hình chỉ sử dụng ngăn xếp decoder. Chúng hoạt động theo cách tự hồi quy, dự đoán token tiếp theo dựa trên các token trước đó. Đây là tiêu chuẩn cho các mô hình sinh. Ví dụ: GPT, LLaMA, Claude.

Mã hóa vị trí

Do cơ chế tự chú ý không tính đến thứ tự của các từ, mã hóa vị trí được thêm vào kiến trúc. Các vector mã hóa vị trí của chúng trong chuỗi được cộng vào các embedding của token. Trong mô hình gốc, các hàm sin được sử dụng:

$\text{PE}(\text{pos},2i)=\sin (\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i+1)=\cos (\text{pos}/10000^{2i/d_{\text{model}}})$

Các mô hình hiện đại cũng sử dụng mã hóa vị trí có thể học được và mã hóa vị trí xoay (Rotary Position Embeddings, RoPE).

Các nguyên lý huấn luyện: từ xác suất đến tối ưu hóa

Mô hình hóa ngôn ngữ như một bài toán xác suất

Nền tảng của LLM là bài toán mô hình hóa ngôn ngữ — dự đoán xác suất của một chuỗi văn bản. Về mặt hình thức, với chuỗi $X=(x_1,x_2,\dots ,x_T)$, mô hình ước lượng xác suất $P(X)$. Sử dụng quy tắc chuỗi xác suất, điều này được phân tích thành tích các xác suất có điều kiện:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Như vậy, việc huấn luyện mô hình quy về việc dự đoán token tiếp theo $x_t$ dựa trên ngữ cảnh từ các token trước.

Hàm mất mát và lý thuyết thông tin

Để đánh giá chất lượng dự đoán và huấn luyện mô hình, hàm mất mát cross-entropy được sử dụng. Nó đo lường sự khác biệt giữa phân phối xác suất do mô hình dự đoán ($q$) và phân phối thực ($p$), trong đó token tiếp theo đúng có xác suất 1, còn các token còn lại — xác suất 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

Tối thiểu hóa cross-entropy tương đương với việc tối đa hóa hàm hợp lý của dữ liệu huấn luyện.

Một chỉ số chất lượng liên quan là perplexity (độ bối rối), được định nghĩa là số mũ của cross-entropy: $\text{Perplexity}=2^{H(p,q)}$. Về mặt trực quan, perplexity cho thấy số lượng lựa chọn trung bình mà mô hình «chọn» ở mỗi bước. Perplexity càng thấp, mô hình càng tự tin và chính xác.

Tối ưu hóa

Việc huấn luyện LLM là quá trình tối thiểu hóa hàm mất mát bằng cách điều chỉnh hàng tỷ tham số của mô hình. Để làm điều này, các phương pháp dựa trên gradient descent (hạ gradient) được sử dụng. Phổ biến nhất là bộ tối ưu hóa Adam (Adaptive Moment Estimation) và các biến thể của nó (ví dụ: AdamW), vốn tự động điều chỉnh tốc độ học cho từng tham số.

Các mô hình huấn luyện

1. Tiền huấn luyện (Pre-training): Mô hình được huấn luyện trên các kho văn bản không được gán nhãn khổng lồ (Common Crawl, The Pile, C4) sử dụng các bài toán tự giám sát, chẳng hạn như:
   • Mô hình hóa ngôn ngữ nhân quả (CLM): Dự đoán token tiếp theo (được dùng trong GPT).
   • Mô hình hóa ngôn ngữ có mặt nạ (MLM): Phục hồi các token bị che ngẫu nhiên trong văn bản (được dùng trong BERT).
2. Tinh chỉnh (Fine-tuning): Sau tiền huấn luyện, mô hình được thích nghi với các bài toán cụ thể trên các tập dữ liệu được gán nhãn nhỏ hơn.
3. Căn chỉnh (Alignment): Giai đoạn tinh chỉnh đặc biệt nhằm đồng bộ hóa hành vi của mô hình với sở thích và giá trị của con người. Phương pháp chủ chốt là RLHF (Reinforcement Learning from Human Feedback), trong đó mô hình được tinh chỉnh bằng tín hiệu phần thưởng từ một mô hình dự đoán sở thích của con người.

Quy luật mở rộng quy mô và các khả năng nổi bật

Các nghiên cứu thực nghiệm đã chỉ ra rằng hiệu suất của LLM được cải thiện một cách có thể dự đoán khi tăng ba yếu tố: kích thước mô hình (số lượng tham số, $N$), kích thước tập dữ liệu huấn luyện ($D$) và lượng tính toán ($C$). Sự phụ thuộc này được mô tả bởi các quy luật lũy thừa (scaling laws).

Quy luật được đề xuất trong công trình của OpenAI (Kaplan et al., 2020) cho thấy hàm mất mát $L$ giảm theo hàm lũy thừa của $N$, $D$ và $C$. Công trình sau đó của DeepMind (Hoffmann et al., 2022) đã làm rõ các quy luật này (các quy luật Chinchilla), cho thấy rằng để huấn luyện tối ưu cần tăng đồng thời cả kích thước mô hình lẫn lượng dữ liệu một cách cân bằng.

Một hệ quả quan trọng của việc mở rộng quy mô là sự xuất hiện của các khả năng nổi bật (emergent abilities) — các bước nhảy vọt về chất lượng trong hiệu suất, khi mô hình bắt đầu giải quyết các bài toán mà nó chưa được huấn luyện tường minh (ví dụ: số học, lập luận logic, viết mã). Những khả năng này thường vắng mặt ở các mô hình nhỏ hơn và chỉ xuất hiện sau khi đạt được một ngưỡng quy mô nhất định.

Tạo sinh văn bản: các chiến lược giải mã

Sau khi huấn luyện, mô hình tạo sinh văn bản bằng cách dự đoán lặp đi lặp lại token tiếp theo. Việc chọn token tiếp theo từ phân phối xác suất mà mô hình đưa ra được thực hiện bằng các chiến lược giải mã khác nhau:

• Tìm kiếm tham lam (Greedy Search): Luôn chọn token có xác suất cao nhất. Nhanh, nhưng thường dẫn đến văn bản lặp lại và nhàm chán.
• Tìm kiếm chùm tia (Beam Search): Ở mỗi bước, $k$ chuỗi có xác suất cao nhất được lưu giữ, cho phép tìm ra các giải pháp tối ưu hơn trên toàn cục.
• Lấy mẫu có nhiệt độ: Xác suất của các token được điều chỉnh bằng tham số nhiệt độ ($T$). Khi $T>1$, phân phối trở nên đồng đều hơn (nhiều sáng tạo hơn), khi $T<1$ — phân phối trở nên nhọn hơn (ít ngẫu nhiên hơn).
• Lấy mẫu Top-k: Ở mỗi bước, việc lấy mẫu bị giới hạn trong $k$ token có xác suất cao nhất.
• Lấy mẫu Top-p (Nucleus): Việc lấy mẫu bị giới hạn trong tập tối thiểu các token có tổng xác suất vượt ngưỡng $p$. Điều này cho phép điều chỉnh động kích thước nhóm ứng viên.

Các vấn đề lý thuyết và hạn chế

• Ảo giác (Hallucinations): Xu hướng của các mô hình tạo ra thông tin thực tế sai lệch nhưng nghe có vẻ hợp lý. Điều này liên quan đến việc các mô hình tối ưu hóa xác suất của văn bản chứ không phải tính đúng đắn của nó.
• Thiên kiến (Bias): LLM kế thừa và khuếch đại các thiên kiến xã hội, văn hóa và các thiên kiến khác có trong dữ liệu huấn luyện.
• Khả năng diễn giải («hộp đen»): Do số lượng tham số khổng lồ, việc hiểu chính xác cách mô hình đưa ra quyết định là cực kỳ khó khăn, gây khó khăn cho việc gỡ lỗi và tạo ra các rủi ro.
• Độ phức tạp tính toán: Cơ chế tự chú ý có độ phức tạp bậc hai theo độ dài chuỗi ($O(n^2)$), điều này giới hạn độ dài tối đa của ngữ cảnh có thể xử lý.

Xem thêm

• Các mô hình ngôn ngữ lớn
• BERT
• GPT

Tài liệu tham khảo

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.