Chinchilla (language model) (VI)

From Systems analysis Wiki
Jump to navigation Jump to search

Chinchilla — là một mô hình ngôn ngữ lớn (LLM) do nhóm nghiên cứu DeepMind phát triển và được giới thiệu vào tháng 3 năm 2022[1]. Mô hình chứa khoảng 70 tỷ tham số và được huấn luyện trên kho ngữ liệu văn bản gồm 1,4 nghìn tỷ token.

Đặc điểm nổi bật của Chinchilla là cách tiếp cận huấn luyện tối ưu về mặt tính toán. Khác với các mô hình trước đây, vốn tập trung chủ yếu vào việc tăng số lượng tham số, Chinchilla được xây dựng dựa trên giả thuyết về sự cần thiết phải mở rộng theo tỷ lệ cả kích thước mô hình lẫn khối lượng dữ liệu huấn luyện. Nhờ cách tiếp cận này, Chinchilla đã thể hiện sự vượt trội so với các mô hình lớn hơn đáng kể như Gopher (280 tỷ tham số) và GPT-3 (175 tỷ) trên một loạt các tác vụ ngôn ngữ rộng lớn[2].

Tiền đề và lịch sử phát triển

Việc phát triển Chinchilla là kết quả của nghiên cứu về việc mở rộng quy mô LLM được tiến hành tại DeepMind dựa trên họ mô hình Gopher[3]. Mô hình Gopher, được giới thiệu vào năm 2021, có 280 tỷ tham số nhưng được huấn luyện trên kho ngữ liệu tương đối nhỏ gồm 300 tỷ token. Vào thời điểm đó, trong ngành thống trị cách tiếp cận cho rằng hiệu suất mô hình tăng lên chủ yếu nhờ tăng kích thước của chúng (số lượng tham số), trong khi khối lượng dữ liệu vẫn tương đối không đổi.

Giả thuyết về huấn luyện tối ưu tính toán

Các nhà nghiên cứu DeepMind đã đưa ra giả thuyết rằng nhiều mô hình lớn, bao gồm cả Gopher, đã bị huấn luyện thiếu (undertrained) so với kích thước của chúng. Chúng không đạt được chất lượng tối đa có thể với ngân sách tính toán cho trước, do thiếu dữ liệu huấn luyện[2].

Bản chất của giả thuyết là: để sử dụng tối ưu các tài nguyên tính toán, kích thước mô hình và khối lượng dữ liệu huấn luyện cần được tăng theo tỷ lệ với nhau. Nói cách khác, khi tăng gấp đôi số tham số của mô hình, cần tăng gấp đôi số token huấn luyện tương ứng[1]. Kết luận này mâu thuẫn với các nghiên cứu trước đây vốn đánh giá quá cao giá trị của việc tăng kích thước mô hình, do được thực hiện với khối lượng dữ liệu cố định.

Để kiểm tra giả thuyết này, nhóm DeepMind đã tiến hành các thí nghiệm quy mô lớn, huấn luyện hơn 400 mô hình có kích thước khác nhau trên các tập dữ liệu từ 5 đến 500 tỷ token. Kết quả xác nhận rằng việc mở rộng song song là chiến lược tối ưu. Dựa trên những phát hiện này, mô hình Chinchilla được phát triển như một bài kiểm tra thực tế của mô hình nghiên cứu mới[4].

Kiến trúc và huấn luyện

Đặc điểm kiến trúc

Chinchilla thuộc họ transformer tự hồi quy và về mặt kiến trúc gần với các mô hình GPT-2/GPT-3[3]. Nó kế thừa nhiều thiết kế từ Gopher, nhưng với những khác biệt chính nhằm giảm kích thước trong khi vẫn duy trì độ sâu của mạng:

  • Tham số: ~70 tỷ tham số, phân bổ trên 80 lớp.
  • Độ rộng mô hình: Số đầu tự chú ý (self-attention head) được giảm xuống còn 64 (so với 128 của Gopher), và số chiều bên trong của các lớp giảm xuống còn 8192 (so với ~16384 của Gopher).
  • Bộ tối ưu: Sử dụng AdamW thay vì Adam, cải thiện sự hội tụ trên các tập dữ liệu lớn[3].

Kiến trúc này cho phép Chinchilla duy trì cùng độ sâu mạng như Gopher, nhưng với số lượng tham số ít hơn đáng kể, giúp giảm yêu cầu về bộ nhớ và tài nguyên tính toán.

Mở rộng quy mô và dữ liệu huấn luyện

Để kiểm tra giả thuyết, Chinchilla được huấn luyện với cùng ngân sách tính toán như Gopher, nhưng với việc phân bổ lại tài nguyên theo hướng ưu tiên dữ liệu. Mô hình 70 tỷ tham số được huấn luyện trên kho ngữ liệu gồm 1,4 nghìn tỷ token, lớn hơn khoảng 4 lần so với khối lượng dữ liệu được sử dụng cho Gopher[1].

Tỷ lệ này, xấp xỉ 20 token cho mỗi tham số, đã được biết đến với tên gọi điểm Chinchilla (Chinchilla Point) và là điểm tham chiếu cho việc huấn luyện tối ưu tính toán của các LLM hiện đại[5]. Thí nghiệm xác nhận rằng Chinchilla, được huấn luyện gần hơn với giới hạn tối ưu này, có thể phát huy tiềm năng của mình đầy đủ hơn so với các mô hình bị huấn luyện thiếu, dù lớn hơn.

Kết quả và hiệu suất

Trên một tập hợp rộng lớn các bài kiểm tra chuẩn, Chinchilla đã thể hiện sự vượt trội đáng kể so với các mô hình trước đó. Nó vượt qua không chỉ Gopher mà còn các LLM hàng đầu khác vào thời điểm đó, bao gồm OpenAI GPT-3 (175 tỷ tham số) và Megatron-Turing NLG (530 tỷ tham số)[1].

Kết quả nổi bật nhất là trên benchmark tổng hợp MMLU (Measuring Massive Multitask Language Understanding), đánh giá kiến thức và khả năng suy luận trên hàng trăm tác vụ đa dạng. Chinchilla đạt độ chính xác trung bình 67,5%, thiết lập kỷ lục mới cho các mô hình cùng loại và vượt qua kết quả của Gopher tới 7 điểm phần trăm[4].

Ngoài hiệu quả cao, Chinchilla còn thể hiện tính tiết kiệm trong sử dụng. Kích thước mô hình nhỏ hơn (70 tỷ so với 175+ tỷ của các mô hình tương đương) có nghĩa là cần ít tài nguyên tính toán hơn đáng kể cho việc suy luận (inference) và fine-tuning, giúp đơn giản hóa việc ứng dụng thực tế.

Tầm quan trọng và ảnh hưởng

Nghiên cứu Chinchilla đã có ảnh hưởng nền tảng đến các phương pháp tiếp cận trong huấn luyện các mô hình ngôn ngữ lớn.

  • Các quy luật mở rộng Chinchilla (Chinchilla scaling laws): Tỷ lệ tối ưu được xác định giữa kích thước mô hình và khối lượng dữ liệu đã trở thành tiêu chuẩn thực tế và điểm tham chiếu cho các phát triển tiếp theo trong ngành.
  • Chuyển dịch trọng tâm từ kích thước sang dữ liệu: Công trình đã thúc đẩy ngành công nghiệp chú trọng hơn vào việc tạo ra, làm sạch và mở rộng kho ngữ liệu huấn luyện, thay vì chỉ tăng số lượng tham số một cách tùy tiện.
  • Ứng dụng trong các hệ thống đa phương thức: Chinchilla được sử dụng làm thành phần ngôn ngữ chính trong mô hình đa phương thức Flamingo của DeepMind, có khả năng hiểu cả hình ảnh lẫn văn bản[6].

Mặc dù bản thân mô hình Chinchilla không được phát hành công khai, các khái niệm và kết quả được công bố trong bài báo khoa học đã thay đổi quỹ đạo phát triển của toàn bộ lĩnh vực LLM, vạch ra con đường hướng tới sự tăng trưởng năng lực trí tuệ nhân tạo hiệu quả và cân bằng hơn.

Tài liệu tham khảo

  • Hendrycks, D.; Gimpel, K. (2016). Gaussian Error Linear Units (GELUs). arXiv:1606.08415.
  • Loshchilov, I.; Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
  • Shoeybi, M.; et al. (2019). Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
  • Kaplan, J.; et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
  • Brown, T. B.; et al. (2020). Language Models are Few‑Shot Learners. arXiv:2005.14165.
  • Rajbhandari, S.; et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. arXiv:1910.02054.
  • Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. arXiv:2108.12409.
  • Rae, J.; et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
  • Hoffmann, J.; et al. (2022). Training Compute‑Optimal Large Language Models. arXiv:2203.15556.
  • Alayrac, J.‑B.; et al. (2022). Flamingo: A Visual Language Model for Few‑Shot Learning. arXiv:2204.14198.
  • Hendrycks, D.; et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.

Chú thích

  1. ↑ 1.0 1.1 1.2 1.3 Hoffmann, J. et al. (2022). «Training Compute-Optimal Large Language Models». NeurIPS 2022. [1]
  2. ↑ 2.0 2.1 Wali, K. (2022). «DeepMind launches GPT-3 rival, Chinchilla». Analytics India Magazine. [2]
  3. ↑ 3.0 3.1 3.2 Rae, J. et al. (2022). «Scaling Language Models: Methods, Analysis & Insights from Training Gopher». arXiv:2112.11446.
  4. ↑ 4.0 4.1 «Training Compute-Optimal Large Language Models». proceedings.neurips.cc.
  5. ↑ «What is the Chinchilla Point ("Chinchilla Optimal")?». Legal Genie.
  6. ↑ «Chinchilla (language model)». Wikipedia.
Retrieved from "https://systems-analysis.info/int/index.php?title=Chinchilla_(language_model)_(VI)&oldid=915"