---
title: "Large language model (VI)"
source: "https://systems-analysis.info/int/Large_language_model_(VI)"
wiki: "systems-analysis.info/int"
article: "Large_language_model_(VI)"
language: "vi"
categories:
  - "Category:Core LLM concepts"
  - "Category:Large language models"
  - "Category:Machine learning"
  - "Category:Vietnamese"
revision_id: 3778
wiki_created_at: 2026-09-06T23:25:51Z
wiki_modified_at: 2026-09-06T23:25:51Z
downloaded_at: 2026-09-07T22:58:51Z
---

# Large language model (VI)

**Mô hình ngôn ngữ lớn** (*large language model*, LLM) — là một loại mô hình Machine Learning được triển khai bằng mạng nơ-ron sâu có số lượng tham số lớn (thường là hàng tỷ trở lên) và được huấn luyện trên khối lượng dữ liệu văn bản khổng lồ. «Lớn» trong ngữ cảnh này đề cập đồng thời đến quy mô tham số và dung lượng kho ngữ liệu huấn luyện, vốn trong các hệ thống hiện đại đạt đến hàng petabyte và hàng nghìn tỷ token. Các mô hình LLM được huấn luyện chủ yếu theo phương pháp tự giám sát hoặc bán tự giám sát (*self-/semi-supervised*), dự đoán token tiếp theo trong chuỗi, qua đó học các quy luật thống kê của ngôn ngữ. Sự tăng trưởng về số tham số, dữ liệu và số bước tính toán dẫn đến cải thiện chất lượng có thể dự đoán được, điều này được xác nhận bởi các *scaling laws*.

Sau khi BERT (2017) xuất hiện và đặc biệt là GPT-3 (2020), cách tiếp cận LLM đã trở thành xu hướng chủ đạo trong xử lý ngôn ngữ tự nhiên. Các mô hình hiện đại (GPT-4o, Claude 3, Gemini 1.5, LLaMA 3 và các mô hình khác) mà không cần tinh chỉnh chuyên biệt có thể viết văn bản và mã lập trình, dịch thuật, tóm tắt, trả lời câu hỏi và xây dựng chuỗi lập luận; các phiên bản đa phương thức còn phân tích hình ảnh, âm thanh và video. Việc thích nghi với các bài toán ứng dụng được thực hiện thông qua fine-tuning hoặc *prompt engineering*, *in-context learning*. Cùng với những thành tựu đó, LLM cũng kế thừa các thiên kiến và sai lệch từ dữ liệu gốc, có xu hướng «ảo giác» và đòi hỏi tài nguyên tính toán lớn, do đó các nghiên cứu hiện nay tập trung vào alignment, lọc kho ngữ liệu và các kiến trúc tiết kiệm năng lượng.

## Kiến trúc

Hầu hết các LLM hiện đại đều sử dụng kiến trúc **Transformer** (**biến đổi)** – mạng có cơ chế tự chú ý (self-attention). Mô hình Transformer lần đầu tiên được đề xuất trong bài báo Attention is All You Need của các nhà phát triển Google vào năm 2017.

Kiến trúc **Transformer** — là sơ đồ mạng nơ-ron nền tảng để làm việc với các chuỗi, bao gồm hai mô-đun logic — **encoder** (mã hóa đầu vào) và **decoder** (tạo đầu ra). Đầu vào là một chuỗi, từ đó tạo ra biểu diễn vector (embedding), cộng thêm vector mã hóa vị trí, sau đó tập hợp các phần tử không theo thứ tự trong chuỗi được đưa vào thành phần mã hóa (xử lý song song), rồi thành phần giải mã nhận một phần chuỗi đó và đầu ra của thành phần mã hóa làm đầu vào. Kết quả là một chuỗi đầu ra mới.

Thành phần mã hóa của Transformer gồm nhiều lớp encoder giống hệt nhau; thành phần giải mã cũng được cấu trúc tương tự. Bản thân Transformer là một chuỗi các mô hình chú ý, chuyển đổi chuỗi vector ban đầu thành một chuỗi mới, trong đó mỗi phần tử đều tính đến ngữ cảnh của các phần tử còn lại. Encoder hình thành các biểu diễn ẩn của dữ liệu đầu vào, lưu giữ thông tin về mối quan hệ giữa các phần tử. Decoder dựa trên các biểu diễn ẩn tạo ra một chuỗi embedding mới cho các token đầu ra. Sau đó, dựa trên các embedding này, mô hình ngôn ngữ tạo ra các phần tử đầu ra cuối cùng.

Vì Transformer ban đầu được phát triển cho các bài toán như dịch máy, kiến trúc của nó bao gồm **encoder** (xử lý văn bản đầu vào, chẳng hạn câu nguồn) và **decoder** (tạo đầu ra, chẳng hạn bản dịch). Tuy nhiên, trong nhiều mô hình ngôn ngữ chỉ sử dụng phần decoder, hoạt động theo chế độ tự hồi quy.

Transformer được ứng dụng theo ba cấu hình chính, mỗi cấu hình sử dụng encoder và decoder theo cách khác nhau và hướng tới các loại bài toán riêng:

- **Encoder-Transformer** (*hai chiều*) học cách phục hồi các đoạn văn bản bị ẩn có chủ đích, do đó phù hợp với các bài toán «hiểu» — phân loại, trích xuất thực thể, tìm kiếm ngữ nghĩa.
- **Decoder-Transformer** (*tự hồi quy*) được tối ưu hóa để dự đoán token tiếp theo và được sử dụng khi cần đầu ra dạng luồng: các tác nhân hội thoại, tự động hoàn thành mã, sinh văn bản sáng tạo.
- **Sơ đồ đầy đủ «encoder + decoder»** kết hợp cả hai cách tiếp cận: encoder xây dựng biểu diễn toàn bộ văn bản đầu vào, còn decoder, dựa trên đó, hình thành kết quả theo từng bước. Cấu hình này hiệu quả nhất cho dịch máy, tóm tắt và hệ thống hỏi-đáp.

### Tokenization - Mã hóa văn bản thành token

**Tokenization** — là bước đầu tiên quan trọng trong quá trình xử lý văn bản trong các mô hình ngôn ngữ lớn. Ở bước này, chuỗi ký tự liên tục được phân tách thành các đơn vị riêng lẻ — token. Tokenization thực hiện nhiệm vụ chuyển đổi chuỗi ký tự thành chuỗi các phần tử có cấu trúc, giúp mạng nơ-ron hoạt động hiệu quả.

Từ góc độ ngôn ngữ học, tokenization ở một mức độ nào đó có thể tương ứng với quá trình xác định các đơn vị ngôn ngữ tối thiểu có nghĩa độc lập hoặc có chức năng riêng, chẳng hạn như từ, hình vị hoặc các phân đoạn của chúng. Tuy nhiên, thông thường token chỉ đơn giản là chuỗi ký tự xuất hiện thường xuyên về mặt thống kê, vì vậy điều quan trọng là không nên đánh giá quá cao ý nghĩa ngôn ngữ học của *tất cả* các token. Tùy thuộc vào sơ đồ được chọn, token có thể là: một từ hoàn chỉnh, một từ phụ, một ký tự riêng lẻ, hoặc một nhãn đặc biệt (chẳng hạn, các dấu hiệu bắt đầu và kết thúc chuỗi).

Tokenization cho phép:

- giới hạn kích thước từ điển ở quy mô chấp nhận được;
- xử lý chính xác các từ hiếm và từ mới;
- đảm bảo ánh xạ một chiều của văn bản thành chuỗi định danh số.

Để phân tách văn bản, người ta sử dụng các thuật toán từ phụ, phổ biến nhất trong số đó là **Byte Pair Encoding (BPE)**, **WordPiece** và **UnigramLM**. Mỗi thuật toán xây dựng từ điển từ các đoạn thường xuyên nhất trong kho ngữ liệu và sử dụng nó để phân đoạn tuần tự bất kỳ văn bản đầu vào nào.

Sau bước tokenization, mỗi đơn vị văn bản — token — được chuyển đổi thành biểu diễn số mà mạng nơ-ron có thể hiểu được. Quá trình này bao gồm một số bước tuần tự:

- *Chuyển đổi token thành định danh*: Mỗi token được ánh xạ với một chỉ số số duy nhất dựa trên từ điển token được xây dựng trước. Các token văn bản được thay thế bằng định danh số duy nhất của chúng (ID). Mỗi ID là số thứ tự của token trong từ điển được xây dựng trước, cho phép mạng nơ-ron làm việc với các con số thay vì các từ.
- *Chuyển đổi định danh thành embedding*: Với mỗi định danh token, vector có chiều cố định tương ứng được trích xuất hoặc tính toán — **embedding**. Biểu diễn số đa chiều này thay thế ID và đã chứa thông tin về ý nghĩa và các thuộc tính ngữ cảnh của token. Tất cả các embedding có cùng độ dài để thuận tiện cho việc xử lý.
- *Thêm mã hóa vị trí*: Vì kiến trúc Transformer bản thân nó không tính đến *thứ tự* các phần tử, nên **mã hóa vị trí** (positional encodings) được cộng vào các embedding, cung cấp thông tin về vị trí của token trong chuỗi. Nói cách khác, nhờ đó mô hình «biết» token nào đứng thứ nhất, thứ hai, thứ ba và tiếp theo trong câu.
- *Hình thành ma trận đầu vào*: Đầu ra là ma trận có chiều `[длина последовательности × размерность эмбеддинга]`, đóng vai trò biểu diễn ban đầu của văn bản và được đưa vào đầu vào của mạng nơ-ron, cụ thể là các khối self-attention của Transformer. Mỗi hàng của ma trận này tương ứng với một token, và vector chứa trong đó mang cả ý nghĩa ngữ nghĩa của token (embedding) lẫn thông tin về vị trí của nó trong văn bản (mã hóa vị trí).

<!-- -->

    Текст → Токены → Идентификаторы → Эмбеддинги + Позиционные кодировки → Вход в модель

### Cơ chế chú ý

**Cơ chế chú ý (attention mechanism)** — là thành phần quan trọng của kiến trúc Transformer, cho phép tính đến các phụ thuộc giữa các token bất kể *khoảng cách* giữa chúng trong chuỗi. Sau khi văn bản đầu vào được chuyển đổi thành chuỗi vector, chuỗi này được đưa vào phần tử trung tâm của Transformer — **khối chú ý** (attention block).

Cơ chế chú ý là cách để mạng nơ-ron xác định phần nào của dữ liệu đầu vào cần được chú ý nhiều hơn khi xử lý mỗi phần tử trong chuỗi. Nhờ đó, các vector của các đoạn văn bản riêng lẻ có thể tương tác với nhau, được bổ sung thông tin và cập nhật giá trị của chúng có tính đến ngữ cảnh xung quanh. Nhờ vậy, mô hình có khả năng nắm bắt hiệu quả cả các phụ thuộc cục bộ lẫn tầm xa giữa các token, điều này cải thiện đáng kể khả năng diễn giải các cấu trúc văn bản phức tạp.

Trong ngôn ngữ tự nhiên, ý nghĩa của một từ hoặc biểu thức không được xác định một cách biệt lập — nó phụ thuộc vào ngữ cảnh, tức là các từ và cấu trúc khác trong môi trường xung quanh. Trong các mạng nơ-ron, văn bản được mã hóa thông qua các biểu diễn vector — embedding, phản ánh các thuộc tính từ vựng và cú pháp của token dưới dạng số. Nếu không có cơ chế chú ý trực tiếp (như trong Transformer), thông tin về ngữ cảnh hoặc sẽ bị mất ở khoảng cách lớn (như trong các mô hình đơn giản), hoặc được truyền tuần tự, điều này kém hiệu quả hơn trong việc nắm bắt các mối liên hệ tầm xa. Tuy nhiên, trong ngôn ngữ tự nhiên, ý nghĩa của một từ hoặc cấu trúc cú pháp mang tính động, và cách diễn giải nó phải thích nghi tùy theo ngữ cảnh. Cơ chế chú ý thực hiện việc ngữ cảnh hóa các biểu diễn vector, **có nghĩa là** (hoặc đơn giản là **:**):

- Mỗi token «đánh giá» tầm quan trọng của mình so với các token khác trong câu.
- Trong quá trình cập nhật, các biểu diễn vector được làm phong phú bởi thông tin tương hỗ, phản ánh các phụ thuộc cú pháp, vai trò ngữ nghĩa và ngữ cảnh dụng học.

  
Kết quả của quá trình trao đổi thông tin này, các vector được cập nhật bắt đầu mã hóa không chỉ *ý nghĩa của bản thân token*, mà còn cả các mối liên hệ ngữ pháp của nó (cú pháp), vai trò của nó trong tình huống được mô tả (ngữ nghĩa) và ý nghĩa tổng thể trong ngữ cảnh (dụng học).

    Входные векторы токенов (с позициями) → Механизм Внимания (Взаимодействие векторов) → Контекстуализированные векторы токенов (Векторы обогащенные информацией о связях с другими токенами)

### Triển khai kỹ thuật của cơ chế chú ý

Cấu trúc bên trong của cơ chế chú ý bao gồm một số bước tính toán và thành phần chính. Đối với mỗi vector đầu vào, ba vector được tạo ra: Truy vấn (Query), Khóa (Key) và Giá trị (Value). Dựa trên sự tương tác của chúng, các trọng số chú ý được tính toán, sau đó được sử dụng để thu được các biểu diễn vector được cập nhật, ngữ cảnh hóa. Một cách tiếp cận phổ biến là sử dụng kiến trúc đa đầu (Multi-Head Attention) để xử lý thông tin song song.

#### Truy vấn (Query), Khóa (Key), Giá trị (Value)

Nền tảng của việc tính toán cơ chế chú ý là chuyển đổi mỗi vector đầu vào (là tổng của embedding token và mã hóa vị trí của nó) thành ba biểu diễn vector khác nhau: Truy vấn (Query, Q), Khóa (Key, K) và Giá trị (Value, V).

Về mặt khái niệm, ba vector này thực hiện các vai trò sau trong cơ chế chú ý:

- **Truy vấn (Query)**: Đại diện cho vector của token hiện tại, khởi tạo quá trình tìm kiếm thông tin liên quan trong chuỗi. Nó có thể được coi là «câu hỏi» hoặc «đầu dò», được sử dụng để đánh giá tầm quan trọng của các token khác so với token hiện tại.
- **Khóa (Key):** Đóng vai trò là định danh hoặc «nhãn», mô tả khía cạnh nội dung của mỗi token. Vector Truy vấn (Q) của token hiện tại được so sánh với tất cả các vector Khóa (K) trong chuỗi (bao gồm cả khóa của chính nó) để xác định mức độ tương ứng hoặc liên quan của chúng.
- **Giá trị (Value):** Chứa thông tin thực tế hoặc biểu diễn liên kết với mỗi token, sẽ được truyền tiếp. Sau khi tính toán các trọng số chú ý dựa trên sự tương tác của Truy vấn và Khóa, các trọng số này được áp dụng cho các vector Giá trị để hình thành biểu diễn có trọng số cuối cùng, đây chính là đầu ra của cơ chế chú ý cho token đã cho.

## Huấn luyện các mô hình ngôn ngữ lớn

Việc huấn luyện LLM chủ yếu diễn ra theo hai giai đoạn:

1.  **Tiền huấn luyện (Pretraining)** Ở giai đoạn này, mô hình được huấn luyện trên các kho ngữ liệu văn bản lớn không có nhãn theo phương pháp học tự giám sát (self-supervised learning). Nhiệm vụ là dự đoán token tiếp theo trong chuỗi (tự hồi quy) hoặc phục hồi các đoạn bị ẩn (học có mặt nạ). Tiền huấn luyện cho phép mô hình tiếp thu các quy luật thống kê rộng rãi của ngôn ngữ, ngữ pháp, các sự kiện về thế giới và các hình thức lập luận cơ bản.
2.  **Tinh chỉnh (Fine-tuning)** Sau tiền huấn luyện, mô hình được huấn luyện thêm trên dữ liệu chuyên biệt để thực hiện các nhiệm vụ cụ thể, chẳng hạn tạo câu trả lời, phân loại văn bản hoặc thực thi các chỉ dẫn. Các cách tiếp cận hiện đại bao gồm:
    - Tinh chỉnh trên các dataset có nhãn (supervised fine-tuning).
    - Học tăng cường với phản hồi của con người (RLHF, reinforcement learning from human feedback) để điều chỉnh hành vi mô hình theo các chỉ số mục tiêu về chất lượng, an toàn và tính hữu ích.

## Vấn đề và hạn chế

Mặc dù đạt được những tiến bộ ấn tượng, các Mô hình Ngôn ngữ Lớn (LLM) hiện đại vẫn có một số vấn đề và hạn chế:

  
**I. Hạn chế về Tính toán và Kiến trúc**

1.  **Chi phí tính toán cao:** Việc huấn luyện và vận hành LLM đòi hỏi năng lực tính toán, thời gian và năng lượng đáng kể, dẫn đến chi phí kinh tế và môi trường lớn. Ngoài ra, bản chất tự hồi quy của quá trình sinh văn bản (tạo token tuần tự) hạn chế khả năng song song hóa và làm chậm tốc độ suy luận so với các phương pháp phi tự hồi quy.
2.  **Giới hạn độ dài ngữ cảnh:** Kiến trúc Transformer có sự phụ thuộc bậc hai về chi phí tính toán và yêu cầu bộ nhớ theo độ dài chuỗi. Điều này buộc phải đặt giới hạn cố định (cửa sổ ngữ cảnh) về lượng văn bản mà mô hình có thể xử lý cùng một lúc, dẫn đến việc cắt bớt các tài liệu dài và mất thông tin ngoài cửa sổ.

  
**II. Vấn đề về Độ tin cậy và Độ chính xác trong Sinh văn bản**

1.  **Ảo giác (Hallucinations):** Sinh ra thông tin không chính xác về mặt thực tế nhưng nghe có vẻ hợp lý. Điều này liên quan đến việc mô hình thiếu sự hiểu biết thực sự về thế giới, dựa vào các quy luật thống kê trong dữ liệu và không có khả năng xác minh các khẳng định được tạo ra.
2.  **Tích lũy lỗi (Error Propagation):** Quá trình mà các lỗi xảy ra ở các giai đoạn đầu của quá trình sinh văn bản được khuếch đại và dẫn đến sự tích lũy các thiếu chính xác ở các bước tiếp theo, làm giảm chất lượng và tính nhất quán chung của văn bản.
3.  **Khả năng kết hợp hạn chế:** Khó khăn với các bài toán đòi hỏi suy luận logic nhiều bước hoặc tính toán chính xác (chẳng hạn nhân các số nhiều chữ số, giải các câu đố). Độ chính xác của mô hình trong các bài toán đó giảm mạnh khi độ phức tạp tăng lên do bản chất tự hồi quy của quá trình sinh.
4.  **Lặp lại:** Xu hướng lặp lại quá mức các từ hoặc cụm từ, làm giảm tính thông tin và khả năng đọc của văn bản. Liên quan đến các đặc điểm của quá trình huấn luyện và các thuật toán giải mã (chọn token tiếp theo).
5.  **Lời nguyền đảo ngược (Reversal Curse):** Sự không thể của mô hình trong việc tự động tổng quát hóa kiến thức theo chiều ngược: sau khi học câu khẳng định «A là B», mô hình thường không thể suy ra «B là A».
6.  **Đánh đổi giữa sáng tạo và độ chính xác:** Sự cần thiết phải cân bằng giữa việc tạo ra các câu trả lời đa dạng, độc đáo và duy trì độ chính xác thực tế. Việc cải thiện một khía cạnh thường ảnh hưởng tiêu cực đến khía cạnh kia, chẳng hạn mức độ sáng tạo cao có thể tương quan với sự gia tăng ảo giác.

**III. Vấn đề về Tương tác và Quản lý:**

1.  **Khó kiểm soát:** Sự phức tạp trong việc kiểm soát chính xác phong cách, giọng điệu, nội dung văn bản được tạo ra hoặc việc tuân theo các chỉ dẫn phức tạp. Khả năng kiểm soát phụ thuộc nhiều vào chất lượng của các chỉ dẫn đầu vào («prompt») và các phương pháp fine-tuning.
2.  **Nhạy cảm với cách diễn đạt:** Các thay đổi nhỏ trong truy vấn đầu vào (prompt) có thể dẫn đến các câu trả lời khác nhau đáng kể, ngay cả khi ngữ nghĩa của truy vấn được giữ nguyên. Điều này gây khó khăn trong việc thu được kết quả ổn định và có thể dự đoán.

  
**IV. Khía cạnh Đạo đức và Xã hội:**

1.  **Vấn đề thiên kiến và công bằng:** Các mô hình có thể tái tạo và khuếch đại các khuôn mẫu xã hội, thiên kiến hoặc độc tính có trong dữ liệu huấn luyện. Đảm bảo tính công bằng và an toàn của mô hình là một bài toán phức tạp.
2.  **Vấn đề alignment (LLM Alignment):** Vấn đề tổng quát hơn, bao gồm điểm trước. Đây là bài toán đảm bảo hành vi của mô hình phù hợp với các giá trị của con người, ý định và các chuẩn mực đạo đức. Nó bao gồm cuộc chiến chống thiên kiến, ảo giác, sinh nội dung có hại và nâng cao khả năng kiểm soát.
3.  **Rủi ro sử dụng sai mục đích:** Khả năng sử dụng LLM để tạo ra và phổ biến hàng loạt thông tin sai lệch, lừa đảo qua mạng, spam, mã độc hại hoặc tạo ra các văn bản giả mạo thuyết phục, gây ra mối đe dọa đối với an toàn thông tin và cá nhân, đồng thời làm suy yếu niềm tin trong xã hội.

## Liên kết:

- «Mô hình ngôn ngữ lớn» // Wikipedia (Phiên bản tiếng Nga)
- *Large Language Model* // Wikipedia (English version)
- *Grand Modèle de Langage* // Wikipédia (Version française)
- *Sprachmodell* // Wikipedia (Deutsche version)

<!-- -->

- *Naveed H. và cộng sự*. // *A Comprehensive Overview of Large Language Models* // arXiv:2307.06435, 2023

## Tài liệu tham khảo

- Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762.
- Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805.
- Brown, T. et al. (2020). *Language Models Are Few-Shot Learners*. arXiv:2005.14165.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155.
- Bai, Y. et al. (2022). *Constitutional AI: Harmlessness from AI Feedback*. arXiv:2212.08073.
- Bubeck, S. et al. (2023). *Sparks of Artificial General Intelligence: Early Experiments with GPT-4*. arXiv:2303.12712.
- OpenAI. (2023). *GPT-4 Technical Report*. arXiv:2303.08774.
- Touvron, H. et al. (2024). *The Llama 3 Herd of Models*. arXiv:2407.21783.