--- title: "BERT (language model) (VI)" source: "https://systems-analysis.info/int/BERT_(language_model)_(VI)" wiki: "systems-analysis.info/int" article: "BERT_(language_model)_(VI)" language: "vi" categories: - "Category:Google" - "Category:Large language models" - "Category:LLM families" - "Category:Machine learning" - "Category:Vietnamese" revision_id: 587 wiki_created_at: 2026-09-06T22:36:01Z wiki_modified_at: 2026-09-06T22:36:01Z downloaded_at: 2026-09-07T22:41:08Z --- # BERT (language model) (VI) **BERT** (**B**idirectional **E**ncoder **R**epresentations from **T**ransformers, *biểu diễn hai chiều từ bộ mã hóa dựa trên Transformer*) — là một mô hình ngôn ngữ lớn (LLM) dùng để hiểu ngôn ngữ tự nhiên, được các nhà nghiên cứu của Google phát triển và giới thiệu vào năm 2018. BERT đánh dấu một kỷ nguyên mới trong xử lý ngôn ngữ tự nhiên (NLP), thể hiện hiệu suất chưa từng có trên nhiều tác vụ khác nhau và thiết lập mô hình "pre-train & fine-tune" như một tiêu chuẩn trong ngành. Đổi mới cốt lõi của BERT là kiến trúc hai chiều sâu, cho phép mô hình xem xét ngữ cảnh của một từ đồng thời từ cả hai phía trái và phải trong tất cả các tầng mạng. Điều này đạt được nhờ một tác vụ tiền huấn luyện mới — **Masked Language Modeling (MLM)**. ## Tên gọi và nguyên lý hoạt động Tên viết tắt **BERT** được giải mã là **Bidirectional Encoder Representations from Transformers**. - **Bidirectional (Hai chiều)**: Chỉ ra đặc điểm chính của mô hình — khả năng xử lý ngữ cảnh của một từ theo cả hai hướng (từ trái sang phải và từ phải sang trái) đồng thời. Khác với các mô hình một chiều (như GPT), khi xử lý một từ chỉ nhìn thấy ngữ cảnh đứng trước nó, BERT nhìn thấy toàn bộ chuỗi, cho phép nó hình thành sự hiểu biết sâu sắc và chính xác hơn về nghĩa của từ. - **Encoder (Bộ mã hóa)**: Có nghĩa là BERT chỉ sử dụng phần **mã hóa** của kiến trúc Transformer. Nhiệm vụ của bộ mã hóa là đọc chuỗi văn bản đầu vào và tạo ra biểu diễn ngữ cảnh phong phú (vector) cho từng token. BERT không được thiết kế để sinh văn bản tự do như các mô hình decoder. - **Representations (Biểu diễn)**: Mô hình được huấn luyện để tạo ra các biểu diễn số chất lượng cao (vector hoặc embedding) cho các từ và câu, sau đó có thể được sử dụng để giải quyết nhiều tác vụ NLP khác nhau. - **from Transformers**: Chỉ ra rằng kiến trúc của mô hình hoàn toàn dựa trên Transformer. ## Lịch sử phát triển Sự ra đời của BERT là kết quả của một số đột phá quan trọng trong NLP: 1. **Embedding ngữ cảnh:** Các mô hình như Word2vec và GloVe tạo ra các vector tĩnh cho từ mà không tính đến ngữ cảnh. Mô hình **ELMo** (2018) là một bước tiến, tạo ra các biểu diễn phụ thuộc ngữ cảnh bằng mạng LSTM hai chiều, tuy nhiên tính hai chiều này còn "nông" (là phép ghép nối của hai mô hình một chiều). 2. **Transfer Learning và GPT:** Vào giữa năm 2018, OpenAI giới thiệu mô hình **GPT**, cho thấy hiệu quả của việc tiền huấn luyện một mô hình transformer lớn trên dữ liệu không có nhãn, sau đó fine-tuning trên các tác vụ cụ thể. Tuy nhiên, GPT hoàn toàn một chiều (trái sang phải), điều này hạn chế khả năng của nó trong các tác vụ đòi hỏi phải hiểu ngữ cảnh đầy đủ. Nhận ra những hạn chế này, các nhà nghiên cứu của Google, dẫn đầu bởi Jacob Devlin, đã phát triển BERT nhằm tạo ra một mô hình thực sự hai chiều sâu. Bài báo về BERT được công bố trên arXiv vào tháng 10 năm 2018, và mã nguồn cùng các mô hình đã được tiền huấn luyện được công bố rộng rãi, gây ra sự quan tâm bùng nổ trong cộng đồng khoa học. BERT đã phá vỡ kỷ lục trên 11 benchmark NLP quan trọng, bao gồm GLUE và SQuAD, và được gọi là "khoảnh khắc ImageNet" của NLP, vì một mô hình đa năng duy nhất có thể dễ dàng được điều chỉnh cho nhiều tác vụ. ## Kiến trúc BERT hoàn toàn dựa trên phần mã hóa (encoder) của kiến trúc Transformer. Nó bao gồm nhiều tầng giống hệt nhau xếp chồng lên nhau. Có hai phiên bản chính: - **BERT-Base**: 12 tầng, 12 đầu attention, kích thước trạng thái ẩn 768, tổng số tham số ~110 triệu. - **BERT-Large**: 24 tầng, 16 đầu attention, kích thước trạng thái ẩn 1024, tổng số tham số ~340 triệu. Mỗi tầng chứa hai tầng con chính: 1. **Cơ chế Multi-Head Self-Attention**: Cho phép mỗi token trong chuỗi đầu vào "chú ý" đến tất cả các token khác, cân nhắc tầm quan trọng của chúng để xác định nghĩa ngữ cảnh của chính nó. 2. **Mạng nơ-ron kết nối đầy đủ (Feed-Forward Network)**: Được áp dụng riêng cho từng token. ### Dữ liệu đầu vào Để hoạt động đúng, BERT yêu cầu định dạng đầu vào đặc biệt. Chuỗi token được đưa vào luôn bắt đầu bằng token đặc biệt **\`\[CLS\]\`** (classification), được sử dụng cho các tác vụ phân loại toàn bộ văn bản. Nếu một cặp câu được đưa vào (ví dụ, trong các tác vụ hỏi đáp), chúng được phân tách bằng token **\`\[SEP\]\`** (separator). Biểu diễn cuối cùng của mỗi token ở đầu vào là tổng của ba loại embedding: - **Token embedding**: Vector tương ứng với token cụ thể trong từ điển (BERT sử dụng phương pháp tokenization WordPiece). - **Segment embedding**: Chỉ ra token thuộc về câu nào (câu thứ nhất hay thứ hai). - **Positional embedding**: Chỉ ra vị trí của token trong chuỗi, vì kiến trúc Transformer tự nó không tính đến thứ tự từ. ## Các tác vụ tiền huấn luyện Để đảm bảo tính hai chiều sâu, BERT được huấn luyện trên hai tác vụ độc đáo đồng thời. ### Masked Language Modeling (MLM) Đây là đổi mới cốt lõi của BERT. Thay vì dự đoán từ tiếp theo như trong các mô hình ngôn ngữ tiêu chuẩn, BERT dự đoán các từ bị "che" ngẫu nhiên trong câu. Quá trình diễn ra như sau: - 15% token được chọn ngẫu nhiên từ chuỗi đầu vào. - Trong số 15% đó: - 80% được thay thế bằng token đặc biệt \`\[MASK\]\`. - 10% được thay thế bằng một token ngẫu nhiên từ từ điển. - 10% giữ nguyên không thay đổi. - Nhiệm vụ của mô hình là dự đoán giá trị gốc của 15% token này, dựa vào ngữ cảnh xung quanh chúng (cả bên trái và bên phải). Sơ đồ này buộc mô hình học các mối quan hệ ngữ nghĩa và cú pháp sâu giữa các từ và cho phép nó thực sự hai chiều. ### Next Sentence Prediction (NSP) Tác vụ này được thiết kế để dạy BERT hiểu mối quan hệ giữa các câu, điều này rất quan trọng cho các tác vụ như hệ thống hỏi đáp hoặc phân tích kéo theo văn bản (NLI). Mô hình nhận đầu vào là một cặp câu (A và B), và phải dự đoán liệu câu B có phải là phần tiếp theo hợp lý của câu A hay không. - Trong 50% trường hợp, B thực sự là câu tiếp theo từ văn bản gốc. - Trong 50% trường hợp, B là một câu ngẫu nhiên lấy từ nơi khác trong kho văn bản. Sau này, các nghiên cứu (ví dụ trong mô hình RoBERTa) cho thấy tác vụ NSP kém quan trọng hơn MLM và có thể bỏ qua để có sơ đồ huấn luyện hiệu quả hơn, nhưng trong BERT gốc nó đóng vai trò quan trọng. ## Ứng dụng và Fine-Tuning Sức mạnh của BERT nằm ở mô hình transfer learning. Sau khi tiền huấn luyện quy mô lớn và tốn kém trên các kho văn bản khổng lồ (Wikipedia + BooksCorpus), mô hình đã được tiền huấn luyện có thể dễ dàng và nhanh chóng được **fine-tune** để giải quyết một tác vụ ứng dụng cụ thể. Quá trình fine-tuning thường diễn ra như sau: 1. Một tầng nhỏ, chưa được huấn luyện, đặc thù cho tác vụ (ví dụ, bộ phân loại cho phân tích cảm xúc) được thêm vào kiến trúc BERT đã được tiền huấn luyện. 2. Toàn bộ mô hình (bao gồm trọng số BERT và tầng mới) được huấn luyện trên tập dữ liệu có nhãn nhỏ cho tác vụ cụ thể đó. Các tác vụ ví dụ mà BERT được điều chỉnh: - Phân loại văn bản (phân tích cảm xúc, bộ lọc spam): Một bộ phân loại được thêm vào đầu ra của token \`\[CLS\]\`. - Hệ thống hỏi đáp (ví dụ, SQuAD): Mô hình được huấn luyện để dự đoán token bắt đầu và token kết thúc của câu trả lời trong văn bản cho trước. - Nhận dạng thực thể có tên (NER): Một bộ phân loại được thêm vào đầu ra của mỗi token, xác định xem token đó có phải là một phần của tên người, tổ chức, ngày tháng, v.v. hay không. ## Các biến thể và mô hình phái sinh Sự thành công của BERT đã dẫn đến sự xuất hiện của cả một gia đình mô hình dựa trên các ý tưởng của nó: - **RoBERTa** (từ Facebook AI): "BERT được tối ưu hóa mạnh mẽ". Không phải là một kiến trúc mới, mà là kết quả của việc huấn luyện BERT kỹ lưỡng và lâu dài hơn: trên nhiều dữ liệu hơn, không có tác vụ NSP và với dynamic masking. RoBERTa cho thấy BERT gốc bị "huấn luyện chưa đủ" và vượt trội hơn nó trên tất cả các benchmark chính. - **DistilBERT** (từ Hugging Face): Phiên bản thu gọn của BERT, được tạo ra bằng kỹ thuật knowledge distillation. DistilBERT nhỏ hơn 40%, nhanh hơn 60% và giữ lại 97% hiệu suất của BERT, khiến nó lý tưởng để sử dụng trong môi trường production và trên các thiết bị có tài nguyên hạn chế. - **ALBERT** (A Lite BERT, từ Google): Phiên bản được tối ưu để giảm số lượng tham số. Sử dụng hai kỹ thuật chính: **phân rã embedding** và **chia sẻ tham số giữa các tầng (cross-layer parameter sharing)**. Điều này cho phép tạo ra các mô hình lớn hơn nhiều với ít tham số hơn. - **mBERT (Multilingual BERT)**: Phiên bản BERT được tiền huấn luyện đồng thời trên 104 ngôn ngữ. Thể hiện khả năng chuyển giao kiến thức đa ngôn ngữ đáng kinh ngạc. - **Các mô hình đặc thù theo lĩnh vực**: Nhiều mô hình được fine-tune trên dữ liệu từ các lĩnh vực cụ thể, chẳng hạn như **BioBERT** (y sinh học), **SciBERT** (văn bản khoa học) và **FinBERT** (tài chính). - **ModernBERT** (2024-2025): Thế hệ mô hình mới dạng BERT từ các công ty Answer.AI và LightOn, bao gồm các cải tiến kiến trúc hiện đại như RoPE (Rotary Position Embeddings) và hỗ trợ ngữ cảnh dài hơn (lên đến 8192 token), đồng thời giữ nguyên các nguyên tắc cơ bản của BERT. ## So sánh với các mô hình khác | Mô hình | Nhà phát triển | Kiến trúc | Hướng ngữ cảnh | Tác vụ chính | |-----------|----------------|----------------------|-------------------------------------------|-------------------------------------| | **BERT** | Google | Encoder | Hai chiều | Hiểu văn bản, phân loại, trích xuất | | **GPT** | OpenAI | Decoder | Một chiều (trái sang phải) | Sinh văn bản, tiếp nối chuỗi | | **XLNet** | Google / CMU | Tự hồi quy (hoán vị) | Hai chiều (về lý thuyết) | Hiểu văn bản (thay thế cho MLM) | | **T5** | Google | Encoder-Decoder | Hai chiều (encoder) + Một chiều (decoder) | Chuyển đổi đa năng "text-to-text" | So sánh BERT với các kiến trúc quan trọng khác ## Tầm ảnh hưởng BERT đã tạo ra một cuộc cách mạng thực sự trong NLP và đặt nền tảng cho nhiều phát triển tiếp theo: 1. **Xác lập mô hình "tiền huấn luyện + fine-tuning"** như phương pháp chiếm ưu thế trong NLP. 2. **Chứng minh tầm quan trọng của ngữ cảnh hai chiều sâu** trong việc hiểu ngôn ngữ. 3. **Giảm ngưỡng gia nhập** để xây dựng các hệ thống NLP hiệu suất cao, vì các nhà nghiên cứu và nhà phát triển không còn cần phải xây dựng các kiến trúc phức tạp từ đầu cho mỗi tác vụ. 4. **Được tích hợp vào Google Tìm kiếm**, trở thành một trong những bản cập nhật lớn nhất của công cụ tìm kiếm trong toàn bộ lịch sử của nó và minh chứng rõ ràng cho lợi ích thực tiễn của mô hình. 5. **Tạo ra cả một hệ sinh thái** các mô hình phái sinh, công cụ và nghiên cứu ("BERTology"), trở thành một trong những công trình được trích dẫn nhiều nhất trong lĩnh vực AI. Mặc dù các mô hình mới hơn và lớn hơn như GPT-3 và GPT-4 đã vượt qua BERT trên nhiều benchmark (đặc biệt trong các tác vụ sinh văn bản), BERT và các biến thể của nó vẫn là công cụ mạnh mẽ và được sử dụng rộng rãi cho các tác vụ đòi hỏi hiểu văn bản sâu sắc. ## Liên kết - Kho lưu trữ chính thức của BERT trên GitHub - Thông báo về BERT trên blog Google AI - The Illustrated BERT — giải thích trực quan về kiến trúc BERT ## Tài liệu tham khảo - Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805. - Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762. - Peters, M. E. et al. (2018). *Deep Contextualized Word Representations*. arXiv:1802.05365. - Liu, Y. et al. (2019). *RoBERTa: A Robustly Optimized BERT Pretraining Approach*. arXiv:1907.11692. - Lan, Z. et al. (2020). *ALBERT: A Lite BERT for Self-supervised Learning of Language Representations*. arXiv:1909.11942. - Sanh, V. et al. (2020). *DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter*. arXiv:1910.01108. - Yang, Z. et al. (2019). *XLNet: Generalized Autoregressive Pretraining for Language Understanding*. arXiv:1906.08237. - Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer*. arXiv:1910.10683. - Lee, J. et al. (2020). *BioBERT: a pre-trained biomedical language representation model for biomedical text mining*. arXiv:1901.08746. - Warner, B. et al. (2024). *Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference*. arXiv:2412.13663.