IBM Granite (language model) (VI)

From Systems analysis Wiki
Jump to navigation Jump to search

IBM Granite — đây là một dòng mô hình ngôn ngữ lớn (LLM) do tập đoàn IBM phát triển dành cho môi trường doanh nghiệp. Các mô hình Granite là các transformer tự hồi quy theo kiến trúc chỉ có bộ giải mã (decoder-only), có khả năng sinh văn bản dựa trên ngữ cảnh cho trước[1].

Dòng mô hình này được ra mắt chính thức vào ngày 7 tháng 9 năm 2023 trong khuôn khổ việc ra mắt nền tảng đám mây IBM watsonx.ai[2]. IBM định vị Granite là các giải pháp mở, hiệu quả và đáng tin cậy dành cho doanh nghiệp, nhấn mạnh vào tính minh bạch của dữ liệu huấn luyện, kiểm soát rủi ro và cấp phép cho phép sử dụng thương mại[3].

Lịch sử phát triển

Dòng mô hình Granite trở thành một phần trong chiến lược của IBM nhằm cung cấp cho doanh nghiệp các mô hình sinh tạo của riêng mình bên cạnh các mô hình từ đối tác.

  • Tháng 9 năm 2023: Thông báo chính thức và ra mắt các mô hình đầu tiên trên nền tảng watsonx.ai. Các phiên bản đầu tiên, Granite.13b.instruct và Granite.13b.chat, có khoảng 13 tỷ tham số và được tối ưu hóa cho các tác vụ xử lý ngôn ngữ chủ chốt[2].
  • Tháng 5 năm 2024: IBM thông báo phát hành mã nguồn mở cho một số mô hình Granite Code (từ 3 đến 34 tỷ tham số) theo giấy phép Apache 2.0. Trọng số mô hình được công bố trên nền tảng Hugging Face, đây là bước tiến quan trọng trong việc hỗ trợ hệ sinh thái AI mở[4].
  • Mùa thu năm 2024: IBM phát hành bản cập nhật Granite 3.0, bao gồm các mô hình nhỏ hơn (2 và 8 tỷ tham số) và các tính năng mới, khẳng định định hướng mở rộng dòng mô hình[5].

Kiến trúc và huấn luyện

Kiến trúc

Các mô hình IBM Granite được xây dựng theo kiến trúc bộ giải mã transformer (decoder-only), tương tự như các mô hình GPT. Mô hình cơ sở Granite.13b sử dụng cơ chế multi-query attention và có cửa sổ ngữ cảnh lên đến 8000 token[6]. Các mô hình được huấn luyện bằng phương pháp tự giám sát (self-supervised learning).

Dữ liệu huấn luyện và AI Governance

Đặc điểm nổi bật của Granite là việc sử dụng kho dữ liệu được tuyển chọn riêng, phù hợp với nhu cầu của doanh nghiệp. Khác với nhiều LLM được huấn luyện trên các mẫu web không qua lọc, Granite được huấn luyện trên dữ liệu chất lượng cao (enterprise-quality) thuộc các lĩnh vực sau[6]:

  • Dữ liệu học thuật và khoa học: tài liệu khoa học, ấn phẩm kỹ thuật.
  • Mã nguồn lập trình: tập hợp mã trên nhiều ngôn ngữ lập trình.
  • Pháp lý: phán quyết tòa án, báo cáo công khai.
  • Tài chính: báo cáo tài chính của các công ty.
  • Internet: văn bản phi cấu trúc mang tính chất chung đã qua lọc.

IBM nhấn mạnh rằng quá trình phát triển tuân theo các nguyên tắc nghiêm ngặt của AI Governance (đạo đức và quản trị dữ liệu). Mỗi phần dữ liệu đều trải qua quy trình kiểm tra sự tuân thủ với chính sách của tập đoàn. Để loại bỏ nội dung không mong muốn, hệ thống sử dụng bộ phát hiện nội bộ «HAP» (Hate and Profanity — Thù ghét và Tục tĩu) cũng như danh sách chặn tự động các tài nguyên web[1]. IBM đã công bố báo cáo kỹ thuật chi tiết kèm danh sách nguồn dữ liệu, đây là bước hiếm có đối với các công ty công nghệ lớn và đảm bảo tính minh bạch cao.

Dòng mô hình Granite

Dòng mô hình IBM Granite bao gồm một số nhóm mô hình phục vụ các tác vụ kinh doanh khác nhau:

  • Mô hình ngôn ngữ (Granite Language Models): Các mô hình cơ sở và mô hình được tinh chỉnh theo chỉ dẫn cho các tác vụ xử lý văn bản: sinh văn bản, tóm tắt, phân loại và nhiều tác vụ khác.
  • Mô hình lập trình (Granite Code Models): Các LLM chuyên biệt được huấn luyện trên hơn 100 ngôn ngữ lập trình, phục vụ tự động hoàn thành, sinh và sửa mã nguồn. Có sẵn với kích thước từ 3 đến 34 tỷ tham số[4].
  • Mô hình thị giác (Granite Vision Models): Mạng nơ-ron để phân tích hình ảnh và tài liệu, nhận dạng văn bản và hiểu nội dung.
  • Mô hình giọng nói (Granite Speech Models): Các mô hình nhỏ gọn cho nhận dạng và dịch giọng nói.
  • Mô hình chuỗi thời gian (Granite for Time Series): Các mô hình chuyên biệt cho dự báo dựa trên chuỗi thời gian.
  • Mô hình không gian địa lý (Granite for Geospatial): Được phát triển phối hợp với NASA để phân tích ảnh vệ tinh và các dữ liệu địa không gian khác.
  • Mô hình embedding (Granite Embedding Models): Các mô hình phục vụ tìm kiếm ngữ nghĩa và xây dựng hệ thống RAG.
  • Granite Guardian: Mô-đun chuyên biệt đảm bảo an toàn, được thiết kế để lọc các yêu cầu không mong muốn và giám sát nội dung.

Mã nguồn mở và cấp phép

IBM đặt trọng tâm đáng kể vào tính mở của dòng mô hình Granite, định vị đây là giải pháp thay thế minh bạch cho các LLM độc quyền khép kín. Vào tháng 5 năm 2024, công ty đã chuyển giao cho cộng đồng mã nguồn mở các mô hình Granite Code gốc theo giấy phép Apache 2.0, cho phép tự do sử dụng, chỉnh sửa và phân phối[4].

Bước đi này, cùng với việc công bố thông tin chi tiết về dữ liệu huấn luyện, đã mang lại đánh giá cao từ cộng đồng nghiên cứu. Năm 2024, mô hình đã đạt vị trí dẫn đầu trong Chỉ số Minh bạch Mô hình Nền tảng của Đại học Stanford[3].

Ứng dụng

Các mô hình Granite được tích hợp vào nền tảng đám mây IBM watsonx và được sử dụng trong nhiều kịch bản doanh nghiệp khác nhau.

  • Phân tích thể thao (US Open): Phối hợp với Hiệp hội Quần vợt Hoa Kỳ (USTA), IBM ứng dụng Granite để tự động tạo báo cáo trận đấu và bình luận âm thanh sau mỗi trận đấu tại giải US Open. Giải pháp này tạo ra bài tổng kết văn bản chi tiết về trận đấu chỉ trong vài phút sau khi kết thúc[7].
  • Hỗ trợ lập trình viên: Các mô hình Granite Code là nền tảng của IBM watsonx Code Assistant — dòng công cụ có thể, chẳng hạn, tự động chuyển đổi mã kế thừa viết bằng COBOL sang các vi dịch vụ hiện đại cho IBM Z[4].
  • Ứng dụng AI theo ngành: Lockheed Martin đã tích hợp các mô hình Granite vào nền tảng AI Factory của mình cho các tác vụ an ninh quốc gia. ESPN sử dụng Granite để tạo bình luận được cá nhân hóa trong thể thao giả tưởng (fantasy sport)[3].

Tài liệu tham khảo

  • Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
  • Awasthy, P. et al. (2025). Granite Embedding Models. arXiv:2502.20204.
  • Dao, T. et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
  • Granite Vision Team (2025). Granite Vision: A Lightweight, Open‑Source Multimodal Model for Enterprise Intelligence. arXiv:2502.09927.
  • Mishra, M. et al. (2024). Granite Code Models: A Family of Open Foundation Models for Code Intelligence. arXiv:2405.04324.
  • Padhi, I. et al. (2024). Granite Guardian: Risk Detection for Safe and Responsible Use of LLMs. arXiv:2412.07724.
  • Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
  • Stallone, M. et al. (2024). Scaling Granite Code Models to 128K Context. arXiv:2407.13739.

Ghi chú

  1. ↑ 1.0 1.1 «Building AI for business: IBM's Granite foundation models». IBM Blog. [1]
  2. ↑ 2.0 2.1 Lardinois, Frederic (7 сентября 2023). «IBM rolls out new generative AI features and models». TechCrunch. [2]
  3. ↑ 3.0 3.1 3.2 «Granite». IBM. [3]
  4. ↑ 4.0 4.1 4.2 4.3 «IBM's Granite code model family is going open source». IBM Research Blog. [4]
  5. ↑ «Granite 3.3 Language Models - a ibm-granite Collection». Hugging Face. [5]
  6. ↑ 6.0 6.1 «Granite Foundation Models: Technical Specifications». IBM. [6]
  7. ↑ «IBM and the USTA Serve Up New and Enhanced Generative AI Features for 2024 US Open Digital Platforms». IBM Newsroom. [7]
Retrieved from "https://systems-analysis.info/int/index.php?title=IBM_Granite_(language_model)_(VI)&oldid=3168"