Gemma (Google) (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

Gemma — คือกลุ่มโมเดลภาษาที่เปิดให้เข้าถึงได้อย่างเสรี พัฒนาและเผยแพร่โดยบริษัท Google (แผนก Google DeepMind) โมเดล Gemma อ้างอิงฐานการวิจัยและเทคโนโลยีเดียวกันกับกลุ่มโมเดลหลักอย่าง Gemini และถูกวางตำแหน่งเป็นเวอร์ชันที่เบาและมีประสิทธิภาพสูงของ Gemini[1] ชื่อนี้มาจากคำภาษาละติน gemma ซึ่งหมายถึง «อัญมณี»[2]

Gemma จัดอยู่ในหมวดหมู่ open models (โมเดลแบบเปิด): Google เผยแพร่น้ำหนักของโมเดล ซึ่งช่วยให้นักวิจัยและนักพัฒนาสามารถนำไปใช้งาน fine-tuning และเผยแพร่ต่อได้อย่างเสรี รวมถึงในโครงการเชิงพาณิชย์ โดยต้องเป็นไปตามเงื่อนไขการใช้งานอย่างมีความรับผิดชอบ[2] นี่คือความแตกต่างสำคัญจากโมเดล Gemini ที่สามารถเข้าถึงได้ผ่าน API บนคลาวด์เท่านั้น โมเดล Gemma สามารถทำงานได้ในเครื่องบนฮาร์ดแวร์สำหรับผู้บริโภค (โน้ตบุ๊ก คอมพิวเตอร์ตั้งโต๊ะที่มี GPU) ไม่ใช่แค่ในศูนย์ข้อมูลเท่านั้น[3]

การพัฒนาและการเปิดตัว

กลุ่มโมเดล Gemma ประกอบด้วยหลายรุ่น แต่ละรุ่นนำมาซึ่งการปรับปรุงด้านสถาปัตยกรรม ประสิทธิภาพ และความสามารถ

รุ่นแรก: Gemma 1

Gemma เวอร์ชันแรกเปิดตัวเมื่อ 21 กุมภาพันธ์ 2024[4] ประกอบด้วยโมเดลข้อความสองโมเดลที่อ้างอิงสถาปัตยกรรม decoder transformer:

  • Gemma 2B (2 พันล้านพารามิเตอร์)
  • Gemma 7B (7 พันล้านพารามิเตอร์)

ในช่วงเวลาที่เปิดตัว Google ระบุว่าโมเดลเหล่านี้มีประสิทธิภาพเหนือกว่าโมเดลที่ใหญ่กว่าอย่างมีนัยสำคัญใน benchmark หลัก[2] โมเดลต้นฉบับเน้นภาษาอังกฤษเป็นหลัก แต่ได้รับการฝึกฝนบนข้อมูลที่หลากหลาย รวมถึงเอกสารจากเว็บ โค้ดโปรแกรม และโจทย์คณิตศาสตร์[1] โมเดลทั้งสองเผยแพร่ในสองรูปแบบ ได้แก่ แบบพื้นฐาน (pre-trained) และแบบที่ผ่านการ fine-tuning ตามคำสั่ง (instruction-tuned) เพื่อให้ปฏิบัติตามคำสั่งของผู้ใช้ได้ดีขึ้น[2]

รุ่นที่สอง: Gemma 2

Gemma 2 ประกาศเมื่อ 27 มิถุนายน 2024 และนำมาซึ่งการปรับปรุงที่สำคัญ[1]

  • ขนาดโมเดล: มีการเปิดตัวโมเดลขนาด 9 และ 27 พันล้านพารามิเตอร์ โมเดลขนาดเล็กได้รับการฝึกฝนโดยใช้เทคนิค knowledge distillation จากโมเดลขนาดใหญ่เพื่อเพิ่มคุณภาพ[5]
  • หน้าต่าง context: ขยายอย่างมีนัยสำคัญเป็น 80,000 token (เทียบกับ 8,192 ในเวอร์ชันแรก)[6][7]
  • การปรับปรุงสถาปัตยกรรม: มีการนำกลไก grouped-query attention และรูปแบบ attention แบบสลับระหว่างโลคัลและโกลบอลมาใช้ เพื่อประสิทธิภาพในการจัดการ context ขนาดยาว[1]

รุ่นที่สาม: Gemma 3

Gemma 3 เปิดตัวใน เดือนมีนาคม 2025 ในฐานะก้าวถัดไปของกลุ่มโมเดล โดยเน้นด้าน multimodality และการขยายขอบเขตงาน[6]

  • Multimodality: โมเดลรองรับรูปภาพและวิดีโอเป็น input ควบคู่กับข้อความ
  • ขนาดและภาษา: ครอบคลุมสี่ขนาด (1B, 4B, 12B, 27B) และรองรับภาษาได้มากถึง 140 ภาษา[6]
  • หน้าต่าง context: เพิ่มขึ้นเป็น 128,000 token[6]

ตามข้อมูลของ Google Gemma 3 27B แสดงผลลัพธ์ในระดับเดียวกับโมเดลแบบเปิดที่ดีที่สุดในยุคนั้น โดยได้คะแนนรองเพียงโมเดลเฉพาะทางอย่าง DeepSeek-R1 เท่านั้น[6]

สถาปัตยกรรมและคุณสมบัติทางเทคนิค

โมเดล Gemma อ้างอิงสถาปัตยกรรม transformer ในรูปแบบ «decoder เท่านั้น» (decoder-only) ซึ่งคล้ายกับโมเดล GPT[7] ซึ่งหมายความว่าโมเดลสร้างข้อความแบบ autoregressive โดยทำนาย token ถัดไปจาก token ก่อนหน้าทั้งหมด องค์ประกอบทางเทคนิคที่สำคัญได้แก่:

  • Rotary Positional Embeddings (RoPE): แทนที่จะใช้ positional embedding แบบสัมบูรณ์ จะใช้ RoPE ซึ่งช่วยให้เข้ารหัสข้อมูลตำแหน่งได้อย่างมีประสิทธิภาพ
  • Multi-query และ Grouped-query attention: เพื่อเพิ่มความเร็วและประหยัดหน่วยความจำในโมเดลขนาดเล็ก (เช่น Gemma 2B) ใช้ multi-query attention (key/value เดี่ยวสำหรับทุก attention head) ใน Gemma 2 มีการนำกลไก grouped-query attention มาใช้ โดย query จะถูกแบ่งเป็นกลุ่ม ซึ่งเป็นการประนีประนอมระหว่างความเร็วและคุณภาพ[1][7]
  • รูปแบบ attention แบบสลับ: ใน Gemma 2 มีการใช้รูปแบบที่ชั้น global self-attention สลับกับชั้นที่มี «sliding window» แบบจำกัด ซึ่งช่วยให้ประมวลผล context ขนาดยาวได้อย่างมีประสิทธิภาพ[1]

กลุ่มโมเดลและรูปแบบต่างๆ

นอกจากโมเดลพื้นฐานสำหรับงานทั่วไปแล้ว Google ยังเปิดตัวเวอร์ชันสืบเนื่องจาก Gemma หลายตัวที่ปรับให้เหมาะกับงานเฉพาะ

  • CodeGemma: โมเดลสำหรับการสร้างและเติมเต็มโค้ดโปรแกรม รองรับ C++, C#, Go, Java, JavaScript, Python, Rust และภาษาอื่นๆ[1]
  • DataGemma: กลุ่มโมเดลที่ผ่านการ fine-tuning เพื่อการผสานรวมกับข้อมูลภายนอกโดยใช้เทคนิค RAG โมเดลสามารถส่งคำค้นหาไปยังฐานข้อมูล (เช่น Google Data Commons) เพื่อเพิ่มความถูกต้องเชิงข้อเท็จจริงของคำตอบ[1]
  • PaliGemma: โมเดล multimodal ที่รับรูปภาพและข้อความเป็น input ออกแบบสำหรับงานถามตอบด้านภาพ เช่น การอธิบายรูปภาพและการจดจำวัตถุ[1]
  • RecurrentGemma: รูปแบบทดลองที่ใช้สถาปัตยกรรมไฮบริด Griffin ซึ่งผสมผสาน local attention และการเชื่อมโยงแบบ recurrent เชิงเส้น ทำให้เร่งความเร็วการสร้างลำดับยาวได้อย่างมีนัยสำคัญ[7]
  • MedGemma: เวอร์ชันเฉพาะทางของ Gemma 3 สำหรับด้านการแพทย์ ประกอบด้วยโมเดล multimodal (4B) และโมเดลข้อความ (27B) สำหรับวิเคราะห์ภาพทางการแพทย์ (ภาพเอกซเรย์ ภาพตัดขวาง) และเอกสารทางคลินิก โมเดลเผยแพร่แบบเปิด แต่ไม่ได้ออกแบบมาเพื่อการใช้งานทางคลินิกโดยตรงโดยไม่มีการตรวจสอบเพิ่มเติม[8]
  • DolphinGemma: โครงการวิจัยเกี่ยวกับการประยุกต์ใช้เทคโนโลยี Gemma เพื่อถอดรหัสการสื่อสารของโลมา โมเดลได้รับการฝึกฝนบนการบันทึกเสียงหลายปีและใช้เพื่อค้นหารูปแบบในภาษาของสัตว์[9]

ความพร้อมใช้งานและการประยุกต์

โมเดล Gemma พร้อมใช้งานบนแพลตฟอร์ม Kaggle และ Hugging Face รวมถึงผสานรวมกับบริการ Google Colab และ Vertex AI Model Garden[2] เพื่อเร่งความเร็วการ inference Google ได้ร่วมมือกับ NVIDIA ในการปรับโมเดลให้เหมาะสมสำหรับ TensorRT เงื่อนไขสัญญาอนุญาตของ Gemma อนุญาตให้ใช้งาน เชิงพาณิชย์ และแก้ไขโมเดลได้ ซึ่งแตกต่างจากโครงการแบบเปิดบางโครงการ การเผยแพร่อยู่ภายใต้สัญญาอนุญาต Responsible AI License ซึ่งกำหนดข้อจำกัดการใช้งานในบางด้าน (เช่น การพัฒนาอาวุธ) และกำหนดให้ผลิตภัณฑ์ที่สืบเนื่องต้องปฏิบัติตามหลักการใช้ AI อย่างปลอดภัยและมีจริยธรรม[3]

ความปลอดภัยและความรับผิดชอบ

นักพัฒนาให้ความสำคัญอย่างมากกับประเด็นความปลอดภัย โดยคำนึงถึงลักษณะเปิดของโมเดล

  • การกรองข้อมูล: ในการเตรียม dataset สำหรับฝึกฝน ข้อมูลส่วนบุคคลและข้อมูลที่ละเอียดอ่อนอื่นๆ ถูกกรองออกโดยอัตโนมัติเพื่อลดความเสี่ยงในการรั่วไหล[2]
  • Alignment: เวอร์ชันที่ปฏิบัติตามคำสั่งของโมเดลผ่านกระบวนการ alignment หลายขั้นตอน โดยใช้เทคนิค Supervised Fine-Tuning (SFT) และ RLHF (การเรียนรู้แบบ Reinforcement Learning จากข้อเสนอแนะของมนุษย์) เพื่อปลูกฝังรูปแบบการตอบสนองที่พึงประสงค์[1]
  • Red Teaming: ก่อนเปิดตัว โมเดลถูกทดสอบอย่างเข้มข้นเพื่อตรวจสอบความทนทานต่อคำขอที่เป็นอันตราย ผู้เชี่ยวชาญพยายามกระตุ้นให้โมเดลสร้างเนื้อหาที่เป็นอันตรายหรือไม่พึงประสงค์เพื่อค้นหาช่องโหว่[3]
  • Responsible AI Toolkit: พร้อมกับโมเดล Google เผยแพร่ชุดเครื่องมือเพื่ออำนวยความสะดวกในการนำไปใช้อย่างปลอดภัย รวมถึงยูทิลิตี Gemma Debugger สำหรับวิเคราะห์สถานะภายในของโมเดล และตัวจำแนกเนื้อหาที่ไม่พึงประสงค์[2]
  • ShieldGemma: โมเดลตัวกรองเฉพาะทางที่ออกแบบมาเพื่อป้องกันการสร้างเนื้อหาที่ไม่ปลอดภัยในเวอร์ชัน multimodal ของ Gemma[6]

ลิงก์

  • หน้าอย่างเป็นทางการของ Gemma บนเว็บไซต์ Google AI
  • โมเดล Gemma บน Hugging Face

บรรณานุกรม

  • Mesnard, T. et al. (2024). Gemma: Open Models Based on Gemini Research and Technology. arXiv:2403.08295.
  • Rivière, M. et al. (2024). Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118.
  • Kamath, A. et al. (2025). Gemma 3 Technical Report. arXiv:2503.19786.
  • Zhao, H. et al. (2024). CodeGemma: Open Code Models Based on Gemma. arXiv:2406.11409.
  • Beyer, L. et al. (2024). PaliGemma: A Versatile 3B VLM for Transfer. arXiv:2407.07726.
  • Steiner, A. et al. (2024). PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv:2412.03555.
  • Botev, A. et al. (2024). RecurrentGemma: Moving Past Transformers for Efficient Open Language Models. arXiv:2404.07839.
  • Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
  • Chinnakonduru, S. S. & Mohapatra, A. (2024). Weighted Grouped Query Attention in Transformers. arXiv:2407.10855.
  • Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
  • Radhakrishnan, P. et al. (2024). Knowing When to Ask — Bridging Large Language Models and Data. arXiv:2409.13741.

หมายเหตุ

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 «What Is Google Gemma?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 «Gemma: Google introduces new state-of-the-art open models». Google Developers Blog. [2]
  3. ↑ 3.0 3.1 3.2 «Google's open-source Gemma AI models draw from the research behind Gemini». The Verge. [3]
  4. ↑ «Google launches two new open LLMs». TechCrunch. [4]
  5. ↑ «Gemma 2: Improving Open Language Models at a Practical Size». Google.
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 «Google unveils open source Gemma 3 model with 128k context window». VentureBeat. [5]
  7. ↑ 7.0 7.1 7.2 7.3 «Gemma explained: An overview of Gemma model family architectures». Google Developers Blog. [6]
  8. ↑ «Google Releases MedGemma: Open AI Models for Medical Text and Image Analysis». InfoQ. [7]
  9. ↑ «Google Is Training a New A.I. Model to Decode Dolphin Chatter—and Potentially Talk Back». Smithsonian Magazine. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Gemma_(Google)_(TH)&oldid=2565"