Large language model — نماذج اللغة الكبيرة
نموذج اللغة الكبير (large language model, LLM) هو نوع من نماذج تعلم الآلة، يُنفذ باستخدام شبكة عصبونية عميقة تحتوي على عدد كبير من المعلمات (عادةً بالمليارات أو أكثر) ويتم تدريبه على كميات هائلة من البيانات النصية. تشير كلمة «الكبير» في هذا السياق إلى حجم المعلمات وحجم مجموعة بيانات التدريب في آن واحد، والتي تصل في الأنظمة الحديثة إلى عدة بيتابايت وتريليونات من التوكنات. تُدرَّب نماذج LLM بشكل أساسي بطريقة التعلم ذاتي الإشراف أو شبه ذاتي الإشراف (self-/semi-supervised)، حيث تتنبأ بالتوكن التالي في التسلسل، وبالتالي تكتسب الأنماط الإحصائية للغة. يؤدي نمو المعلمات والبيانات والخطوات الحسابية إلى تحسن متوقع في الجودة، وهو ما تؤكده قوانين التوسع (scaling laws).
بعد ظهور BERT (2017) وخصوصًا GPT-3 (2020)، أصبح نهج نماذج اللغة الكبيرة هو السائد في مجال معالجة اللغات الطبيعية. تستطيع النماذج الحديثة (مثل GPT-4o, Claude 3, Gemini 1.5, LLaMA 3 وغيرها) كتابة النصوص والشيفرات البرمجية، والترجمة، والتلخيص، والإجابة على الأسئلة، وبناء سلاسل من الاستدلالات دون الحاجة إلى ضبط خاص؛ كما أن الإصدارات متعددة الوسائط تحلل الصور والصوت والفيديو. يتم تكييف النموذج لمهمة تطبيقية معينة من خلال الضبط الدقيق أو هندسة الموجهات (prompt engineering, in-context learning). إلى جانب إنجازاتها، ترث نماذج اللغة الكبيرة التحيزات والأخطاء الموجودة في بياناتها الأصلية، وتميل إلى «الهلوسات»، وتتطلب موارد حاسوبية ضخمة، ولهذا السبب تركز الأبحاث اليوم على مواءمة السلوك، وتنقية مجموعات البيانات، وتطوير بنى معمارية موفرة للطاقة.
البنية
تستخدم نماذج اللغة الكبيرة الحديثة دائمًا بنية المحوّل (Transformer) – وهي شبكة عصبونية تعتمد على آلية الانتباه الذاتي (self-attention). تم اقتراح نموذج المحوّل لأول مرة في ورقة بحثية بعنوان Attention is All You Need من قبل مطورين في Google عام 2017.
بنية المحوّل (Transformer) هي مخطط شبكة عصبونية أساسي للتعامل مع التسلسلات، وتتضمن وحدتين منطقيتين – المشفّر (encoder) (يشفر المدخلات) ومفكك الشفرة (decoder) (يولد المخرجات). يتم إدخال تسلسل، وإنشاء تمثيل متجهي له (embedding)، ثم يُضاف متجه الترميز الموضعي، وبعد ذلك تدخل مجموعة العناصر إلى مكون التشفير (معالجة متوازية) دون مراعاة ترتيبها في التسلسل، ثم يتلقى مكون فك التشفير جزءًا من هذا التسلسل ومخرجات المشفّر. والنتيجة هي تسلسل مخرجات جديد.
يتكون مكون التشفير في المحوّل من عدة طبقات تشفير متطابقة؛ وبالمثل يتكون مكون فك التشفير. المحوّل نفسه هو سلسلة من نماذج الانتباه التي تحول التسلسل الأصلي للمتجهات إلى تسلسل جديد، حيث يأخذ كل عنصر في الاعتبار سياق العناصر الأخرى. يشكل المشفّر تمثيلات كامنة للبيانات المدخلة، مع الحفاظ على المعلومات حول العلاقات المتبادلة بين العناصر. وبناءً على هذه التمثيلات الكامنة، ينشئ مفكك الشفرة تسلسلاً جديدًا من التضمينات (embeddings) للتوكنات المخرجة. بعد ذلك، وبناءً على هذه التضمينات، يتم توليد عناصر المخرجات النهائية باستخدام نموذج اللغة.
نظرًا لأن المحولات صُممت في الأصل لمهام مثل الترجمة الآلية، فإن بنيتها تتضمن المشفّر (الذي يعالج النص المدخل، مثل الجملة المصدر) ومفكك الشفرة (الذي يولد المخرجات، مثل الترجمة). ومع ذلك، تستخدم العديد من نماذج اللغة جزء مفكك الشفرة فقط، والذي يعمل في وضع الانحدار الذاتي (autoregressive).
تُستخدم المحولات في ثلاث تكوينات رئيسية، كل منها يستخدم المشفّر ومفكك الشفرة بطريقة مختلفة وموجهة لمجموعة محددة من المهام:
- محولات المشفر (Encoder-only transformers) (ثنائية الاتجاه): تتعلم استعادة أجزاء من النص تم إخفاؤها عمدًا، مما يجعلها مناسبة تمامًا لمهام «الفهم» — مثل التصنيف، واستخراج الحقائق، والبحث الدلالي.
- محولات مفكك الشفرة (Decoder-only transformers) (ذاتية الانحدار): يتم تحسينها للتنبؤ بالتوكن التالي وتستخدم في المهام التي تتطلب إخراجًا متدفقًا: مثل الوكلاء الحواريين، والإكمال التلقائي للشيفرات البرمجية، والتوليد الإبداعي.
- البنى الكاملة «المشفر + مفكك الشفرة»: تجمع بين النهجين: يبني المشفّر تمثيلاً للنص المدخل بالكامل، بينما يقوم مفكك الشفرة، بالاعتماد عليه، بتكوين النتيجة تدريجيًا. هذا التكوين هو الأكثر فعالية للترجمة الآلية، والتلخيص، وأنظمة الإجابة على الأسئلة.
التقسيم إلى توكنات
التقسيم إلى توكنات (Tokenization) — هي مرحلة أولية أساسية في معالجة النصوص في نماذج اللغة الكبيرة. في هذه المرحلة، يتم تقسيم سلسلة متصلة من الأحرف إلى وحدات منفصلة — تسمى التوكنات. تؤدي عملية التقسيم إلى توكنات مهمة تحويل تسلسل من الأحرف إلى تسلسل من العناصر المنظمة، مما يضمن عمل الشبكة العصبونية بكفاءة.
من وجهة نظر لغوية، يمكن أن تتوافق عملية التقسيم إلى توكنات إلى حد ما مع عملية تحديد الوحدات اللغوية الدنيا التي تحمل معنى مستقلاً أو وظيفة، مثل الكلمات، أو المورفيمات، أو أجزائها. ومع ذلك، غالبًا ما يكون التوكن مجرد تسلسل من الأحرف يتكرر إحصائيًا، لذا من المهم عدم المبالغة في تقدير المعنى اللغوي لـجميع التوكنات. اعتمادًا على المخطط المختار، يمكن أن يكون التوكن: كلمة كاملة، أو جزءًا من كلمة، أو حرفًا منفردًا، أو علامة وظيفية (مثل علامات بداية ونهاية التسلسل).
يسمح التقسيم إلى توكنات بما يلي:
- حصر حجم المفردات إلى نطاق مقبول؛
- معالجة الكلمات النادرة والجديدة بشكل صحيح؛
- ضمان تعيين فريد للنص إلى تسلسل من المعرّفات الرقمية.
لتقسيم النص، تُستخدم خوارزميات ما دون الكلمة (subword algorithms)، وأكثرها شيوعًا هي Byte Pair Encoding (BPE)، وWordPiece، وUnigramLM. تقوم كل من هذه الخوارزميات ببناء قاموس من الأجزاء الأكثر تكرارًا في مجموعة البيانات وتستخدمه لتقسيم أي نص مدخل بشكل تسلسلي.
بعد مرحلة التقسيم إلى توكنات، يتم تحويل كل وحدة نصية — توكن — إلى تمثيل رقمي يمكن للشبكة العصبونية فهمه. تتضمن هذه العملية عدة خطوات متتالية:
- تحويل التوكنات إلى معرّفات: يتم ربط كل توكن بفهرس رقمي فريد بناءً على قاموس توكنات مُعد مسبقًا. يتم استبدال التوكنات النصية بمعرّفاتها الرقمية الفريدة (ID). كل ID هو رقم التوكن في القاموس، مما يسمح للشبكة العصبونية بالتعامل مع الأرقام بدلاً من الكلمات.
- تحويل المعرّفات إلى تضمينات (embeddings): لكل معرّف توكن، يتم استرداد أو حساب متجه مقابل ذي أبعاد ثابتة — يسمى التضمين (embedding). هذا التمثيل الرقمي متعدد الأبعاد يحل محل المعرّف ويحتوي بالفعل على معلومات حول معنى التوكن وخصائصه السياقية. جميع التضمينات لها نفس الطول لتسهيل المعالجة.
- إضافة الترميزات الموضعية: نظرًا لأن بنية المحوّل (Transformer) في حد ذاتها لا تأخذ في الاعتبار ترتيب العناصر، تُضاف الترميزات الموضعية (positional encodings) إلى التضمينات، والتي توفر معلومات حول موضع التوكن في التسلسل. بعبارة أخرى، بفضل هذا، «يعرف» النموذج أي توكن يأتي أولاً، وثانيًا، وثالثًا، وهكذا في الجملة.
- تكوين مصفوفات الإدخال: في النهاية، يتم الحصول على مصفوفة بأبعاد
[طول التسلسل × أبعاد التضمين]، والتي تعمل كالتمثيل الأولي للنص وتُمرر كمدخل للشبكة العصبونية، وتحديدًا إلى وحدات الانتباه الذاتي (self-attention) في المحوّل. كل صف في هذه المصفوفة يتوافق مع توكن واحد، والمتجه الذي يحتويه يحمل كلاً من معناه الدلالي (التضمين) ومعلومات عن موضعه في النص (الترميز الموضعي).
نص ← توكنات ← مُعرِّفات ← تضمينات + ترميزات موضعية ← مدخل للنموذج
آلية الانتباه
آلية الانتباه (attention mechanism) — هي المكون الرئيسي في بنية المحوّل (Transformer) الذي يتيح إمكانية مراعاة الاعتماديات بين التوكنات بغض النظر عن المسافة بينها في التسلسل. بعد تحويل النص المدخل إلى تسلسل من المتجهات، يتم تمرير هذا التسلسل إلى العنصر المركزي في المحوّل — وهو وحدة الانتباه (attention block).
تمثل آلية الانتباه طريقة للشبكة العصبونية لتحديد أي أجزاء من البيانات المدخلة يجب أن توليها اهتمامًا أكبر عند معالجة كل عنصر من عناصر التسلسل. بفضلها، يمكن لمتجهات الأجزاء المنفصلة من النص أن تتفاعل مع بعضها البعض، مما يثريها بالمعلومات ويحدّث قيمها مع مراعاة السياق المحيط. نتيجة لذلك، يكتسب النموذج القدرة على التقاط الاعتماديات المحلية والبعيدة بين التوكنات بكفاءة، مما يعزز بشكل كبير قدرته على تفسير الهياكل المعقدة للنص.
في اللغة الطبيعية، لا يتم تحديد معنى الكلمة أو التعبير بشكل منعزل — بل يعتمد على السياق، أي على الكلمات والهياكل الأخرى المحيطة به. في الشبكات العصبونية، يتم ترميز النص من خلال تمثيلات متجهة — التضمينات (embeddings)، التي تعكس رقميًا الخصائص المعجمية والنحوية للتوكنات. بدون آلية انتباه مباشرة (كما في المحوّل)، إما أن تُفقد معلومات السياق عبر المسافات الطويلة (كما في النماذج البسيطة)، أو تُنقل بشكل تسلسلي، وهو أقل كفاءة في التقاط الروابط البعيدة. ومع ذلك، في اللغة الطبيعية، يكون معنى الكلمة أو التركيب النحوي ديناميكيًا، ويجب أن يتكيف تفسيره اعتمادًا على السياق. تقوم آلية الانتباه بسياق التعبيرات المتجهة، مما يعني (أو ببساطة :):
- كل توكن «يقيّم» أهميته بالنسبة للتوكنات الأخرى في الجملة.
- في عملية التحديث، يتم إثراء التمثيلات المتجهة بمعلومات متبادلة، مما يعكس الاعتماديات النحوية، والأدوار الدلالية، والسياق البراغماتي.
نتيجة لهذا التبادل للمعلومات، تبدأ المتجهات المحدثة في ترميز ليس فقط معنى التوكن نفسه، ولكن أيضًا علاقاته النحوية (النحو)، ودوره في الموقف الموصوف (الدلالة)، والمعنى العام في السياق (البراغماتية).
متجهات التوكنات المدخلة (مع المواضع) ← آلية الانتباه (تفاعل المتجهات) ← متجهات التوكنات المسياقة (متجهات غنية بمعلومات عن الروابط مع التوكنات الأخرى)
التنفيذ التقني لآلية الانتباه
يشمل التصميم الداخلي لآلية الانتباه عدة خطوات ومكونات حسابية رئيسية. لكل متجه مدخل، يتم إنشاء ثلاثة متجهات: الاستعلام (Query)، والمفتاح (Key)، والقيمة (Value). بناءً على تفاعلها، يتم حساب أوزان الانتباه، التي تُستخدم بعد ذلك للحصول على تمثيلات متجهة محدثة ومسياقة. أحد الأساليب الشائعة هو استخدام بنية متعددة الرؤوس (Multi-Head Attention) لمعالجة المعلومات بالتوازي.
Query, Key, Value - الاستعلام، المفتاح، القيمة
في جوهر حساب آلية الانتباه، يتم تحويل كل متجه مدخل (وهو مجموع تضمين التوكن وترميزه الموضعي) إلى ثلاثة تمثيلات متجهة مختلفة: الاستعلام (Query, Q)، والمفتاح (Key, K)، والقيمة (Value, V).
من الناحية المفاهيمية، تؤدي هذه المتجهات الثلاثة الأدوار التالية في آلية الانتباه:
- الاستعلام (Query): يمثل متجه التوكن الحالي، الذي يبدأ عملية البحث عن المعلومات ذات الصلة في التسلسل. يمكن اعتباره «سؤالاً» أو «مسبارًا» يُستخدم لتقييم أهمية التوكنات الأخرى بالنسبة للتوكن الحالي.
- المفتاح (Key): يعمل كمعرّف أو «علامة» تصف جانبًا من محتوى كل توكن. تتم مقارنة متجه الاستعلام (Q) للتوكن الحالي مع جميع متجهات المفاتيح (K) في التسلسل (بما في ذلك مفتاحه الخاص) لتحديد درجة تطابقها أو صلتها.
- القيمة (Value): تحتوي على المعلومات الفعلية أو التمثيل المرتبط بكل توكن، والذي سيتم تمريره لاحقًا. بعد حساب أوزان الانتباه بناءً على تفاعل الاستعلامات والمفاتيح، يتم تطبيق هذه الأوزان على متجهات القيمة لتشكيل التمثيل الموزون النهائي، وهو ناتج آلية الانتباه لهذا التوكن.
تدريب نماذج اللغة الكبيرة
يتم تدريب نماذج اللغة الكبيرة بشكل أساسي على مرحلتين:
- التدريب المسبق (Pretraining) في هذه المرحلة، يتم تدريب النموذج على مجموعات كبيرة من النصوص غير المصنفة باستخدام التعلم ذاتي الإشراف (self-supervised learning). تتمثل المهمة في التنبؤ بالتوكن التالي في التسلسل (الانحدار الذاتي) أو في استعادة الأجزاء المخفية (التعلم المقنع). يسمح التدريب المسبق للنموذج باكتساب أنماط إحصائية واسعة للغة، وقواعد النحو، وحقائق عن العالم، وأشكال أساسية من الاستدلال.
- الضبط الدقيق (Fine-tuning) بعد التدريب المسبق، يتم تدريب النموذج بشكل إضافي على بيانات متخصصة لأداء مهام محددة، مثل توليد الإجابات، أو تصنيف النصوص، أو اتباع التعليمات. تشمل الأساليب الحديثة:
- الضبط الدقيق على مجموعات البيانات المصنفة (supervised fine-tuning).
- التعلم المعزز من خلال التغذية الراجعة البشرية (RLHF, reinforcement learning from human feedback) لتعديل سلوك النموذج وفقًا لمقاييس الجودة والسلامة والفائدة المستهدفة.
المشاكل والقيود
على الرغم من التقدم المذهل، تعاني نماذج اللغة الكبيرة (LLM) الحديثة من عدد من المشاكل والقيود:
I. القيود الحسابية والمعمارية
- التكاليف الحسابية المرتفعة: يتطلب تدريب وتشغيل نماذج اللغة الكبيرة قدرات حسابية ووقتًا وطاقة كبيرة، مما يؤدي إلى تكاليف اقتصادية وبيئية عالية. بالإضافة إلى ذلك، فإن طبيعة التوليد ذاتية الانحدار (إنشاء التوكنات بشكل تسلسلي) تحد من التوازي وتبطئ سرعة الاستدلال مقارنة بالأساليب غير ذاتية الانحدار.
- محدودية طول السياق: تتميز بنية المحوّل (Transformer) باعتمادية تربيعية للتكاليف الحسابية ومتطلبات الذاكرة على طول التسلسل. هذا يفرض وضع حد ثابت (نافذة السياق) على حجم النص الذي يمكن للنموذج معالجته في المرة الواحدة، مما يؤدي إلى اقتطاع المستندات الطويلة وفقدان المعلومات خارج النافذة.
II. مشاكل الموثوقية ودقة التوليد
- الهلوسات: توليد معلومات غير صحيحة من حيث الوقائع، ولكنها تبدو معقولة. يرتبط هذا بغياب فهم حقيقي للعالم لدى النموذج، واعتماده على الأنماط الإحصائية في البيانات، وعدم قدرته على التحقق من صحة العبارات التي يولدها.
- تراكم الأخطاء (Error Propagation): عملية تتفاقم فيها الأخطاء التي تحدث في المراحل المبكرة من التوليد وتؤدي إلى زيادة عدم الدقة في الخطوات اللاحقة، مما يقلل من الجودة والاتساق العام للنص.
- التركيبية المحدودة: صعوبات في المهام التي تتطلب استدلالًا منطقيًا متعدد الخطوات أو حسابات دقيقة (مثل ضرب الأعداد متعددة الأرقام، وحل الألغاز). تنخفض دقة النماذج في مثل هذه المهام بشكل حاد مع زيادة التعقيد بسبب الطبيعة ذاتية الانحدار للتوليد.
- التكرار: الميل إلى التكرار المفرط للكلمات أو العبارات، مما يقلل من القيمة المعلوماتية وسهولة قراءة النص. يرتبط هذا بخصائص التدريب وخوارزميات فك التشفير (اختيار التوكن التالي).
- لعنة الانعكاس (Reversal Curse): عدم قدرة النموذج على تعميم المعرفة تلقائيًا في الاتجاه المعاكس: بعد تعلم عبارة «أ هو ب»، غالبًا ما لا يستطيع النموذج استنتاج أن «ب هو أ».
- المفاضلة بين «الإبداع والدقة»: الحاجة إلى الموازنة بين توليد إجابات متنوعة ومبتكرة والحفاظ على الدقة الواقعية. غالبًا ما يؤثر تحسين أحد الجانبين سلبًا على الآخر، على سبيل المثال، قد يرتبط الإبداع العالي بزيادة الهلوسات.
III. مشاكل التفاعل والتحكم:
- انخفاض القابلية للتحكم: صعوبة التحكم الدقيق في أسلوب النص المولد ونبرته ومحتواه أو اتباعه لتعليمات معقدة. تعتمد القابلية للتحكم بشدة على جودة التعليمات المدخلة («الموجهات») وطرق الضبط الدقيق (fine-tuning).
- الحساسية للصياغة: يمكن أن تؤدي التغييرات الطفيفة في الطلب المدخل (الموجه) إلى إجابات مختلفة بشكل كبير، حتى لو ظل المعنى الدلالي للطلب كما هو. وهذا يجعل من الصعب الحصول على نتائج مستقرة ويمكن التنبؤ بها.
IV. الجوانب الأخلاقية والاجتماعية:
- مشاكل التحيز والعدالة: يمكن للنماذج أن تعيد إنتاج وتضخيم الصور النمطية الاجتماعية الموجودة في بيانات التدريب، أو التحيز، أو المحتوى السام. يعد ضمان عدالة وسلامة النماذج مهمة معقدة.
- مشكلة المواءمة (LLM Alignment): مشكلة أعم، تشمل النقطة السابقة. وهي مهمة ضمان توافق سلوك النموذج مع القيم والنوايا والمعايير الأخلاقية البشرية. تشمل مكافحة التحيز، والهلوسات، وتوليد المحتوى الضار، وزيادة القابلية للتحكم.
- مخاطر الاستخدام الخبيث: إمكانية استخدام نماذج اللغة الكبيرة لإنشاء ونشر المعلومات المضللة، والتصيد الاحتيالي، والبريد العشوائي، والشيفرات الضارة، أو توليد نصوص مزيفة مقنعة على نطاق واسع، مما يشكل تهديدات لأمن المعلومات والأمن الشخصي، ويقوض الثقة في المجتمع.
روابط خارجية
- Large Language Model // Wikipedia (English version)
- Grand Modèle de Langage // Wikipédia (Version française)
- Sprachmodell // Wikipedia (Deutsche version)
- Naveed H. et al. // A Comprehensive Overview of Large Language Models // arXiv:2307.06435, 2023
المراجع
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
- Brown, T. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
- Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
- OpenAI. (2023). GPT-4 Technical Report. arXiv:2303.08774.
- Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.