Large language model — بڑے لسانی ماڈل

بڑا لسانی ماڈل (large language model, LLM) — یہ Machine Learning ماڈل کی ایک قسم ہے جو گہری Neural Network کے ذریعے نافذ کی جاتی ہے، جس میں بڑی تعداد میں پیرامیٹرز ہوتے ہیں (عموماً اربوں یا اس سے زیادہ) اور اسے بڑی مقدار میں متنی ڈیٹا پر تربیت دی جاتی ہے۔ اس سیاق میں بڑا سے مراد پیرامیٹرز کا پیمانہ اور تربیتی corpus کا حجم دونوں ہیں، جو جدید نظاموں میں کئی petabyte اور کھربوں token تک پہنچتا ہے۔ LLM ماڈلز کو بنیادی طور پر self-/semi-supervised طریقے سے تربیت دی جاتی ہے، جس میں وہ sequence میں اگلے token کی پیش گوئی کرتے ہوئے زبان کے اعداد و شمار کے اصول سیکھتے ہیں۔ پیرامیٹرز، ڈیٹا اور حسابی مراحل میں اضافے سے معیار میں قابل پیش گوئی بہتری آتی ہے، جسے scaling laws سے تصدیق ملتی ہے۔

BERT (2017) کے ظہور کے بعد اور خاص طور پر GPT-3 (2020) کے بعد، LLM طریقہ کار قدرتی زبان کی پروسیسنگ میں غالب ہو گیا۔ جدید ماڈلز (GPT-4o، Claude 3، Gemini 1.5، LLaMA 3 وغیرہ) بغیر کسی خاص تنظیم کے متن اور پروگرامی کوڈ لکھنے، ترجمہ کرنے، خلاصہ تیار کرنے، سوالوں کے جواب دینے اور استدلال کی زنجیریں بنانے کی صلاحیت رکھتے ہیں؛ multimodal ورژن تصویر، آواز اور ویڈیو کا تجزیہ بھی کرتے ہیں۔ عملی کاموں کے لیے موافقت fine-tuning یا prompt engineering اور in-context learning کے ذریعے کی جاتی ہے۔ اپنی کامیابیوں کے ساتھ ساتھ LLM ماڈلز اصل ڈیٹا کے تعصبات اور غلطیاں بھی وراثت میں لیتے ہیں، hallucination کا شکار ہوتے ہیں اور بڑے حسابی وسائل کی ضرورت ہوتی ہے، اس لیے آج کی تحقیق رویے کی ہم آہنگی، corpus کی فلٹریشن اور توانائی کی بچت کرنے والے architecture پر مرکوز ہے۔

Architecture

جدید LLM میں تقریباً ہمیشہ Transformer (ٹرانسفارمر) architecture استعمال ہوتی ہے — یہ self-attention کے طریقہ کار والا ایک نیٹ ورک ہے۔ Transformer ماڈل پہلی بار 2017 میں Google کے ڈویلپرز کی تحقیقی تصنیف Attention is All You Need میں پیش کیا گیا تھا۔

Transformer architecture — sequences کے ساتھ کام کرنے کے لیے بنیادی Neural Network کا ڈھانچہ ہے، جس میں دو منطقی اجزاء شامل ہیں — encoder (ان پٹ کو encode کرتا ہے) اور decoder (آؤٹ پٹ تیار کرتا ہے)۔ ان پٹ میں ایک sequence آتی ہے، اس کی vector نمائندگی (embedding) بنائی جاتی ہے، positional encoding کا vector جمع کیا جاتا ہے، اس کے بعد sequence کی ترتیب کا لحاظ کیے بغیر عناصر کا مجموعہ encoding component (متوازی پروسیسنگ) میں جاتا ہے، اور پھر decoding component کو اس sequence کا ایک حصہ اور encoding کا آؤٹ پٹ بطور ان پٹ ملتا ہے۔ نتیجے میں ایک نئی آؤٹ پٹ sequence حاصل ہوتی ہے۔

Transformer کا encoding component چند ایک جیسے encoder layers پر مشتمل ہوتا ہے؛ اسی طرح decoding component بھی بنا ہوتا ہے۔ Transformer خود attention ماڈلز کی ایک sequence ہے جو vectors کی اصل sequence کو ایک نئی sequence میں تبدیل کرتی ہے، جہاں ہر عنصر باقی عناصر کے سیاق و سباق کو مدنظر رکھتا ہے۔ Encoder ان پٹ ڈیٹا کی پوشیدہ نمائندگی بناتا ہے، عناصر کے درمیان تعلقات کی معلومات محفوظ رکھتا ہے۔ Decoder پوشیدہ نمائندگیوں کی بنیاد پر آؤٹ پٹ token کے لیے embeddings کی نئی sequence بناتا ہے۔ پھر ان embeddings کی بنیاد پر language model کے ذریعے حتمی آؤٹ پٹ عناصر تیار کیے جاتے ہیں۔

چونکہ Transformer ابتداً Machine Translation جیسے کاموں کے لیے بنایا گیا تھا، اس کی architecture میں encoder (ان پٹ متن، مثلاً اصل جملہ، پروسیس کرتا ہے) اور decoder (آؤٹ پٹ، مثلاً ترجمہ، تیار کرتا ہے) شامل ہیں۔ تاہم بہت سے language models میں صرف decoder حصہ استعمال ہوتا ہے جو autoregressive mode میں کام کرتا ہے۔

Transformer تین بنیادی configurations میں استعمال ہوتے ہیں، ہر ایک encoder اور decoder کو مختلف طریقے سے استعمال کرتی ہے اور اپنے مخصوص کاموں کے لیے موزوں ہے:

• Encoder-Transformer (دو طرفہ) جان بوجھ کر چھپائے گئے متن کے ٹکڑوں کو بحال کرنا سیکھتے ہیں، اس لیے یہ سمجھنے کے کاموں کے لیے موزوں ہیں — classification، حقائق کا استخراج، semantic search۔
• Decoder-Transformer (autoregressive) اگلے token کی پیش گوئی پر optimize ہوتے ہیں اور وہاں استعمال ہوتے ہیں جہاں streaming output کی ضرورت ہو: dialogیہ agents، code autocomplete، تخلیقی generation۔
• مکمل "encoder + decoder" schemes دونوں طریقوں کو یکجا کرتی ہیں: encoder پورے ان پٹ متن کی نمائندگی بناتا ہے، اور decoder اس کی بنیاد پر مرحلہ وار نتیجہ تیار کرتا ہے۔ یہ configuration Machine Translation، summarization اور سوال و جواب کے نظاموں کے لیے سب سے زیادہ مؤثر ہے۔

Tokenization

Tokenization — بڑے لسانی ماڈلز میں متن کی پروسیسنگ کا ایک اہم ابتدائی مرحلہ ہے۔ اس مرحلے میں حروف کی مسلسل string کو الگ الگ اکائیوں — tokens — میں تقسیم کیا جاتا ہے۔ Tokenization حروف کی sequence کو structured عناصر کی sequence میں تبدیل کرنے کا کام سرانجام دیتی ہے جو Neural Network کے مؤثر کام کو یقینی بناتے ہیں۔

لسانیات کے نقطہ نظر سے، tokenization کسی حد تک زبان کی ان کم سے کم اکائیوں کی شناخت کے عمل سے مطابقت رکھ سکتی ہے جو خود مختار معنی یا functional بوجھ رکھتی ہیں، جیسے الفاظ، morphemes یا ان کے ٹکڑے۔ تاہم اکثر و بیشتر token محض اعداد و شمار کے اعتبار سے کثرت سے آنے والے حروف کی sequence ہوتے ہیں، اس لیے تمام tokens کی لسانی معنویت کو بڑھا چڑھا کر نہیں دیکھنا چاہیے۔ منتخب scheme کے مطابق token ہو سکتا ہے: پورا لفظ، sub-word، انفرادی حرف، یا service marker (مثلاً sequence کے آغاز اور اختتام کے markers)۔

Tokenization کے ذریعے:

• vocabulary کا حجم قابل قبول سطح تک محدود کیا جا سکتا ہے؛
• نادر اور نئے الفاظ کو درست طریقے سے پروسیس کیا جا سکتا ہے؛
• متن کا numerical identifiers کی sequence پر یک معنی mapping یقینی بنائی جا سکتی ہے۔

متن تقسیم کرنے کے لیے sub-word algorithms استعمال ہوتے ہیں، جن میں سب سے زیادہ رائج Byte Pair Encoding (BPE)، WordPiece اور UnigramLM ہیں۔ ان میں سے ہر ایک corpus کے سب سے زیادہ بار آنے والے ٹکڑوں سے vocabulary بناتا ہے اور اسے کسی بھی ان پٹ متن کی مرحلہ وار تقسیم کے لیے استعمال کرتا ہے۔

Tokenization کے مرحلے کے بعد متن کی ہر اکائی — token — کو ایسی عددی نمائندگی میں تبدیل کیا جاتا ہے جسے Neural Network سمجھ سکے۔ اس عمل میں کئی متواتر مراحل شامل ہیں:

• Tokens کو identifiers میں تبدیل کرنا: ہر token کو پہلے سے بنائے گئے token vocabulary کی بنیاد پر ایک منفرد عددی index سے منسلک کیا جاتا ہے۔ متنی tokens کو ان کے منفرد numerical identifiers (ID) سے بدل دیا جاتا ہے۔ ہر ID پہلے سے بنائے گئے vocabulary میں token کا نمبر ہے، جو Neural Network کو الفاظ کی بجائے اعداد سے کام کرنے دیتا ہے۔
• Identifiers کو embeddings میں تبدیل کرنا: ہر token identifier کے لیے مقررہ جہت کا متعلقہ vector نکالا یا حساب کیا جاتا ہے — embedding۔ یہ کثیر الجہت عددی نمائندگی ID کی جگہ لیتی ہے اور اس میں پہلے سے token کی قدر و قیمت اور سیاق و سباق کی خصوصیات کی معلومات ہوتی ہیں۔ پروسیسنگ میں آسانی کے لیے تمام embeddings کی یکساں لمبائی ہوتی ہے۔
• Positional encodings کا اضافہ: چونکہ Transformer architecture خود بخود عناصر کی ترتیب کو مدنظر نہیں رکھتی، اس لیے embeddings میں positional encodings کا اضافہ کیا جاتا ہے جو sequence میں token کی پوزیشن کی معلومات فراہم کرتی ہیں۔ دوسرے الفاظ میں، اس کی بدولت ماڈل جانتا ہے کہ جملے میں کون سا token پہلے، دوسرے، تیسرے نمبر پر ہے وغیرہ۔
• ان پٹ matrices کی تشکیل: آؤٹ پٹ پر [длина последовательности × размерность эмбеддинга] کے dimensions کی ایک matrix حاصل ہوتی ہے جو متن کی ابتدائی نمائندگی کے طور پر کام کرتی ہے اور Neural Network میں، خاص طور پر Transformer کے self-attention blocks میں بھیجی جاتی ہے۔ اس matrix کی ہر قطار ایک token سے مطابقت رکھتی ہے، اور اس میں موجود vector اس کی معنوی قدر (embedding) اور متن میں اس کی پوزیشن کی معلومات (positional encoding) دونوں رکھتا ہے۔

Текст → Токены → Идентификаторы → Эмбеддинги + Позиционные кодировки → Вход в модель

Attention Mechanism - توجہ کا طریقہ کار

Attention mechanism — Transformer architecture کا ایک کلیدی جزو ہے جو sequence میں tokens کے درمیان فاصلے سے قطع نظر ان کے مابین تعلقات کو مدنظر رکھنے کی صلاحیت فراہم کرتا ہے۔ ان پٹ متن کو vectors کی sequence میں تبدیل کرنے کے بعد یہ sequence transformer کے مرکزی عنصر — attention block — میں جاتی ہے۔

Attention mechanism Neural Network کے لیے یہ طے کرنے کا ایک طریقہ ہے کہ sequence کے ہر عنصر کو پروسیس کرتے وقت ان پٹ ڈیٹا کے کن حصوں پر زیادہ توجہ دی جائے۔ اس کی بدولت متن کے الگ الگ ٹکڑوں کے vectors ایک دوسرے سے تعامل کر سکتے ہیں، معلومات سے مالامال ہوتے ہیں اور آس پاس کے سیاق و سباق کو مدنظر رکھتے ہوئے اپنی قدریں اپ ڈیٹ کرتے ہیں۔ اس کے ذریعے ماڈل tokens کے درمیان مقامی اور دور دراز دونوں قسم کے تعلقات کو مؤثر طریقے سے پکڑنے کی صلاحیت حاصل کرتا ہے، جو پیچیدہ متنی ڈھانچوں کی تفسیر کرنے کی اس کی صلاحیت کو نمایاں طور پر بڑھاتا ہے۔

قدرتی زبان میں کسی لفظ یا عبارت کا معنی الگ تھلگ نہیں ہوتا — یہ سیاق و سباق پر، یعنی آس پاس کے دیگر الفاظ اور ڈھانچوں پر منحصر ہوتا ہے۔ Neural Networks میں متن کو vectoral representations — embeddings — کے ذریعے encode کیا جاتا ہے جو tokens کی لغوی اور نحوی خصوصیات کو عددی طور پر ظاہر کرتے ہیں۔ براہ راست attention کے طریقہ کار (جیسے Transformer میں) کے بغیر، سیاق و سباق کی معلومات یا تو بڑے فاصلوں پر گم ہو جاتی (جیسے سادہ ماڈلز میں)، یا پھر یکے بعد دیگرے منتقل ہوتی جو دور دراز تعلقات پکڑنے کے لیے کم مؤثر ہے۔ تاہم قدرتی زبان میں کسی لفظ یا نحوی ڈھانچے کا معنی متحرک ہوتا ہے، اور اس کی تفسیر سیاق و سباق کے مطابق ڈھلنی چاہیے۔ Attention mechanism vectoral representations کی contextualization سرانجام دیتا ہے، جس کا مطلب ہے (یا محض :):

• ہر token جملے میں دیگر tokens کے مقابلے میں اپنی اہمیت جانچتا ہے۔
• اپ ڈیٹ کے عمل میں vectoral representations باہمی معلومات سے مالامال ہوتے ہیں، نحوی تعلقات، معنوی کردار اور pragmatic سیاق و سباق کی عکاسی کرتے ہیں۔

اس معلوماتی تبادلے کے نتیجے میں اپ ڈیٹ شدہ vectors نہ صرف token کی اپنی قدر بلکہ اس کے گرامری تعلقات (syntax)، بیان کردہ صورتحال میں اس کا کردار (semantics) اور سیاق و سباق میں مجموعی معنی (pragmatics) کو بھی encode کرنے لگتے ہیں۔

Входные векторы токенов (с позициями) → Механизм Внимания (Взаимодействие векторов) → Контекстуализированные векторы токенов (Векторы обогащенные информацией о связях с другими токенами)

Attention Mechanism کا تکنیکی نفاذ

Attention mechanism کی اندرونی ساخت میں کئی اہم حسابی مراحل اور اجزاء شامل ہیں۔ ہر ان پٹ vector کے لیے تین vectors تیار کیے جاتے ہیں: Query، Key اور Value۔ ان کے تعامل کی بنیاد پر attention weights حساب کیے جاتے ہیں، جنہیں پھر اپ ڈیٹ شدہ، contextualized vectoral representations حاصل کرنے کے لیے استعمال کیا جاتا ہے۔ معلومات کی متوازی پروسیسنگ کے لیے Multi-Head Attention architecture کا استعمال ایک رائج طریقہ ہے۔

Query، Key، Value

Attention mechanism کے حساب کی بنیاد میں ہر ان پٹ vector (جو token کے embedding اور اس کی positional encoding کا مجموعہ ہوتا ہے) کو تین مختلف vectoral representations میں تبدیل کرنا ہے: Query (Q)، Key (K) اور Value (V)۔

تصوراتی طور پر یہ تینوں vectors attention mechanism میں درج ذیل کردار ادا کرتے ہیں:

• Query: موجودہ token کا vector ہے جو sequence میں متعلقہ معلومات کی تلاش کا عمل شروع کرتا ہے۔ اسے ایک سوال یا probe کے طور پر دیکھا جا سکتا ہے جو موجودہ token کے مقابلے میں دیگر tokens کی اہمیت جانچنے کے لیے استعمال ہوتا ہے۔
• Key: ہر token کے مواد کے کسی پہلو کو بیان کرنے والے identifier یا label کا کردار ادا کرتا ہے۔ موجودہ token کے Query (Q) vector کا موازنہ sequence میں تمام Key (K) vectors (اپنے سمیت) سے کیا جاتا ہے تاکہ ان کی مطابقت یا relevance کی ڈگری معلوم ہو سکے۔
• Value: ہر token سے منسلک وہ اصل معلومات یا نمائندگی رکھتا ہے جو آگے منتقل کی جائے گی۔ Queries اور Keys کے تعامل کی بنیاد پر attention weights حساب کرنے کے بعد یہ weights Values vectors پر apply کیے جاتے ہیں تاکہ ایک حتمی weighted representation بنائی جا سکے، جو اس token کے لیے attention mechanism کا آؤٹ پٹ ہے۔

بڑے لسانی ماڈلز کی تربیت

LLM کی تربیت بنیادی طور پر دو مراحل میں ہوتی ہے:

1. Pretraining اس مرحلے میں ماڈل کو self-supervised learning طریقے سے بڑے غیر labeled text corpora پر تربیت دی جاتی ہے۔ کام sequence میں اگلے token کی پیش گوئی کرنا (autoregression) یا چھپے ہوئے ٹکڑوں کو بحال کرنا (masked learning) ہوتا ہے۔ Pretraining ماڈل کو زبان کے وسیع اعداد و شمار کے اصول، گرامر، دنیا کے بارے میں حقائق اور استدلال کی بنیادی شکلیں سیکھنے دیتا ہے۔
2. Fine-tuning Pretraining کے بعد ماڈل کو مخصوص کاموں، مثلاً جوابات کی generation، متن کی classification یا ہدایات پر عمل کرنے کے لیے specialized data پر مزید تربیت دی جاتی ہے۔ جدید طریقوں میں شامل ہیں:
   • Labeled datasets پر fine-tuning (supervised fine-tuning)۔
   • انسانی شرکت کے ساتھ Reinforcement Learning (RLHF، reinforcement learning from human feedback) معیار، حفاظت اور افادیت کے target metrics کے مطابق ماڈل کے رویے کو درست کرنے کے لیے۔

مسائل اور حدود

زبردست ترقی کے باوجود، جدید بڑے لسانی ماڈلز (LLM) میں کئی مسائل اور حدود موجود ہیں:

I. حسابی اور تعمیراتی حدود

1. زیادہ حسابی لاگت: LLM کی تربیت اور آپریشن کے لیے کافی حسابی طاقت، وقت اور توانائی درکار ہوتی ہے، جس سے معاشی اور ماحولیاتی اخراجات بڑھتے ہیں۔ اس کے علاوہ generation کی autoregressive نوعیت (tokens کی مرحلہ وار تخلیق) parallelization کو محدود کرتی ہے اور non-autoregressive طریقوں کے مقابلے میں inference کی رفتار سست کرتی ہے۔
2. Context length کی حد: Transformer architecture میں sequence کی لمبائی کے ساتھ حسابی اخراجات اور memory کی ضروریات کا تعلق quadratic ہے۔ یہ متن کی اس مقدار پر ایک مقررہ حد (context window) لگانے پر مجبور کرتا ہے جسے ماڈل ایک بار میں پروسیس کر سکے، جس سے لمبی دستاویزات کٹ جاتی ہیں اور window کے باہر کی معلومات ضائع ہو جاتی ہیں۔

II. Generation کی وشوسنییتا اور درستگی کے مسائل

1. Hallucinations: ایسی معلومات کی generation جو حقیقتاً غلط ہو مگر قابل یقین لگے۔ اس کی وجہ ماڈل میں دنیا کی اصل سمجھ کا نہ ہونا، اعداد و شمار کے اصولوں پر انحصار اور generate کردہ بیانات کی تصدیق کی نااہلی ہے۔
2. Error Propagation: وہ عمل جس میں generation کے ابتدائی مراحل میں ہونے والی غلطیاں بڑھتی جاتی ہیں اور بعد کے مراحل میں بے درستیوں میں اضافہ کرتی ہیں، متن کی مجموعی معیار اور ہم آہنگی کو کم کرتی ہیں۔
3. محدود compositionality: ایسے کاموں میں مشکلات جن کے لیے کثیر مراحل کے منطقی استنتاج یا درست حسابات (مثلاً بڑے اعداد کی ضرب، پہیلیاں حل کرنا) درکار ہوں۔ ایسے کاموں میں ماڈلز کی درستگی پیچیدگی بڑھنے کے ساتھ autoregressive generation کی نوعیت کی وجہ سے تیزی سے گرتی ہے۔
4. تکرار: الفاظ یا جملوں کی ضرورت سے زیادہ تکرار کی طرف رجحان، جو متن کی معلوماتی قدر اور پڑھنے کی سہولت کو کم کرتا ہے۔ یہ تربیت اور decoding algorithms (اگلا token منتخب کرنے) کی خصوصیات سے جڑا ہے۔
5. Reversal Curse: ماڈل کی یہ نااہلی کہ وہ خود بخود الٹی سمت میں معلومات عام کرے: A is B جملے پر تربیت پانے کے بعد ماڈل اکثر B is A نہیں نکال پاتا۔
6. تخلیقیت اور درستگی کا trade-off: متنوع، اصیل جوابات دینے اور حقائق کی درستگی برقرار رکھنے کے درمیان توازن کی ضرورت۔ ایک پہلو بڑھانا اکثر دوسرے پر منفی اثر ڈالتا ہے، مثلاً زیادہ تخلیقیت hallucinations میں اضافے سے correlate کر سکتی ہے۔

III. تعامل اور کنٹرول کے مسائل:

1. کم controllability: generate کردہ متن کے انداز، لہجے، مواد یا پیچیدہ ہدایات پر عمل کے درست کنٹرول میں مشکل۔ Controllability ان پٹ ہدایات (prompts) کے معیار اور fine-tuning کے طریقوں پر بہت زیادہ منحصر ہے۔
2. صورت بندی کے تئیں حساسیت: ان پٹ query (prompt) میں معمولی تبدیلیاں کافی مختلف جواب دے سکتی ہیں، چاہے query کا مفہوم یکساں رہے۔ اس سے مستحکم اور قابل پیش گوئی نتائج حاصل کرنا مشکل ہو جاتا ہے۔

IV. اخلاقی اور سماجی پہلو:

1. تعصب اور انصاف کے مسائل: ماڈلز تربیتی ڈیٹا میں موجود سماجی stereotypes، تعصب یا زہریلے مواد کو reproduce اور تیز کر سکتے ہیں۔ ماڈلز کا منصفانہ اور محفوظ ہونا یقینی بنانا ایک پیچیدہ کام ہے۔
2. Alignment کا مسئلہ (LLM Alignment): ایک زیادہ عمومی مسئلہ جس میں پچھلا نکتہ شامل ہے۔ یہ ماڈل کے رویے کو انسانی اقدار، ارادوں اور اخلاقی معیارات سے ہم آہنگ کرنے کا چیلنج ہے۔ اس میں تعصب، hallucinations، نقصاندہ مواد کی generation کے خلاف جدوجہد اور controllability بڑھانا شامل ہیں۔
3. بد نیتی سے استعمال کے خطرات: LLMs کو غلط معلومات بنانے اور بڑے پیمانے پر پھیلانے، phishing، spam، نقصاندہ کوڈ یا قائل کرنے والے جعلی متن کی generation کے لیے استعمال کرنے کا امکان، جو معلوماتی اور ذاتی سلامتی کو خطرات لاحق کرتا ہے اور معاشرے میں اعتماد کو کمزور کرتا ہے۔

حوالہ جات:

• «بڑا لسانی ماڈل» // Wikipedia (روسی ورژن)
• Large Language Model // Wikipedia (English version)
• Grand Modèle de Langage // Wikipédia (Version française)
• Sprachmodell // Wikipedia (Deutsche version)

• Naveed H. et al. // A Comprehensive Overview of Large Language Models // arXiv:2307.06435, 2023

کتابیات

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• OpenAI. (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.