GPT (OpenAI) (UR)

From Systems analysis Wiki
Jump to navigation Jump to search

GPT (Generative Pre-trained Transformer) — یہ بڑے زبانی ماڈلوں (LLM) کا ایک خاندان ہے جسے OpenAI نے تیار کیا ہے۔ GPT ماڈل transformer کی architecture پر بنائے جاتے ہیں اور generative pre-training کے اصول کو نافذ کرتے ہیں: پہلے مرحلے میں ماڈل کو بغیر کسی واضح لیبلنگ کے وسیع متنی مجموعوں پر تربیت دی جاتی ہے، اور پھر اسے مخصوص کاموں کے لیے fine-tuning کیا جا سکتا ہے۔ بعد کی نسلوں (GPT‑5 سے شروع ہو کر) کے لیے OpenAI یکجا نظام (unified system) کی اصطلاح بھی استعمال کرتی ہے، کیونکہ یہ پروڈکٹ تیز جواب کا طریقہ، گہرے استدلال (reasoning) کا طریقہ اور ایک router کو یکجا کرتا ہے[1]۔

نام

اختصار GPT کا مطلب ہے Generative Pre-trained Transformer (جنریٹو پری-ٹرینڈ ٹرانسفارمر)۔

  • جنریٹو (Generative): اس کا مطلب ہے کہ ماڈل نئے مواد، مثلاً متن، بنانے (generate کرنے) کی صلاحیت رکھتا ہے۔
  • پری-ٹرینڈ (Pre-trained): اس سے ظاہر ہوتا ہے کہ ماڈل ڈیٹا کے ایک بڑے ذخیرے (مثلاً انٹرنیٹ سے لیے گئے متون) پر ابتدائی تربیت کے ایک وسیع مرحلے سے گزرتا ہے۔ pre-training کے بعد ماڈل کو اکثر مزید مخصوص کاموں کے لیے اضافی طور پر fine-tuned کیا جا سکتا ہے۔
  • ٹرانسفارمر (Transformer): یہ ایک مخصوص neural network architecture کا نام ہے، جو GPT اور بہت سے دیگر جدید AI ماڈلوں کی بنیاد میں موجود کلیدی جدت ہے۔

GPT کی بنیادی خصوصیت یہ ہے کہ تربیت autoregressive شکل میں ہوتی ہے — ماڈل پچھلے سیاق و سباق کی بنیاد پر اگلا token پیش گوئی کرتا ہے۔ یعنی ماڈل پچھلے tokens کی ترتیب کو جانتے ہوئے اگلے token کے امکان کو زیادہ سے زیادہ کرنا سیکھتا ہے۔ تربیت کے دوران اگلے عنصر کی پیشن گوئی کی غلطی کو کم سے کم کیا جاتا ہے، جس سے ایسے متن تیار ہوتے ہیں جن میں اعلی درجے کی ہم آہنگی اور ربط ہوتا ہے۔

GPT میں متن کی تخلیق کا عمل

GPT ماڈل متن کو یکے بعد دیگرے، token بہ token، درج ذیل تکراری منصوبے کے مطابق تیار کرتا ہے:

  • ابتدائی متنی ترتیب (prompt، seed text) کو بطور input قبول کرتا ہے۔
  • متن کے اگلے عنصر کے لیے vocabulary کے تمام tokens پر امکاناتی تقسیم کا حساب لگاتا ہے۔
  • اگلا token منتخب کرتا ہے:
    • یا تو سب سے زیادہ امکان پر (greedy انتخاب)،
    • یا stochastic sampling کے طریقے سے (sampling)،
    • یا خاص filtering strategies کے استعمال سے (top-k، top-p)۔
  • منتخب token کو موجودہ ترتیب میں شامل کرتا ہے۔
  • اپ ڈیٹ شدہ ترتیب دوبارہ اگلے token کی پیش گوئی کے لیے ماڈل کو بطور input دی جاتی ہے۔

Transformer Architecture - ٹرانسفارمر کی architecture: متن کی پروسیسنگ

aگلے token کی پیش گوئی کے لیے transformer کے اندر ڈیٹا پروسیسنگ کے عمل میں کئی بنیادی مراحل شامل ہیں:

  • Tokenization (ٹوکنائزیشن)۔ ان پٹ متن کو tokens میں تقسیم کیا جاتا ہے — متن کی چھوٹی اکائیاں جو الفاظ، الفاظ کے حصے یا اوقاف کی علامات ہو سکتی ہیں۔ GPT-3 ماڈل میں، مثال کے طور پر، vocabulary میں تقریباً 50,257 tokens شامل ہیں۔
  • Token Embeddings (ایمبیڈنگز)۔ ہر token کو embedding matrix (W_E) کے ذریعے ایک مقررہ لمبائی کے vector میں تبدیل کیا جاتا ہے۔ Vectors tokens کے معنی کو encode کرتے ہیں: معنوی طور پر قریبی tokens کثیر الجہتی فضا میں ایک دوسرے کے قریب ہوتے ہیں۔ GPT-3 ماڈل میں embeddings کی جہت 12,288 ہے۔
  • Transformer کی تہوں میں پروسیسنگ۔
    • Attention Blocks (توجہ کے بلاکس): ہر token ترتیب کے دیگر tokens سے تعامل کرتا ہے۔ attention کا طریقہ کار سیاق و سباق کو مدنظر رکھنے اور الفاظ کے معانی کی درست تشریح کرنے کی اجازت دیتا ہے۔
    • Feed-Forward Layers (فیڈ-فارورڈ تہیں): attention کے بعد ہر token کو الگ سے غیر خطی activation کے ساتھ ایک دو تہوں والی neural network کے ذریعے پروسیس کیا جاتا ہے۔
  • الٹا تبدیلی اور Softmax۔ تمام تہوں کے بعد پروسیس شدہ vector کو matrix (W_U) کے ذریعے واپس tokens کی فضا میں تبدیل کیا جاتا ہے، جو اکثر W_E کا transposed ورژن ہوتا ہے۔ نتیجے میں آنے والے logits vector کو تمام tokens پر امکاناتی تقسیم حاصل کرنے کے لیے Softmax فنکشن سے normalize کیا جاتا ہے۔
  • اگلے Token کا انتخاب (Sampling)۔ اگلا token امکانات کی تقسیم کی بنیاد پر منتخب کیا جاتا ہے۔ temperature پیرامیٹر انتخاب کی بے ترتیبی کو کنٹرول کرتا ہے: temperature 0 پر سب سے زیادہ ممکنہ token منتخب ہوتا ہے، زیادہ temperatures پر کم ممکنہ اختیارات کے انتخاب کا امکان بڑھ جاتا ہے، جو متن میں زیادہ تنوع کو فروغ دیتا ہے۔

GPT کے ماڈل

  • GPT-1 (2018): خاندان کا پہلا ماڈل؛ 12 تہوں والا decoder-only transformer؛ دو مرحلوں میں تربیت (pre-training + NLP کاموں پر fine-tuning)۔
  • GPT-2 (2019): 1.5 ارب parameters؛ WebText corpus پر تربیت؛ پہلی بار طویل مربوط متن تیار کرنے کی صلاحیت؛ zero-shot generation کے معیار میں بہتری۔ 14 فروری 2019 کو اعلان کیا گیا، حفاظتی وجوہات کی بنا پر مکمل ورژن (1.5 ارب) 5 نومبر 2019 کو شائع کیا گیا۔
  • GPT-3 (2020): 175 ارب parameters؛ Common Crawl، Books، Wikipedia کے مجموعے پر بڑے پیمانے پر تربیت؛ few-shot اور zero-shot صلاحیتوں کی نمایاں ترقی۔
  • GPT-3.5 (2022): GPT-3 اور GPT-4 کے درمیان ایک درمیانی ورژن؛ text-davinci-003 اور gpt-3.5-turbo ورژنوں میں انسانی feedback سے تربیت (RLHF) کی بدولت بہتر ہدایات پر عمل؛ ابتدائی ورژنوں میں context window 4,096 tokens تک اور بعد کے ورژنوں میں 16,385 tokens تک (gpt-3.5-turbo-16k اور اپ ڈیٹ شدہ gpt-3.5-turbo میں)۔
  • GPT-4 (2023): متن اور گرافیکل ان پٹ کے ساتھ multimodal ماڈل (تصاویر کی حمایت بعد میں، متنی آغاز کے بعد شامل کی گئی)؛ بنیادی ورژن میں context window 8,192 tokens اور GPT-4-32k ورژن میں 32,768 tokens؛ درستگی، پائیداری اور استدلال کی منطق میں نمایاں بہتری۔
  • GPT-4 Turbo (2023): GPT-4 کا بہتر ورژن؛ context window بڑھ کر 128,000 tokens تک؛ کم تاخیر اور آپریشن کی کم لاگت۔
  • GPT-4o (2024): نئی نسل کا multimodal ماڈل (متن، تصویر، آڈیو) ایک یکجا neural network architecture کے ساتھ؛ بہت زیادہ رفتار اور جوابات کی درستگی؛ context window 128,000 tokens۔
  • GPT-4.5 (2025): تحقیقی پیش نظارہ (research preview)؛ OpenAI کے system card میں بتایا گیا ہے کہ ماڈل «builds on GPT-4o»[2][3]؛ صارف کی درخواستوں کی بہتر سمجھ، غلطیوں کی تعداد میں کمی؛ context window 128,000 tokens۔ API میں ماڈل gpt-4.5-preview کو 14 اپریل 2025 کو deprecated قرار دیا گیا اور 14 جولائی 2025 کو بند کر دیا گیا[4]۔
  • GPT-4.1 (2025): GPT-4 خاندان کا بہتر ورژن جس کا context window 1 ملین tokens تک ہے؛ ان پٹ میں متن اور تصاویر قبول کرتا ہے، آؤٹ پٹ میں متن دیتا ہے[5]۔ ایک ساتھ تین ورژنوں میں جاری کیا گیا: GPT-4.1، GPT-4.1 mini، GPT-4.1 nano۔
  • GPT-5 (2025): تیز جواب اور گہرے استدلال کے طریقوں کے ساتھ یکجا نظام؛ context window تقریباً 400,000 tokens؛ حقیقت پر مبنی کاموں میں hallucinations میں نمایاں کمی۔
  • GPT-5.1 (2025): adaptive reasoning، coding اور long-context retention میں بہتری۔
  • GPT-5.2 (2025): پیشہ ورانہ کام پر زور؛ frontier کاموں کے لیے Pro طریقہ؛ GPT-5.2 کی بنیاد پر GPT-5.2-Codex نامی agentی ماڈل جاری کیا گیا۔
  • GPT-5.3-Codex (2026): agentی coding ماڈل جو coding صلاحیتوں اور reasoning کو یکجا کرتا ہے؛ پیشروؤں سے 25٪ زیادہ تیز۔
  • GPT-5.3 Instant (2026): ChatGPT کے سب سے زیادہ استعمال شدہ گفتگوئی ماڈل کی تازہ کاری؛ 3 مارچ 2026 کو جاری کیا گیا۔ حقیقی درستگی، ویب تلاش کا معیار، مکالمے کی روانی بہتر ہوئی اور غیر ضروری انکار اور ضرورت سے زیادہ تحفظات کی تعداد کم ہوئی۔ API میں gpt-5.3-chat-latest کے طور پر دستیاب ہے[6]۔
  • GPT-5.4 (2026): پیشہ ورانہ کام کے لیے OpenAI کا frontier ماڈل، جو 5 مارچ 2026 کو پیش کیا گیا؛ OpenAI کا پہلا general-purpose ماڈل جس میں native computer-use capabilities ہیں۔ API میں gpt-5.4 کو general-purpose اور coding کے وسیع کاموں کے لیے ڈیفالٹ ماڈل کے طور پر تجویز کیا گیا ہے[7][8]۔

GPT-1

پہلا ماڈل، GPT-1، OpenAI نے 2018 میں \"Improving Language Understanding by Generative Pre-Training\" کے کام میں پیش کیا۔ یہ ماڈل ایک 12 تہوں والا decoder-only transformer[9] تھا اور transformer کی architecture کی بنیاد پر بنایا گیا تھا۔ GPT-1 کی تربیت دو مراحل میں ہوئی: غیر نگران شدہ generative pre-training کا مرحلہ (pre-training)، جس کے بعد supervised fine-tuning کا مرحلہ آیا۔

pre-training کے مرحلے میں ماڈل کو BookCorpus corpus پر تربیت دی گئی جس میں مختلف اصناف کی 7,000 سے زیادہ غیر شائع شدہ کتابیں شامل تھیں۔ اس corpus کی خصوصیت طویل مسلسل متنی اقتباسات کی موجودگی تھی، جو ماڈل میں پیچیدہ اور طویل متنی dependencies کو پروسیس کرنے کی صلاحیت بنانے کے لیے انتہائی اہم تھی۔

fine-tuning کے مرحلے میں ماڈل کو قدرتی زبان پروسیسنگ کے مخصوص کاموں کو حل کرنے کے لیے ڈھال لیا گیا، جن میں شامل ہیں:

  • سوالات کے جوابات (Question Answering، QA) — دیے گئے متنی سیاق و سباق کی بنیاد پر درست جواب تیار کرنا؛
  • متنی استلزام کی شناخت (Natural Language Inference، NLI) — دو متون کے درمیان منطقی تعلق کا تعین: استلزام، تضاد یا غیر جانبداری؛
  • معنوی مماثلت کا اندازہ لگانا (Semantic Textual Similarity) — دو متنی ترتیبوں کے درمیان معنوی قربت کی پیمائش۔

اس نقطہ نظر کی بدولت GPT-1 نے متن کی سمجھ کے لیے متعدد معیاری benchmarks پر پچھلے ماڈلوں پر نمایاں برتری ظاہر کی۔

GPT-1 کی ترقی نے قدرتی زبان پروسیسنگ (NLP) کے میدان میں کئی اہم کامیابیاں اور دریافتیں ظاہر کیں:

  • Generative Pre-training کی افادیت۔ یہ تجرباتی طور پر ثابت ہوا کہ بغیر لیبل والے متن کے بڑے مجموعوں پر pre-training ماڈل کو عالمگیر زبانی نمائندگی حاصل کرنے کے قابل بناتی ہے، جو بنیادی architectural تبدیلیوں کی ضرورت کے بغیر مختلف عملی کاموں میں بعد کے استعمال کے لیے موزوں ہے۔
  • Transformer Architecture کی عالمگیریت۔ کثیر تہوں والے decoder transformer کے استعمال نے ماڈل کو متن میں طویل مدتی dependencies کو کامیابی سے پروسیس کرنے کی اجازت دی، جو پہلے recurrent neural networks پر مبنی ماڈلوں کے لیے مشکل تھا۔
  • لیبل شدہ ڈیٹا پر انحصار میں کمی۔ اس کام نے تصدیق کی کہ بغیر لیبل والے ڈیٹا پر بڑے پیمانے پر pre-training ہدف کاموں پر اعلی معیار حاصل کرنے کے لیے درکار لیبل شدہ ڈیٹا کی مقدار کو نمایاں طور پر کم کر سکتی ہے۔
  • بعد کی ترقی کی بنیاد۔ GPT-1 کے نتائج نے GPT خاندان کے ماڈلوں کے بعد کے ورژنوں (GPT-2، GPT-3 اور آگے) کے لیے تصوراتی اور تکنیکی بنیادیں رکھیں۔

GPT-2

ماڈل GPT-2 کا اعلان OpenAI نے 14 فروری 2019 کو کیا۔ یہ سائز میں اپنے پیشرو سے نمایاں طور پر آگے تھا: ماڈل کے مکمل ورژن میں تقریباً 1.5 ارب parameters تھے۔ حفاظتی وجوہات کی بنا پر OpenAI نے ابتدائی طور پر صرف ماڈل کے چھوٹے ورژن شائع کیے؛ مکمل ورژن (1.5 ارب parameters) 5 نومبر 2019 کو جاری کیا گیا۔ BookCorpus (~5 GB) پر تربیت یافتہ GPT-1 کے برعکس، GPT-2 کو خصوصی طور پر اکٹھے کیے گئے WebText corpus پر تربیت دی گئی جو تقریباً 40 GB حجم کا تھا اور اعلی معیار کے انٹرنیٹ ذرائع سے متنی ڈیٹا پر مشتمل تھا۔ ماڈل کے سائز اور تربیتی ڈیٹا کے حجم دونوں میں اضافے نے GPT-2 کو متن کی تخلیق کے معیار کو نمایاں طور پر بہتر کرنے کی اجازت دی: اس نے معنی خیز مضامین، کہانیاں اور یہاں تک کہ ادبی نثر کے مربوط اقتباسات تیار کرنے کی صلاحیت ظاہر کی۔

GPT-2 میں autoregressive decoder-transformer کی وہی architecture استعمال کی گئی جو GPT-1 میں تھی، بغیر کسی قابل ذکر تبدیلی کے۔ ماڈل 48 self-attention تہوں پر مشتمل تھا، hidden state کا سائز 1600 تھا اور اس میں تقریباً 1.5 ارب parameters شامل تھے۔ attention heads کی تعداد 25 تھی (GPT-1 سے ورثے میں ملے ہوئے 64 فی head کے سائز کو برقرار رکھتے ہوئے: 1600 ÷ 64 = 25)۔ تربیت masked attention mechanism کے استعمال کے ساتھ پچھلے سیاق و سباق کی بنیاد پر اگلے token کی پیش گوئی کے کام پر کی گئی۔

GPT-2 کی ایک اہم خصوصیت یہ تھی کہ ماڈل نے پہلی بار zero-shot learning طریقے میں اعلی کارکردگی ظاہر کی — نئے کاموں کو ان کاموں کے لیے مثالوں پر واضح fine-tuning کے بغیر حل کرنے کی صلاحیت۔ ماڈل کو عام متون کے ایک بڑے corpus پر تربیت دی گئی اور مخصوص کاموں کے ڈیٹا پر خصوصی تربیت نہیں دی گئی۔ تشخیص zero-shot طریقے میں کی گئی، جس میں ماڈل نے صرف pre-training کے دوران حاصل کردہ علم کی بنیاد پر کام انجام دیے۔ کچھ زبان ماڈلنگ کاموں میں GPT-2 نے ایسا معیار حاصل کیا جو خصوصی ڈیٹا سیٹس (مثلاً Wikipedia، خبریں، کتابیں) پر خصوصی طور پر تربیت یافتہ ماڈلوں کے نتائج کے برابر یا ان سے بہتر تھا۔

GPT-3

ماڈل GPT-3 کو OpenAI نے جون 2020 میں پیش کیا (arXiv پر مقالہ 28 مئی 2020 کو شائع ہوا، API تک beta رسائی 11 جون 2020 کو کھولی گئی)۔ یہ GPT-2 کے بعد generative transformers کی ترقی میں اگلا قدم بنا اور architecture کو 175 ارب parameters تک بڑھانے سے ممتاز تھا، جس نے اسے اس وقت سب سے بڑا زبانی ماڈل بنا دیا۔

GPT-3 کی architecture بنیادی طور پر پہلے جیسی رہی — کثیر تہوں والا autoregressive decoder-transformer بغیر کسی بنیادی تبدیلی کے۔ کارکردگی میں بنیادی بہتری تہوں کی تعداد، hidden تہوں کی چوڑائی اور تربیت کے پیمانے میں اضافے سے حاصل کی گئی۔ ماڈل کو Common Crawl، WebText2، Books1، Books2 اور Wikipedia سمیت کئی بڑے متنی مجموعوں کے ملاپ پر تربیت دی گئی۔ ڈیٹا کا کل حجم تقریباً 570 GB اور اس سے زیادہ تھا (570 GB فلٹر شدہ Common Crawl کا حصہ ہے جو تربیتی مرکب میں غالب ہے)۔

GPT-3 کی ایک اہم خصوصیت few-shot learning اور zero-shot learning کی صلاحیت تھی: ماڈل متنی درخواست میں صرف چند مثالوں یا بالکل بھی مثالوں کے بغیر قدرتی زبان پروسیسنگ کے وسیع کاموں کو انجام دے سکتا تھا، جن میں ترجمہ، خلاصہ نویسی، سوالوں کے جوابات، مضمون نویسی اور یہاں تک کہ پروگرامنگ شامل ہیں۔

GPT-3.5

ماڈل GPT-3.5 کو OpenAI نے 2022 کے اواخر میں GPT خاندان کی ارتقائی ترقی کے حصے کے طور پر پیش کیا۔ یہ GPT-3 میں استعمال شدہ scaled autoregressive decoder-transformer کی architecture کی بنیاد پر بنایا گیا، متن کی تخلیق کے معیار، سیاق و سباق کی پروسیسنگ اور پیچیدہ ہدایات پر عمل کرنے کی صلاحیت میں بہتری کے ساتھ۔ GPT-3.5 کے parameters کی صحیح تعداد سرکاری طور پر ظاہر نہیں کی گئی؛ بظاہر davinci ورژن GPT-3 (175 ارب) کے قریب ہیں، تاہم gpt-3.5-turbo ورژن کے صحیح parameters معلوم نہیں ہیں۔

GPT-3.5 کی تربیت میں text-davinci-003 اور gpt-3.5-turbo ورژنوں میں انسانی feedback سے Reinforcement Learning (Reinforcement Learning from Human Feedback، RLHF) کے طریقوں کا وسیع استعمال شامل تھا۔ اس کے ساتھ ہی پہلے کے text-davinci-002 ورژن کو RLHF کے بجائے supervised fine-tuning (SFT) سے تربیت دی گئی تھی۔ ماڈل کو Common Crawl، Books، WebText اور اعلی معیار کے دیگر ذرائع سمیت وسیع متنی مجموعوں پر تربیت دی گئی۔ ابتدائی مشہور ورژنوں (gpt-3.5-turbo) میں context window 4,096 tokens تھا؛ بعد میں OpenAI نے 16,385 tokens تک context کے ساتھ اپ ڈیٹ شدہ ورژن جاری کیے[10]۔

عملی طور پر GPT-3.5 کو قدرتی زبان پروسیسنگ کے وسیع کاموں کے حل کے لیے ڈھال لیا گیا، جیسے:

  • مربوط اور منطقی متن کی تخلیق؛
  • سوالوں کے جوابات (QA) اور سیاق و سباق کی سمجھ؛
  • کثیر مرحلی ہدایات پر عمل؛
  • مکالمات میں طویل مدتی سیاق و سباق کی بہتر حفاظت۔

GPT-3.5 کی بنیاد پر مختلف مقاصد کے لیے کئی اہم ورژن جاری کیے گئے:

  • text-davinci-002 — GPT-3.5 پر مبنی پہلا عام دستیاب ماڈل، تخلیق اور ہدایات پر عمل کے لیے بہتر بنایا گیا (SFT سے تربیت یافتہ)۔
  • text-davinci-003 — استدلال اور پیچیدہ متون کی تخلیق کی اور بھی زیادہ صلاحیت کے ساتھ بہتر ورژن (RLHF کے استعمال سے تربیت یافتہ)۔
  • gpt-3.5-turbo — GPT-3.5 کا سب سے زیادہ کارکردگی والا اور کفایتی ورژن جو 2022 کے اواخر سے ChatGPT سروس میں استعمال کیا گیا۔

GPT-4

ماڈل GPT-4 کو OpenAI نے 14 مارچ 2023 کو "GPT-4 Technical Report\" کے کام میں پیش کیا۔ یہ زبانی ماڈلوں کے خاندان کی ترقی کا اگلا مرحلہ بنا، جس نے متن کی سمجھ، معنی خیز اور تخلیقی جوابات کی تخلیق، اور multimodal ڈیٹا پروسیسنگ کے میدان میں نمایاں بہتری پیش کی۔ ماڈل کے parameters کی صحیح تعداد اور architectural تفصیلات سرکاری طور پر ظاہر نہیں کی گئیں — GPT-4 کی technical report واضح طور پر بتاتی ہے کہ architecture، ماڈل کے سائز، hardware، تربیت کے computational costs اور datasets کی تعمیر کے بارے میں معلومات شائع نہیں کی گئیں[11]۔ غیر سرکاری بیرونی اندازوں کے مطابق GPT-4 Mixture of Experts (MoE) کا طریقہ استعمال کر سکتا تھا اور اس کا کل پیمانہ تقریباً ~1.8 ٹریلین parameters کے قریب ہو سکتا تھا، تاہم OpenAI نے ان اعداد کو سرکاری طور پر نہ تصدیق کیا اور نہ تردید[12]۔

GPT-4 ایک multimodal ماڈل ہے جو متن اور تصاویر دونوں کو بطور input قبول کرنے کی صلاحیت رکھتا ہے۔ یہ نوٹ کرنا ضروری ہے کہ مارچ 2023 میں ابتدائی آغاز کے وقت صرف متنی طریقہ دستیاب تھا؛ تصاویر کے ان پٹ کی حمایت بعد میں شامل کی گئی۔ Context window بنیادی ورژن میں 8,192 tokens اور GPT-4-32k ورژن میں 32,768 tokens تھا۔ ماڈل نے RLHF (انسانی feedback سے Reinforcement Learning) کے طریقے استعمال کیے۔

GPT-4 کی تربیت بڑے پیمانے کے متنی اور multimodal مجموعوں کے ملاپ پر کی گئی۔ تربیتی ڈیٹا، hardware اور methodology کی مخصوص تفصیلات OpenAI کی سرکاری اشاعتوں میں ظاہر نہیں کی گئی ہیں۔

تربیت کئی مراحل میں ہوئی:

  • متون اور تصاویر پر بڑے پیمانے کی غیر نگران شدہ pre-training،
  • مخصوص کاموں پر supervised fine-tuning،
  • قابل اعتماد، حفاظت اور ہدایات کی تشریح کے معیار کو بڑھانے کے لیے انسانی feedback سے Reinforcement Learning (RLHF) کا حتمی مرحلہ۔

GPT-4 کی بنیاد پر کئی اہم ورژن جاری کیے گئے:

  • GPT-4 (مارچ 2023): متنی ان پٹ کی حمایت کے ساتھ بنیادی ورژن (تصاویر کی حمایت بعد میں شامل کی گئی)؛ context window 8,192 tokens؛ 32,768 tokens کے context کے ساتھ GPT-4-32k ورژن بھی جاری کیا گیا۔
  • GPT-4 Turbo (نومبر 2023): 128,000 tokens تک بڑھائے گئے context window کے ساتھ GPT-4 کا بہتر ورژن[13]؛ کم computational costs اور تیز تر تخلیق؛ function calling اور JSON output کے طریقوں کی حمایت۔
  • GPT-4o (مئی 2024): نئی نسل کا multimodal ورژن؛ launch اعلان میں اسے ایک omni ماڈل کے طور پر پیش کیا گیا جو متن، تصاویر اور آڈیو کے ساتھ حقیقی وقت میں کام کرنے کی صلاحیت رکھتا ہے (GPT-4 Turbo کے برعکس جہاں مختلف modalities الگ ماڈیولز سے ہینڈل کی جاتی تھیں)؛ اس کے ساتھ ہی بنیادی API ماڈل gpt-4o کو text+image input، text output کے طور پر بیان کیا گیا ہے؛ context window 128,000 tokens۔
  • GPT-4.5 (فروری 2025): تحقیقی پیش نظارہ (research preview)؛ OpenAI کے system card میں واضح طور پر بتایا گیا ہے کہ ماڈل «builds on GPT-4o»[3]؛ پیچیدہ متون کی بہتر تخلیق، ہدایات پر عمل کی بڑھی ہوئی درستگی اور hallucinations کی کم سطح؛ context window 128,000 tokens۔ اسے «OpenAI کا آخری ماڈل جس میں chain-of-thought نہیں» بتایا گیا (code name — Orion)[14]۔ API میں ماڈل gpt-4.5-preview کو 14 اپریل 2025 کو deprecated قرار دیا گیا اور 14 جولائی 2025 کو بند کر دیا گیا[4]۔
  • GPT-4.1 (اپریل 2025): 1,047,576 tokens تک context کی بنیادی توسیع کے ساتھ مستحکم ورژن؛ ان پٹ میں متن اور تصاویر قبول کرتا ہے، آؤٹ پٹ میں متن دیتا ہے[15]؛ ایک ساتھ تین ورژنوں میں جاری کیا گیا (GPT-4.1، GPT-4.1 mini، GPT-4.1 nano)؛ ابتدائی طور پر صرف API کے ذریعے دستیاب، بعد میں ChatGPT میں شامل کیا گیا۔

GPT-5

7 اگست 2025 کو OpenAI نے GPT‑5 کو اپنے اس وقت کے «سب سے ذہین، تیز اور مفید» ماڈل کے طور پر پیش کیا، جس میں گہرے استدلال (thinking) کا مدمج طریقہ اور عملی منظرناموں پر توجہ ہے — تحریر، پروگرامنگ، صحت کے ساتھ کام اور multimodal سمجھ۔ GPT‑5 بتدریج ChatGPT کے زیادہ تر مستند صارفین کے لیے ڈیفالٹ ماڈل بن گیا، جس نے GPT‑4/4o اور o-سیریز کے خاندان کے پہلے استعمال شدہ ماڈلوں کی جگہ لے لی۔[16]

GPT‑5 ایک یکجا نظام کے طور پر نافذ کیا گیا ہے جس میں کام کے دو بنیادی طریقے ہیں: روزمرہ کی درخواستوں کے لیے تیز، کفایتی جوابات (مشروط طور پر gpt‑5 main) اور پیچیدہ کاموں کے لیے گہرا استدلال (مشروط طور پر gpt‑5 thinking)۔ طریقے کا انتخاب خودکار طور پر ایک router کے ذریعے ہوتا ہے جو مکالمے کی نوع، درخواست کی پیچیدگی، ٹولز کی ضرورت اور صارف کے واضح اشارے (مثلاً «think step by step» یا «analyze in depth») کو مدنظر رکھتا ہے۔ ChatGPT میں صارف کے لیے Auto / Instant / Thinking / Pro طریقے دستیاب ہیں؛ mini اور nano ورژن بنیادی طور پر API ماڈل ہیں، جبکہ صارف پروڈکٹ میں mini کو حد ختم ہونے کے بعد fallback کے طور پر استعمال کیا جا سکتا ہے[17]۔

پروگرامنگ انٹرفیس کے ذریعے GPT‑5 کے کئی سائز اور configurations فراہم کیے جاتے ہیں؛ OpenAI کی documentation میں بنیادی ورژنوں کے طور پر gpt‑5، gpt‑5‑mini اور gpt‑5‑nano بتائے گئے ہیں (یہ سبھی متن اور بصری ڈیٹا کی حمایت کرتے ہیں)۔ API میں GPT‑5 خاندان کے لیے زیادہ سے زیادہ کل context window تقریباً 400,000 tokens ہے (ان پٹ اور استدلال/آؤٹ پٹ کے budgets کے ساتھ)، جبکہ مخصوص حدیں منتخب ماڈل ورژن اور پروڈکٹ کے لحاظ سے مختلف ہو سکتی ہیں[18]۔

کئی ویب سرچ اور حقیقت پر مبنی benchmarks پر GPT‑5 GPT‑4o اور OpenAI کے پہلے کے «thinking» ماڈلوں کے مقابلے میں hallucinations اور غلطیوں کی تعداد میں نمایاں کمی ظاہر کرتا ہے۔ OpenAI کے سرکاری اعلان میں GPT-4o کے مقابلے میں تقریباً 45٪ اور thinking طریقے میں o3 کے مقابلے میں تقریباً 80٪ غلطیوں میں کمی کے اندازے پیش کیے گئے — یہ نتائج مخصوص حالات میں حاصل کیے گئے: ویب سرچ فعال ہونے کے ساتھ، ChatGPT کے production traffic کی نمائندگی کرنے والے anonymized prompts پر[19]۔

GPT-5.1

ماڈل GPT-5.1 کو OpenAI نے 12 نومبر 2025 کو بنیادی GPT-5 کے بعد پہلی اہم iteration کے طور پر پیش کیا، جو روزمرہ کے تعامل، گفتگو کی فطری روانی اور موافقت پذیری کو بہتر بنانے پر مرکوز ہے۔ ماڈل تیز طریقے (GPT-5.1 Instant) اور گہرے استدلال (GPT-5.1 Thinking) کے ساتھ یکجا نظام کو برقرار رکھتا ہے، لیکن adaptive reasoning متعارف کراتا ہے: ماڈل درخواست کی پیچیدگی کے لحاظ سے computations کا حجم متحرک طور پر متعین کرتا ہے، جو اسے آسان کاموں پر پیچیدہ کاموں کی کوالٹی میں کمی کے بغیر نمایاں طور پر تیز بناتا ہے۔

GPT-5.1 کی تربیت GPT-5 کی بنیاد پر وسیع RLHF، لہجے کی فطری پن پر توجہ اور جوابات کی «سردی» میں کمی سمیت post-training کے اضافی مرحلے کے ساتھ بنائی گئی۔ API میں context window 400,000 tokens ہے، زیادہ سے زیادہ آؤٹ پٹ — 128,000 tokens[20]۔ 24 گھنٹوں تک prompt caching کی توسیع شدہ حمایت شامل ہوئی، جو کثیر مرحلی مکالمات میں لاگت اور تاخیر کو نمایاں طور پر کم کرتی ہے[21]۔

اہم خصوصیات:

  • GPT-5.1 Instant — روزمرہ کاموں کے لیے بنیادی طریقہ؛ پہلی بار adaptive reasoning استعمال کرتا ہے تاکہ یہ طے کیا جا سکے کہ زیادہ پیچیدہ درخواست پر جواب دینے سے پہلے «سوچنا» کب مناسب ہے[21]۔
  • GPT-5.1 Thinking — استدلال کے لیے وقت کی adaptive تخصیص؛ OpenAI کے ڈیٹا کے مطابق، ChatGPT کاموں کی نمائندہ تقسیم پر ماڈل GPT-5 Thinking کے مقابلے میں سب سے آسان کاموں پر تقریباً دو گنا تیز اور سب سے مشکل کاموں پر تقریباً دو گنا سست ہے[21]۔
  • بہتر multimodality (متن + vision)۔
  • coding اور agentic منظرنامے بہتر ہوئے، نیز adaptive reasoning اور extended prompt caching کی وجہ سے آسان کاموں پر کارکردگی بہتر ہوئی[22]۔

GPT-5.2

ماڈل GPT-5.2 کو 11 دسمبر 2025 کو «پیشہ ورانہ کام اور سیکھنے کے لیے سیریز کے سب سے قابل ماڈل» کے طور پر جاری کیا گیا۔ یہ GPT-5.1 کا ارتقاء ہے جس میں اقتصادی قدر پر زور ہے: جدولوں، پیشکشوں، پیچیدہ کوڈ، end-to-end کاموں کی تخلیق۔ Instant، Thinking اور نئے Pro (زیادہ سے زیادہ compute اور استدلال کے وقت کی ضرورت والے کاموں کے لیے) طریقوں کے ساتھ یکجا architecture کو برقرار رکھتا ہے۔

تربیت میں اگست 2025 کی knowledge cutoff کے ساتھ اپ ڈیٹ شدہ corpus، کثیر مرحلی منظرناموں میں غلطیوں کو کم کرنے کے لیے مضبوط instruction-tuning اور RLHF شامل تھا۔ Context — 400K tokens (128K max output)۔ ماڈل پیشہ ورانہ منظرناموں میں زیادہ قابل اعتماد ہو گیا، بہتر حقیقی درستگی اور ٹولز کے استعمال کے ساتھ۔

GPT-5.2 کی بنیاد پر 18 دسمبر 2025 کو خصوصی GPT-5.2-Codex جاری کیا گیا — بہتر context compaction، Windows کی حمایت، مضبوط cybersecurity اور long-horizon reasoning (کئی گھنٹوں تک کے کام) کے ساتھ ایک agentی coding ماڈل۔

13 فروری 2026 کی صورتحال تک، کچھ پرانے ماڈلوں کو ہٹانے کے بعد، GPT-5.2 عارضی طور پر ChatGPT میں ڈیفالٹ ماڈل بن گیا۔ تاہم مارچ 2026 کے آغاز تک یہ کردار GPT‑5.3 Instant اور GPT‑5.4 کو منتقل ہو گیا[17]۔

GPT-5.3-Codex

GPT-5.3-Codex کو 5 فروری 2026 کو «آج تک کا سب سے طاقتور agentی coding ماڈل» کے طور پر پیش کیا گیا۔ یہ GPT-5.2-Codex کی frontier-coding صلاحیتوں اور GPT-5.2 کے پیشہ ورانہ reasoning کو ایک ماڈل میں یکجا کرتا ہے، جو پیشروؤں سے 25٪ تیز ہے۔

ماڈل تقریباً ڈویلپر کے کسی بھی کام کو انجام دینے کی صلاحیت رکھتا ہے: long-running workflows، research، tool use، کوڈ کا عمل، interactive steering (صارف بغیر context کھوئے حقیقی وقت میں مداخلت کر سکتا ہے)۔ ماڈل کے ابتدائی ورژنوں کو OpenAI ٹیم نے اپنی تربیت، deployment اور evaluations کی debugging کے لیے استعمال کیا۔

5 فروری 2026 کے اعلان کے وقت اہم نتائج: Terminal-Bench ~77.3٪، OSWorld-Verified ~64.7٪، SWE-Bench Pro ~56.8٪۔ 5 مارچ 2026 کے GPT-5.4 کے بعد کے ریلیز میں OpenAI نے نئے API پیرامیٹر کے استعمال پر جو اصل تصویر کی resolution کو برقرار رکھتا ہے، GPT-5.3-Codex کے لیے OSWorld-Verified کا اپ ڈیٹ شدہ نتیجہ 74.0٪ پیش کیا[23][7]۔

12 فروری 2026 کو OpenAI نے Cerebras کے ساتھ شراکت میں GPT-5.3-Codex-Spark بھی جاری کیا — حقیقی وقت کے لیے بہتر بنایا گیا ایک compact ultra-fast ورژن: فی سیکنڈ 1000 سے زیادہ tokens، text-only، 128K context۔ آغاز میں یہ Codex میں ChatGPT Pro صارفین اور API design partners کی ایک چھوٹی تعداد کے لیے rollout تھا، نہ کہ وسیع پیمانے پر دستیاب API ماڈل[24]۔

GPT-5.4

5 مارچ 2026 کو OpenAI نے GPT‑5.4 کو پیشہ ورانہ کام کے لیے نئے frontier ماڈل کے طور پر پیش کیا۔ GPT‑5.4 reasoning، coding اور agentic workflows میں OpenAI کے حالیہ ریلیزز کی مضبوط جہتوں کو یکجا کرتا ہے اور پہلی بار بنیادی لائن اپ کے لیے computer use کی مدمج صلاحیتیں حاصل کیں۔ ایک ساتھ OpenAI نے GPT‑5.4 Pro جاری کیا — سب سے پیچیدہ کاموں کے لیے ایک ورژن جو زیادہ computations اور طویل استدلال استعمال کرتا ہے[7]۔

API میں ماڈل gpt-5.4 کو general-purpose اور coding کے وسیع کاموں کے لیے ڈیفالٹ کے طور پر تجویز کیا گیا ہے؛ context window 1,050,000 tokens ہے، زیادہ سے زیادہ آؤٹ پٹ — 128,000 tokens۔ ماڈل ان پٹ میں متن اور تصاویر قبول کرتا ہے اور آؤٹ پٹ میں متن دیتا ہے[8][25]۔

ChatGPT میں Auto طریقہ 7 مارچ 2026 کی صورتحال تک خودکار طور پر GPT‑5.3 Instant اور GPT‑5.4 Thinking کے درمیان سوئچ کرتا ہے، جبکہ GPT‑5.4 Pro ایک الگ high-capability طریقے کے طور پر دستیاب ہے۔ ChatGPT میں لاگ ان صارفین کے لیے ڈیفالٹ ماڈل GPT‑5.3 ہے[17]۔

GPT ماڈلوں کی ترقی

GPT ماڈلوں کی ترقی
نسل اجراء کا سال parameters کی تعداد متنی corpus کا حجم اہم خصوصیات
GPT-1 2018 ≈117–124 ملین[26] ≈5 GB (BooksCorpus) بڑے مجموعوں پر generative pre-training؛ دو مرحلی تربیت (pre-training + fine-tuning)
GPT-2 2019 1.5 ارب ≈40 GB (WebText) نمایاں طور پر بہتر متن کی تخلیق؛ مضبوط zero-shot رویے کا مظاہرہ؛ ابتدائی طور پر ماڈل کی جزوی اشاعت
GPT-3 2020 175 ارب ≈570 GB (Common Crawl, WebText2 وغیرہ) بڑے پیمانے کا in-context learning؛ fine-tuning کے بغیر few-shot اور zero-shot سیکھنے کی واضح صلاحیتیں
GPT-3.5 2022 ظاہر نہیں کیا گیا (davinci ورژن بظاہر ~175 ارب) >570 GB + اضافی مجموعے اور instruction tuning بہتر استحکام اور ہدایات پر عمل؛ ChatGPT کے ابتدائی ورژنوں کی بنیاد
GPT-4 2023 ظاہر نہیں کیا گیا[27] ظاہر نہیں کیا گیا Multimodality (متن + تصاویر)؛ بڑھی ہوئی درستگی اور hallucinations کے خلاف پائیداری؛ 8k/32k tokens کا context
GPT-4 Turbo 2023 ظاہر نہیں کیا گیا GPT-4 کی تربیت پر مبنی (تفصیلات ظاہر نہیں کی گئیں) Context کا 128,000 tokens تک اضافہ؛ تخلیق کی رفتار اور لاگت کی بہتری
GPT-4o 2024 ظاہر نہیں کیا گیا Multimodal ڈیٹا (متن، تصاویر، آڈیو) یکجا neural network multimodal پروسیسنگ؛ اعلی جواب دہی کی رفتار
GPT-4.5 2025 ظاہر نہیں کیا گیا توسیع شدہ متنی اور multimodal مجموعے GPT-4o کی بنیاد پر research preview؛ غلطیوں میں کمی؛ 2026 تک deprecated
GPT-4.1 2025 ظاہر نہیں کیا گیا اپ ڈیٹ شدہ مجموعے 1,047,576 tokens تک context؛ ان پٹ میں متن + تصاویر، آؤٹ پٹ میں متن
GPT-5 2025 (اگست) ظاہر نہیں کیا گیا بڑے پیمانے کے multimodal مجموعے تیز جواب اور استدلال کے طریقوں کے ساتھ یکجا نظام؛ ~400K tokens کا context؛ hallucinations میں کمی
GPT-5.1 2025 (نومبر) ظاہر نہیں کیا گیا GPT-5 کے توسیع شدہ مجموعے + RLHF Adaptive reasoning؛ 24h prompt caching؛ coding میں بہتری
GPT-5.2 2025 (دسمبر) ظاہر نہیں کیا گیا Knowledge cutoff اگست 2025 Pro طریقہ؛ professional knowledge work؛ GPT-5.2-Codex (agentی coding)
GPT-5.3-Codex 2026 (فروری) ظاہر نہیں کیا گیا اپ ڈیٹ شدہ + self-improvement data 25٪ تیز؛ full-spectrum agent؛ interactive steering
GPT-5.3-Codex-Spark 2026 (فروری) ظاہر نہیں کیا گیا Compact Cerebras پر >1000 t/s؛ real-time coding؛ 128K context
GPT-5.3 Instant 2026 (مارچ) ظاہر نہیں کیا گیا ظاہر نہیں کیا گیا ChatGPT کے سب سے زیادہ استعمال شدہ گفتگوئی ماڈل کی تازہ کاری؛ factuality، web search اور conversational flow میں بہتری
GPT-5.4 2026 (مارچ) ظاہر نہیں کیا گیا ظاہر نہیں کیا گیا پیشہ ورانہ کام کے لیے نیا frontier ماڈل؛ native computer use؛ API میں general-purpose اور زیادہ تر coding کاموں کے لیے ڈیفالٹ ماڈل
GPT-5.4 Pro 2026 (مارچ) ظاہر نہیں کیا گیا ظاہر نہیں کیا گیا سب سے پیچیدہ کاموں کے لیے زیادہ compute کے ساتھ GPT-5.4 کا ورژن

GPT ماڈلوں کے Architectural پیرامیٹرز

GPT ماڈلوں کے Architectural پیرامیٹرز
ماڈل اجراء کا سال Parameters کی تعداد تہوں کی تعداد Hidden state کا حجم Attention heads کی تعداد Context window تربیتی corpus کا حجم
GPT-1 2018 ≈117–124 ملین 12 768 12 512 tokens ≈5 GB (BooksCorpus)
GPT-2 2019 1.5 ارب 48 1,600 25 1,024 tokens ≈40 GB (WebText)
GPT-3 2020 175 ارب 96 12,288 96 2,048 tokens ≈570 GB (Common Crawl + WebText2 + دیگر)
GPT-3.5 2022 ظاہر نہیں کیا گیا (davinci ورژن بظاہر ~175 ارب) (اندازتاً GPT-3 کے قریب) (اندازتاً GPT-3 کے قریب) (ظاہر نہیں کیا گیا) 4,096 tokens تک (ابتدائی)؛ 16,385 tokens تک (بعد کے) توسیع شدہ Common Crawl + اضافی datasets اور instruction tuning
GPT-4 2023 ظاہر نہیں کیا گیا (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) 8,192 tokens (بنیادی)؛ 32,768 (GPT-4-32k) ظاہر نہیں کیا گیا
GPT-4 Turbo 2023 (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) 128,000 tokens تک GPT-4 کا بہتر ورژن (corpus کی تفصیلات ظاہر نہیں کی گئیں)
GPT-4o 2024 (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) 128,000 tokens تک Multimodal ڈیٹا: متن، تصاویر، آڈیو
GPT-4.5 2025 (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) 128,000 tokens تک اپ ڈیٹ شدہ متنی اور multimodal مجموعے
GPT-4.1 2025 (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) 1,047,576 tokens تک Multimodality؛ طویل contexts پر زور کے ساتھ بڑے پیمانے کی تربیت
GPT-5 2025 (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) ≈400,000 tokens تک (کل context) بڑے پیمانے کے multimodal مجموعے (تفصیلات ظاہر نہیں کی گئیں)
GPT-5.4 2026 (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) (ظاہر نہیں کیا گیا) 1,050,000 tokens؛ 128,000 max output ظاہر نہیں کیا گیا

حوالہ جات

  • «Improving language understanding with unsupervised learning»، OpenAI، 11 جون 2018
  • «Better language models and their implications»، OpenAI، 14 فروری 2019
  • «GPT-2: 6-month follow-up»، OpenAI، 20 اگست 2019
  • «GPT-2: 1.5B release»، OpenAI، 5 نومبر 2019
  • «Language models are few-shot learners»، OpenAI، 28 مئی 2020
  • «OpenAI API»، OpenAI، 11 جون 2020
  • «Introducing ChatGPT»، OpenAI، 30 نومبر 2022
  • «Function calling and other API updates»، OpenAI، 13 جون 2023
  • «GPT-4»، OpenAI، 14 مارچ 2023
  • «New models and developer products announced at DevDay»، OpenAI، 6 نومبر 2023
  • «Hello GPT-4o»، OpenAI، 13 مئی 2024
  • «Introducing GPT-4.1 in the API»، OpenAI، 14 اپریل 2025
  • «Introducing GPT-4.5»، OpenAI، 27 فروری 2025
  • «Introducing GPT-5»، OpenAI، 7 اگست 2025
  • «GPT-5.1: A smarter, more conversational ChatGPT»، OpenAI، 12 نومبر 2025
  • «Introducing GPT-5.2»، OpenAI، 11 دسمبر 2025
  • «Introducing GPT-5.2-Codex»، OpenAI، 18 دسمبر 2025
  • «Introducing GPT-5.3-Codex»، OpenAI، 5 فروری 2026
  • «Introducing GPT-5.3-Codex-Spark»، OpenAI، 12 فروری 2026
  • «GPT-5.3 Instant: Smoother, more useful everyday conversations»، OpenAI، 3 مارچ 2026
  • «Introducing GPT-5.4»، OpenAI، 5 مارچ 2026
  • «Using GPT-5.4»، OpenAI Developers
  • «Models»، OpenAI API
  • «Deprecations»، OpenAI API
  • «GPT-5.3 and GPT-5.4 in ChatGPT»، OpenAI Help Center
  • «Retiring GPT-4o and other ChatGPT models»، OpenAI Help Center

حواشی

  1. ↑ OpenAI. «Introducing GPT-5» (7 августа 2025). https://openai.com/index/introducing-gpt-5/
  2. ↑ OpenAI. «Introducing GPT-4.5» (2025). https://openai.com/index/introducing-gpt-4-5/
  3. ↑ 3.0 3.1 OpenAI. GPT-4.5 System Card (27 февраля 2025). https://cdn.openai.com/gpt-4-5-system-card-2272025.pdf
  4. ↑ 4.0 4.1 OpenAI Developers. Deprecations. https://developers.openai.com/api/docs/deprecations/
  5. ↑ OpenAI. «Introducing GPT-4.1 in the API» (2025).
  6. ↑ OpenAI. «GPT-5.3 Instant: Smoother, more useful everyday conversations» (3 марта 2026). https://openai.com/index/gpt-5-3-instant/
  7. ↑ 7.0 7.1 7.2 OpenAI. «Introducing GPT-5.4» (5 марта 2026). https://openai.com/index/introducing-gpt-5-4/
  8. ↑ 8.0 8.1 OpenAI Developers. «Using GPT-5.4». https://developers.openai.com/api/docs/guides/latest-model/
  9. ↑ Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
  10. ↑ OpenAI отмечала, что обновлённый GPT-3.5 Turbo «now comes by default with 16k context».
  11. ↑ OpenAI. «GPT-4 Technical Report» (2023). arXiv:2303.08774.
  12. ↑ Эти оценки основаны на данных, опубликованных SemiAnalysis и подтверждённых рядом независимых источников.
  13. ↑ Анонсирована на DevDay OpenAI 6 ноября 2023 года; общая доступность — с 9 апреля 2024 года.
  14. ↑ Кодовое имя Orion и характеристика «последняя модель без chain-of-thought» фигурировали в roadmap-коммуникации Сэма Альтмана и ряде медиа-публикаций (Reuters, The Verge), но не в самом launch post GPT-4.5.
  15. ↑ OpenAI. «Introducing GPT-4.1 in the API» (2025).
  16. ↑ OpenAI. «Introducing GPT-5» (7 августа 2025).
  17. ↑ 17.0 17.1 17.2 OpenAI Help Center. «GPT-5.3 and GPT-5.4 in ChatGPT». https://help.openai.com/en/articles/11909943-gpt-53-and-54-in-chatgpt
  18. ↑ OpenAI API documentation. Models: GPT-5.
  19. ↑ OpenAI. «Introducing GPT-5» (2025). Условия тестирования: «with web search enabled on anonymized prompts representative of ChatGPT production traffic».
  20. ↑ OpenAI Developers. Models: GPT-5.1. https://developers.openai.com/api/docs/models/gpt-5.1
  21. ↑ 21.0 21.1 21.2 OpenAI. «GPT-5.1: A smarter, more conversational ChatGPT» (12 ноября 2025). https://openai.com/index/gpt-5-1/
  22. ↑ OpenAI. «GPT-5.1 for developers» (2025). https://openai.com/index/gpt-5-1-for-developers/
  23. ↑ OpenAI. «Introducing GPT-5.3-Codex» (5 февраля 2026). https://openai.com/index/introducing-gpt-5-3-codex/
  24. ↑ OpenAI. «Introducing GPT-5.3-Codex-Spark» (12 февраля 2026). https://openai.com/index/introducing-gpt-5-3-codex-spark/
  25. ↑ OpenAI Developers. Models: GPT-5.4. https://developers.openai.com/api/docs/models/gpt-5.4
  26. ↑ Точное число параметров GPT-1 в разных источниках варьируется; исходная публикация не указывает число явно. Цифра ≈117 млн широко цитируется, а ≈124 млн фигурирует в ряде поздних материалов.
  27. ↑ По неофициальным внешним оценкам (SemiAnalysis и др.), возможно MoE-архитектура с суммарным масштабом ~1,8 трлн параметров; OpenAI эти данные не подтверждала.

کتابیات

  • Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. PDF.
  • Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
  • Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
  • Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
  • Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
  • Bai, Y. et al. (2022). Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. arXiv:2204.05862.
  • OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
  • Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
Retrieved from "https://systems-analysis.info/int/index.php?title=GPT_(OpenAI)_(UR)&oldid=2483"