GPT (OpenAI) (HE)

From Systems analysis Wiki
Jump to navigation Jump to search

GPT (Generative Pre-trained Transformer) — הוא משפחה של מודלי שפה גדולים (LLM), שפותחה על ידי חברת OpenAI. מודלי GPT בנויים על ארכיטקטורת transformers ומממשים את פרדיגמת האימון המקדים הגנרטיבי: בשלב הראשון המודל מתאמן על קורפוסים נרחבים של טקסטים ללא תיוג מפורש, ולאחר מכן ניתן לבצע לו fine-tuning למשימות ספציפיות. עבור דורות מאוחרים יותר (החל מ-GPT‑5) OpenAI משתמשת גם בניסוח מערכת מאוחדת (unified system), מכיוון שהמוצר משלב מצב תגובה מהיר, מצב של reasoning מעמיק ו-router[1].

שם המודל

ראשי התיבות GPT מתפרשים כ-Generative Pre-trained Transformer (טרנספורמר גנרטיבי מאומן מראש).

  • גנרטיבי (Generative): משמעותו שהמודל מסוגל ליצור (לייצר) תוכן חדש, לדוגמה, טקסט.
  • מאומן מראש (Pre-trained): מציין שהמודל עובר שלב התחלתי נרחב של אימון על מסת נתונים גדולה (לדוגמה, טקסטים מהאינטרנט). לאחר האימון המוקדם ניתן לעיתים קרובות לבצע fine-tuning למודל לביצוע משימות ספציפיות יותר.
  • Transformer: זהו שם הארכיטקטורה הספציפית של הרשת הנוירונית, שהיא החידוש המרכזי העומד בבסיס GPT ורבים ממודלי ה-AI המודרניים האחרים.

המאפיין העיקרי של GPT הוא שהאימון מתבצע בצורה אוטורגרסיבית — המודל מנבא את ה-token הבא על בסיס ההקשר הקודם. כלומר, המודל מתאמן למקסם את הסתברות ה-token הבא בהינתן רצף ה-tokenים הקודמים. במהלך האימון ממוזערת שגיאת הניבוי של האלמנט הבא, מה שמאפשר יצירת טקסטים בעלי קוהרנטיות וקשירות גבוהה.

תהליך יצירת הטקסט ב-GPT

מודל GPT מייצר טקסט באופן רציף, token אחר token, לפי הסכמה האיטרטיבית הבאה:

  • מקבל כקלט רצף טקסט התחלתי (prompt, seed text).
  • מחשב התפלגות הסתברות על כל ה-tokenים של המילון עבור האלמנט הבא בטקסט.
  • בוחר את ה-token הבא:
    • בין אם לפי ההסתברות הגבוהה ביותר (בחירה חמדנית),
    • בין אם בשיטת sampling סטוכסטי,
    • בין אם תוך שימוש באסטרטגיות סינון מיוחדות (top-k, top-p).
  • מוסיף את ה-token שנבחר לרצף הנוכחי.
  • הרצף המעודכן מוזן שוב כקלט למודל לניבוי ה-token הבא.

ארכיטקטורת ה-transformer: עיבוד טקסט

תהליך עיבוד הנתונים בתוך ה-transformer לניבוי ה-token הבא כולל מספר שלבים עיקריים:

  • Tokenization (טוקניזציה). טקסט הקלט מחולק ל-tokenים — יחידות טקסט קטנות שיכולות להיות מילים, חלקי מילים או סימני פיסוק. במודל GPT-3, לדוגמה, המילון כולל כ-50,257 tokenים.
  • Embeddings של tokenים. כל token מומר לוקטור באורך קבוע בעזרת מטריצת ה-embeddings (W_E). הוקטורים מקדדים את משמעות ה-tokenים: tokenים קרובים מבחינה סמנטית ממוקמים בסמיכות במרחב הרב-ממדי. במודל GPT-3 מימד ה-embeddings הוא 12,288.
  • עיבוד בשכבות ה-transformer.
    • בלוקי Attention: כל token מקיים אינטראקציה עם tokenים אחרים ברצף. מנגנון ה-attention מאפשר להתחשב בהקשר ולפרש כראוי את משמעות המילים.
    • שכבות Feed-Forward: לאחר ה-attention כל token מעובד בנפרד דרך רשת נוירונים דו-שכבתית עם הפעלה לא-לינארית.
  • המרה הפוכה ו-Softmax. לאחר כל השכבות הוקטור המעובד מומר בחזרה למרחב ה-tokenים בעזרת המטריצה (W_U), שהיא לעיתים קרובות גרסה מוחלפת (transpose) של W_E. וקטור ה-logits המתקבל מנורמל בעזרת פונקציית Softmax לקבלת התפלגות ההסתברות על כל ה-tokenים.
  • בחירת ה-token הבא (Sampling). ה-token הבא נבחר על בסיס התפלגות ההסתברויות. פרמטר הטמפרטורה (temperature) שולט באקראיות הבחירה: בטמפרטורה 0 נבחר ה-token הסביר ביותר, בטמפרטורות גבוהות יותר עולה הסבירות לבחירת אפשרויות פחות סבירות, דבר שתורם לגיוון גדול יותר של הטקסט.

מודלי GPT

  • GPT-1 (2018): המודל הראשון של המשפחה; decoder-only transformer בעל 12 שכבות; אימון בשני שלבים (pre-training + fine-tuning על משימות NLP).
  • GPT-2 (2019): 1.5 מיליארד פרמטרים; אימון על קורפוס WebText; ראשון שהפגין יצירת טקסטים ארוכים וקוהרנטיים; שיפור באיכות יצירת zero-shot. הוכרז ב-14 בפברואר 2019, הגרסה המלאה (1.5 מיליארד) פורסמה ב-5 בנובמבר 2019 משיקולי בטיחות.
  • GPT-3 (2020): 175 מיליארד פרמטרים; אימון נרחב על שילוב של Common Crawl, Books, Wikipedia; פיתוח משמעותי של יכולות few-shot ו-zero-shot.
  • GPT-3.5 (2022): גרסת ביניים בין GPT-3 ל-GPT-4; מעקב משופר אחר הוראות הודות לאימון עם משוב אנושי (RLHF) בגרסאות text-davinci-003 ו-gpt-3.5-turbo; חלון הקשר עד 4,096 tokenים בגרסאות מוקדמות ועד 16,385 tokenים בגרסאות מאוחרות יותר (gpt-3.5-turbo-16k ו-gpt-3.5-turbo המעודכן).
  • GPT-4 (2023): מודל מולטי-מודאלי עם קלט טקסטואלי וגרפי (תמיכה בתמונות הושקה מאוחר יותר, לאחר ההשקה הטקסטואלית); חלון הקשר של 8,192 tokenים בגרסה הבסיסית ו-32,768 tokenים בגרסת GPT-4-32k; שיפור משמעותי בדיוק, ביציבות ובהיגיון ההסקה.
  • GPT-4 Turbo (2023): גרסה מותאמת של GPT-4; חלון הקשר מורחב עד 128,000 tokenים; השהיות ועלויות הפעלה נמוכות יותר.
  • GPT-4o (2024): מודל מולטי-מודאלי דור חדש (טקסט, תמונה, שמע) עם ארכיטקטורת רשת נוירונית מאוחדת; מהירות ודיוק תגובות גבוהים מאוד; חלון הקשר של 128,000 tokenים.
  • GPT-4.5 (2025): תצוגה מקדימה לחוקרים (research preview); ב-system card של OpenAI מצוין שהמודל «builds on GPT-4o»[2][3]; הבנה משופרת של בקשות המשתמש, הפחתת שגיאות; חלון הקשר של 128,000 tokenים. ב-API המודל gpt-4.5-preview הוכרז כ-deprecated ב-14 באפריל 2025 והופסק ב-14 ביולי 2025[4].
  • GPT-4.1 (2025): גרסה משופרת של משפחת GPT-4 עם חלון הקשר של עד 1 מיליון tokenים; מקבל טקסט ותמונות כקלט, פולט טקסט[5]. שוחרר בו-זמנית בשלושה גרסאות: GPT-4.1, GPT-4.1 mini, GPT-4.1 nano.
  • GPT-5 (2025): מערכת מאוחדת עם מצבי תגובה מהירה ו-reasoning מעמיק; חלון הקשר של כ-400,000 tokenים; ירידה ניכרת בהזיות במשימות עובדתיות.
  • GPT-5.1 (2025): adaptive reasoning, שיפורים ב-coding וב-long-context retention.
  • GPT-5.2 (2025): דגש על עבודה מקצועית; מצב Pro למשימות frontier; על בסיס GPT-5.2 שוחרר ה-GPT-5.2-Codex האג'נטי.
  • GPT-5.3-Codex (2026): מודל coding אג'נטי המשלב יכולות coding ו-reasoning; מהיר ב-25% מקודמיו.
  • GPT-5.3 Instant (2026): עדכון למודל השיחה הנפוץ ביותר של ChatGPT; שוחרר ב-3 במרץ 2026. שופרו דיוק עובדתי, איכות חיפוש האינטרנט, רציפות הדיאלוג והופחתו סירובים מיותרים ואזהרות מוגזמות. ב-API זמין כ-gpt-5.3-chat-latest[6].
  • GPT-5.4 (2026): מודל ה-frontier של OpenAI לעבודה מקצועית, שהוצג ב-5 במרץ 2026; מודל ה-general-purpose הראשון של OpenAI עם יכולות computer use מובנות. ב-API gpt-5.4 מומלץ כמודל ברירת המחדל למגוון רחב של משימות general-purpose ו-coding[7][8].

GPT-1

המודל הראשון, GPT-1, הוצג על ידי חברת OpenAI בשנת 2018 במאמר \"Improving Language Understanding by Generative Pre-Training\". המודל היה decoder-only transformer בעל 12 שכבות[9] ונבנה על בסיס ארכיטקטורת ה-transformers. אימון GPT-1 עבר בשני שלבים: שלב של אימון מקדים גנרטיבי לא מפוקח (pre-training), שאחריו בא שלב של כיוון עדין מפוקח (fine-tuning).

בשלב האימון המקדים אומן המודל על קורפוס BookCorpus, הכולל יותר מ-7,000 ספרים לא מפורסמים מז'אנרים שונים. מאפיינו הייחודי של קורפוס זה היה קיומם של קטעי טקסט ארוכים ורציפים, שהיה קריטי לפיתוח יכולת המודל לעבד תלויות טקסטואליות מורכבות ורחוקות.

בשלב ה-fine-tuning המודל הותאם לפתרון משימות מתמחות בעיבוד שפה טבעית, כולל:

  • מענה לשאלות (Question Answering, QA) — יצירת תשובה נכונה על בסיס הקשר טקסטואלי נתון;
  • זיהוי השלכה טקסטואלית (Natural Language Inference, NLI) — קביעת הקשר ההגיוני בין שני טקסטים: השלכה, סתירה או ניטרליות;
  • הערכת דמיון סמנטי (Semantic Textual Similarity) — מדידת מידת הקרבה המשמעותית בין שתי רצפות טקסטואליות.

בזכות גישה זו, GPT-1 הפגין עליונות משמעותית על פני מודלים קודמים בשורה של benchmarks סטנדרטיים למשימות הבנת טקסט.

פיתוח GPT-1 הפגין מספר הישגים ותגליות מפתח בתחום עיבוד השפה הטבעית (NLP):

  • יעילות האימון המקדים הגנרטיבי. אומת אמפירית שאימון מקדים על קורפוסים גדולים של טקסט לא מתויג מאפשר למודל לרכוש ייצוגים לשוניים אוניברסליים, המתאימים לשימוש עתידי במשימות יישומיות שונות ללא צורך בשינויים ארכיטקטוניים יסודיים.
  • הגמישות של ארכיטקטורת ה-transformers. השימוש ב-transformer דקודר רב-שכבתי אפשר למודל לעבד בהצלחה תלויות ארוכות-טווח בטקסט, דבר שהיה קשה בעבר עבור מודלים מבוססי רשתות נוירוניות רקורנטיביות.
  • הפחתת התלות בתיוג נתונים. העבודה אישרה שאימון מקדים בקנה מידה גדול על נתונים לא מתויגים יכול להפחית משמעותית את כמות הנתונים המתויגים הדרושה להשגת איכות גבוהה במשימות היעד.
  • יסוד לפיתוח עתידי. תוצאות GPT-1 הניחו את הבסיס הרעיוני והטכני לגרסאות עוקבות של מודלי משפחת GPT (GPT-2, GPT-3 והלאה).

GPT-2

מודל GPT-2 הוכרז על ידי חברת OpenAI ב-14 בפברואר 2019. הוא עלה באופן משמעותי על קודמו מבחינת גודל: הגרסה המלאה של המודל הכילה כ-1.5 מיליארד פרמטרים. משיקולי בטיחות, OpenAI פרסמה בתחילה רק גרסאות מוקטנות של המודל; הגרסה המלאה (1.5 מיליארד פרמטרים) שוחררה ב-5 בנובמבר 2019. בשונה מ-GPT-1, שאומן על קורפוס BookCorpus (~5 GB), GPT-2 אומן על קורפוס WebText שנאסף במיוחד בהיקף של כ-40 GB, הכולל נתוני טקסט ממקורות אינטרנטיים באיכות גבוהה. הגדלת גודל המודל וגם נפח נתוני האימון אפשרה ל-GPT-2 לשפר משמעותית את איכות יצירת הטקסט: הוא הפגין יכולת ליצור מאמרים תוכנתיים, סיפורים ואפילו קטעי פרוזה ספרותית קוהרנטיים.

ב-GPT-2 יושמה ארכיטקטורת transformer-decoder אוטורגרסיבי, דומה ל-GPT-1, ללא שינויים מהותיים. המודל מורכב מ-48 שכבות self-attention, בעל גודל מצב נסתר של 1,600 וכולל כ-1.5 מיליארד פרמטרים. מספר ראשי ה-attention היה 25 (תוך שמירה על גודל 64 לכל ראש, שנורש מ-GPT-1: 1600 ÷ 64 = 25). האימון בוצע על משימת ניבוי ה-token הבא על בסיס ההקשר הקודם תוך שימוש במנגנון attention עם מסכה.

אחד ההבדלים העיקריים של GPT-2 היה שהמודל הפגין לראשונה יעילות גבוהה במצב zero-shot learning — היכולת לפתור משימות חדשות מבלי לעבור fine-tuning מפורש על דוגמאות לאותן משימות. המודל אומן על קורפוס טקסטים כלליים גדול ולא עבר אימון מתמחה על נתוני משימות ספציפיות. ההערכה בוצעה במצב zero-shot, שבו המודל ביצע משימות אך ורק על בסיס הידע שנרכש בתהליך האימון המקדים. במספר משימות של מידול שפה, GPT-2 השיג איכות דומה או עולה על תוצאות מודלים שאומנו במיוחד על מערכי נתונים מתמחים (לדוגמה, ויקיפדיה, טקסטים עיתונאיים, ספרים).

GPT-3

מודל GPT-3 הוצג על ידי חברת OpenAI ביוני 2020 (המאמר ב-arXiv הופיע ב-28 במאי 2020, גישת בטא ל-API נפתחה ב-11 ביוני 2020). הוא היווה את הצעד הבא בפיתוח ה-transformers הגנרטיביים לאחר GPT-2 והתאפיין בהרחבת הארכיטקטורה ל-175 מיליארד פרמטרים, מה שהפך אותו לאותה עת למודל השפה הגדול ביותר.

ארכיטקטורת GPT-3 נשארה בעיקרה ללא שינוי — transformer-decoder אוטורגרסיבי רב-שכבתי ללא שינויים מהותיים. שיפורי הביצועים העיקריים הושגו בזכות הגדלת מספר השכבות, רוחב השכבות הנסתרות וסדרי גודל האימון. המודל אומן על שילוב של מספר קורפוסים טקסטואליים גדולים, כולל Common Crawl, WebText2, Books1, Books2 וויקיפדיה. הנפח הכולל של הנתונים היה בסדר גודל של 570 GB ומעלה (570 GB מייצגים את החלק המסונן של Common Crawl, הדומיננטי בתמהיל האימון).

אחד המאפיינים העיקריים של GPT-3 היה יכולתו ל-few-shot learning ול-zero-shot learning: המודל יכול היה לבצע מגוון רחב של משימות עיבוד שפה טבעית, כולל תרגום, סיכום, מענה לשאלות, כתיבת חיבורים ואפילו תכנות, בהסתמך על מספר דוגמאות בלבד בבקשת הטקסט או ללא דוגמאות כלל.

GPT-3.5

מודל GPT-3.5 הוצג על ידי חברת OpenAI בסוף שנת 2022 כחלק מהפיתוח האבולוציוני של משפחת GPT. הוא נבנה על בסיס ארכיטקטורת ה-transformer-decoder האוטורגרסיבי המורחב ששימשה ב-GPT-3, עם שיפורים באיכות יצירת הטקסט, בעיבוד ההקשר וביכולת לעקוב אחר הוראות מורכבות. המספר המדויק של פרמטרי GPT-3.5 לא נחשף רשמית; ככל הנראה גרסאות ה-davinci דומות בגודלן ל-GPT-3 (175 מיליארד), אולם הפרמטרים המדויקים של גרסת gpt-3.5-turbo אינם ידועים.

אימון GPT-3.5 כלל שימוש מורחב בשיטות Reinforcement Learning from Human Feedback (RLHF) בגרסאות text-davinci-003 ו-gpt-3.5-turbo. יחד עם זאת, הגרסה המוקדמת יותר text-davinci-002 אומנה תוך שימוש ב-supervised fine-tuning (SFT) ולא ב-RLHF. המודל אומן על קורפוסים טקסטואליים מורחבים הכוללים Common Crawl, Books, WebText ומקורות איכותיים אחרים. חלון ההקשר בגרסאות הפופולריות המוקדמות (gpt-3.5-turbo) היה 4,096 tokenים; לאחר מכן OpenAI שחררה גרסאות מעודכנות עם הקשר של עד 16,385 tokenים[10].

בפועל, GPT-3.5 הותאם לפתרון מגוון רחב של משימות עיבוד שפה טבעית, כגון:

  • יצירת טקסט קוהרנטי והגיוני;
  • מענה לשאלות (QA) והבנת הקשר;
  • מעקב אחר הוראות רב-שלביות;
  • שמירה משופרת על הקשר ארוך-טווח בדיאלוגים.

על בסיס GPT-3.5 שוחררו מספר גרסאות מפתח המיועדות למטרות שונות:

  • text-davinci-002 — המודל הראשון הזמין לציבור המבוסס על GPT-3.5, מותאם ליצירה ומעקב אחר הוראות (אומן באמצעות SFT).
  • text-davinci-003 — גרסה משופרת עם יכולת גבוהה עוד יותר להסקה ויצירת טקסטים מורכבים (אומנה תוך שימוש ב-RLHF).
  • gpt-3.5-turbo — הגרסה הפרודוקטיבית והחסכונית ביותר של GPT-3.5, ששימשה בשירות ChatGPT מסוף שנת 2022.

GPT-4

מודל GPT-4 הוצג על ידי חברת OpenAI ב-14 במרץ 2023 במאמר "GPT-4 Technical Report\". הוא היווה את השלב הבא בפיתוח משפחת מודלי השפה, והציע שיפורים משמעותיים בתחום הבנת הטקסט, יצירת תגובות עם משמעות ויצירתיות, וכן עיבוד נתונים מולטי-מודאליים. המספר המדויק של הפרמטרים ופרטי הארכיטקטורה של המודל לא נחשפו רשמית — הדוח הטכני של GPT-4 מציין במפורש שמידע על הארכיטקטורה, גודל המודל, חומרה, עלויות חישוב האימון ובניית ה-datasets לא מפורסם[11]. על פי הערכות חיצוניות לא רשמיות, GPT-4 יתכן שהשתמש בגישת Mixture of Experts (MoE) ובעל סדר גודל כולל של ~1.8 טריליון פרמטרים, אולם OpenAI לא אישרה ולא הכחישה נתונים אלה רשמית[12].

GPT-4 הוא מודל מולטי-מודאלי המסוגל לקבל כקלט הן טקסט והן תמונות. ראוי לציין שבעת ההשקה הראשונית במרץ 2023 הייתה זמינה מודאליות הטקסט בלבד; תמיכה בקלט תמונות הושקה מאוחר יותר. חלון ההקשר היה 8,192 tokenים בגרסה הבסיסית ו-32,768 tokenים בגרסת GPT-4-32k. המודל השתמש בשיטות RLHF (אימון מחיזוק על בסיס משוב אנושי).

אימון GPT-4 בוצע על שילוב של קורפוסים טקסטואליים ומולטי-מודאליים בקנה מידה גדול. הפרטים הספציפיים של נתוני האימון, החומרה והמתודולוגיה אינם נחשפים בפרסומים הרשמיים של OpenAI.

האימון עבר מספר שלבים:

  • אימון מקדים לא מפוקח בקנה מידה גדול על טקסטים ותמונות,
  • fine-tuning מפוקח על משימות מתמחות,
  • שלב סופי של אימון מחיזוק על בסיס משוב אנושי (RLHF) לשיפור האמינות, הבטיחות ואיכות פרשנות ההוראות.

על בסיס GPT-4 שוחררו מספר גרסאות עיקריות:

  • GPT-4 (מרץ 2023): גרסה בסיסית עם תמיכה בקלט טקסטואלי (תמיכה בתמונות נוספה מאוחר יותר); חלון הקשר של 8,192 tokenים; שוחרר גם גרסת GPT-4-32k עם הקשר של 32,768 tokenים.
  • GPT-4 Turbo (נובמבר 2023): שינוי מותאם של GPT-4 עם חלון הקשר מורחב עד 128,000 tokenים[13]; עלויות חישוב מופחתות ויצירה מואצת; תמיכה במצבי קריאה לפונקציות (function calling) ופלט JSON.
  • GPT-4o (מאי 2024): גרסה מולטי-מודאלית דור חדש; בהכרזת ההשקה הוצג כמודל omni המסוגל לעבוד עם טקסט, תמונות ושמע בזמן אמת (בשונה מ-GPT-4 Turbo, שבו מודאליות שונות שירתו מודולים נפרדים); יחד עם זאת, מודל ה-API הבסיסי gpt-4o מתואר כ-text+image input, text output; חלון הקשר של 128,000 tokenים.
  • GPT-4.5 (פברואר 2025): תצוגה מקדימה לחוקרים (research preview); ב-system card של OpenAI מצוין במפורש שהמודל «builds on GPT-4o»[3]; יצירת טקסטים מורכבים משופרת, דיוק מוגבר בביצוע הוראות ורמת הזיות מופחתת; חלון הקשר של 128,000 tokenים. תואר כ«המודל האחרון של OpenAI ללא chain-of-thought» (שם קוד — Orion)[14]. ב-API המודל gpt-4.5-preview הוכרז כ-deprecated ב-14 באפריל 2025 והופסק ב-14 ביולי 2025[4].
  • GPT-4.1 (אפריל 2025): גרסה יציבה עם הרחבה מהותית של ההקשר עד 1,047,576 tokenים; מקבל טקסט ותמונות כקלט, פולט טקסט[15]; שוחרר בו-זמנית בשלושה גרסאות (GPT-4.1, GPT-4.1 mini, GPT-4.1 nano); בתחילה זמין רק דרך API, לאחר מכן הושק ב-ChatGPT.

GPT-5

ב-7 באוגוסט 2025 הציגה OpenAI את GPT‑5 כמודל ה«חכם, המהיר והשימושי» ביותר שלה באותה עת, עם מצב reasoning מעמיק מובנה (thinking) ומיקוד בתרחישים מעשיים — כתיבה, תכנות, עבודה עם בריאות והבנה מולטי-מודאלית. GPT‑5 הפך בהדרגה למודל ברירת המחדל עבור רוב המשתמשים המחוברים של ChatGPT, ועקר את מודלי משפחת GPT‑4/4o וסדרת o- שהשתמשו קודם לכן.[16]

GPT‑5 מממש כמערכת מאוחדת עם שני מצבי פעולה עיקריים: תגובות מהירות וחסכוניות לבקשות יומיומיות (בשם תצורתי gpt‑5 main) ו-reasoning מעמיק למשימות מורכבות (בשם תצורתי gpt‑5 thinking). בחירת המצב מתבצעת אוטומטית בעזרת router המתחשב בסוג הדיאלוג, מורכבות הבקשה, הצורך בכלים ורמזים מפורשים מהמשתמש (לדוגמה, «think step by step» או «analyze in depth»). ב-ChatGPT המשתמש יכול לגשת למצבים Auto / Instant / Thinking / Pro; הגרסאות mini ו-nano הן בעיקר מודלי API, ו-mini במוצר למשתמש עשוי לשמש כ-fallback לאחר מיצוי מגבלת השימוש[17].

דרך ממשק התכנות מסופקים מספר גדלים וקונפיגורציות של GPT‑5; בתיעוד OpenAI הגרסאות העיקריות הן gpt‑5, gpt‑5‑mini ו-gpt‑5‑nano (כולן תומכות בטקסט ובנתונים ויזואליים). חלון ההקשר המצטבר המרבי למשפחת GPT‑5 ב-API הוא כ-400,000 tokenים (עם חלוקת תקציבים לקלט ול-reasoning/פלט), כאשר המגבלות הספציפיות עשויות להשתנות בהתאם לגרסת המודל והמוצר שנבחרו[18].

במספר benchmarks של חיפוש אינטרנטי ועובדתי, GPT‑5 מפגין ירידה ניכרת בתדירות הזיות ושגיאות בהשוואה למודלי GPT‑4o ומודלי ה-thinking הקודמים של OpenAI. בהכרזה הרשמית OpenAI הציגה הערכות של ירידה בשגיאות של כ-45% בהשוואה ל-GPT-4o וכ-80% בהשוואה ל-o3 במצב thinking — תוצאות אלו התקבלו בתנאים ספציפיים: עם חיפוש אינטרנט מופעל על prompts מאונונימות שייצגו את תעבורת הייצור של ChatGPT[19].

GPT-5.1

מודל GPT-5.1 הוצג על ידי חברת OpenAI ב-12 בנובמבר 2025 כאיטרציה משמעותית ראשונה לאחר ה-GPT-5 הבסיסי, המכוונת לשיפור האינטראקציה היומיומית, שיחתיות והסתגלות. המודל שומר על המערכת המאוחדת עם מצב מהיר (GPT-5.1 Instant) ו-reasoning מעמיק (GPT-5.1 Thinking), אך מציג adaptive reasoning: המודל קובע דינמית את כמות החישוב בהתאם למורכבות הבקשה, מה שהופך אותו למהיר ניכר יותר במשימות פשוטות מבלי לאבד איכות במשימות מורכבות.

אימון GPT-5.1 נבנה על בסיס GPT-5 עם שלב post-training נוסף הכולל RLHF מורחב, דגש על טבעיות הטון והפחתת «קרירות» התגובות. חלון ההקשר ב-API הוא 400,000 tokenים, פלט מרבי — 128,000 tokenים[20]. נוספה תמיכה בשמירת prompt cache מורחבת עד 24 שעות, מה שמפחית משמעותית עלויות והשהיות בדיאלוגים רב-שלביים[21].

מאפיינים עיקריים:

  • GPT-5.1 Instant — המצב העיקרי למשימות יומיומיות; לראשונה משתמש ב-adaptive reasoning כדי לקבוע מתי כדאי «לחשוב» לפני תגובה לבקשה מורכבת יותר[21].
  • GPT-5.1 Thinking — הקצאת זמן הסקה אדפטיבית; לפי נתוני OpenAI, על התפלגות ייצוגית של משימות ChatGPT המודל מהיר בערך פי שניים במשימות הפשוטות ביותר ואיטי בערך פי שניים במשימות הקשות ביותר בהשוואה ל-GPT-5 Thinking[21].
  • מולטי-מודאליות משופרת (טקסט + vision).
  • שופרו תרחישי coding ו-agentic, וכן יעילות במשימות פשוטות בזכות adaptive reasoning ו-extended prompt caching[22].

GPT-5.2

מודל GPT-5.2 שוחרר ב-11 בדצמבר 2025 כ«המודל המסוגל ביותר בסדרה לעבודה מקצועית ולמידה». זוהי אבולוציה של GPT-5.1 עם דגש על ערך כלכלי: יצירת טבלאות, מצגות, קוד מורכב, משימות end-to-end. שומר על ארכיטקטורה מאוחדת עם מצבים Instant, Thinking ו-Pro חדש (למשימות הדורשות compute מרבי וזמן הסקה).

האימון כלל קורפוס מעודכן עם knowledge cutoff אוגוסט 2025, instruction-tuning מחוזק ו-RLHF להפחתת שגיאות בתרחישים רב-שלביים. הקשר — 400K tokenים (128K max output). המודל הפך אמין יותר בתרחישים מקצועיים, עם דיוק עובדתי טוב יותר ושימוש בכלים.

על בסיס GPT-5.2, ב-18 בדצמבר 2025, שוחרר GPT-5.2-Codex מתמחה — מודל coding אג'נטי עם דחיסת הקשר (context compaction) משופרת, תמיכה ב-Windows, אבטחת סייבר מחוזקת ו-long-horizon reasoning (משימות של מספר שעות).

נכון ל-13 בפברואר 2026, לאחר הוצאה משימוש של מספר מודלים ישנים, GPT-5.2 הפך זמנית למודל ברירת המחדל ב-ChatGPT. אולם כבר לתחילת מרץ 2026 עברה תפקיד זה ל-GPT‑5.3 Instant ו-GPT‑5.4[17].

GPT-5.3-Codex

GPT-5.3-Codex הוצג ב-5 בפברואר 2026 כ«מודל ה-coding האג'נטי החזק ביותר כיום». זהו שילוב של יכולות ה-coding ה-frontier של GPT-5.2-Codex עם ה-reasoning המקצועי של GPT-5.2 במודל מאוחד, שמהיר ב-25% מקודמיו.

המודל מסוגל לבצע כמעט כל משימת מפתח: long-running workflows, research, שימוש בכלים, הרצת קוד, interactive steering (המשתמש יכול להתערב בזמן אמת ללא אובדן הקשר). גרסאות מוקדמות של המודל שימשו את צוות OpenAI לניפוי באגים באימון, deployment ו-evaluations שלהם.

תוצאות מפתח במועד ההכרזה ב-5 בפברואר 2026: Terminal-Bench ~77.3%, OSWorld-Verified ~64.7%, SWE-Bench Pro ~56.8%. בגרסה מאוחרת יותר GPT-5.4 מ-5 במרץ 2026, OpenAI הציגה תוצאה מעודכנת של OSWorld-Verified 74.0% עבור GPT-5.3-Codex בשימוש בפרמטר API חדש השומר על רזולוציית תמונה מקורית[23][7].

ב-12 בפברואר 2026 OpenAI שחררה גם GPT-5.3-Codex-Spark — גרסה קומפקטית ultra-fast בשיתוף עם Cerebras, מותאמת לזמן אמת: יותר מ-1000 tokenים בשנייה, text-only, הקשר 128K. בתחילה זה היה rollout למשתמשי ChatGPT Pro ב-Codex ומספר קטן של שותפי עיצוב API, ולא מודל API זמין לציבור הרחב[24].

GPT-5.4

ב-5 במרץ 2026 הציגה OpenAI את GPT‑5.4 כמודל ה-frontier החדש לעבודה מקצועית. GPT‑5.4 משלב את החוזקות של הגרסאות האחרונות של OpenAI ב-reasoning, coding ו-agentic workflows, וקיבל לראשונה בקו המוצרים הראשי יכולות computer use מובנות. בו-זמנית שחררה OpenAI את GPT‑5.4 Pro — גרסה למשימות המורכבות ביותר, המשתמשת ביותר חישוב ו-reasoning ממושך יותר[7].

ב-API המודל gpt-5.4 מתואר כמומלץ כברירת מחדל למגוון רחב של משימות general-purpose ו-coding; חלון ההקשר הוא 1,050,000 tokenים, פלט מרבי — 128,000 tokenים. המודל מקבל טקסט ותמונות כקלט ופולט טקסט כפלט[8][25].

ב-ChatGPT המצב Auto נכון ל-7 במרץ 2026 עובר אוטומטית בין GPT‑5.3 Instant ל-GPT‑5.4 Thinking, בעוד ש-GPT‑5.4 Pro זמין כמצב high-capability נפרד. עבור משתמשים מחוברים של ChatGPT, מודל ברירת המחדל הוא GPT‑5.3[17].

פיתוח מודלי GPT

פיתוח מודלי GPT
דור שנת שחרור מספר פרמטרים גודל קורפוס הטקסטים מאפיינים עיקריים
GPT-1 2018 ≈117–124 מיליון[26] ≈5 GB (BooksCorpus) אימון מקדים גנרטיבי על קורפוסים גדולים; אימון דו-שלבי (pre-training + fine-tuning)
GPT-2 2019 1.5 מיליארד ≈40 GB (WebText) יצירת טקסט משופרת משמעותית; הפגנת התנהגות zero-shot חזקה; פרסום חלקי של המודל בתחילה
GPT-3 2020 175 מיליארד ≈570 GB (Common Crawl, WebText2 ואחרים) in-context learning בקנה מידה גדול; יכולות בולטות של few-shot ו-zero-shot ללא fine-tuning
GPT-3.5 2022 לא נחשף (גרסאות davinci ככל הנראה ~175 מיליארד) >570 GB + קורפוסים נוספים ו-instruction tuning יציבות משופרת ומעקב אחר הוראות; בסיס לגרסאות המוקדמות של ChatGPT
GPT-4 2023 לא נחשף[27] לא נחשף מולטי-מודאליות (טקסט + תמונות); דיוק מוגבר ועמידות גבוהה יותר להזיות; הקשר 8k/32k tokenים
GPT-4 Turbo 2023 לא נחשף מבוסס על אימון GPT-4 (פרטים לא נחשפו) הרחבת הקשר עד 128,000 tokenים; אופטימיזציה של מהירות ועלות היצירה
GPT-4o 2024 לא נחשף נתוני מולטי-מודאליות (טקסט, תמונות, שמע) עיבוד מולטי-מודאלי מאוחד ברשת נוירונית; מהירות תגובה גבוהה
GPT-4.5 2025 לא נחשף קורפוסים טקסטואליים ומולטי-מודאליים מורחבים research preview על בסיס GPT-4o; הפחתת שגיאות; deprecated לקראת 2026
GPT-4.1 2025 לא נחשף קורפוסים מעודכנים הקשר עד 1,047,576 tokenים; טקסט + תמונות כקלט, טקסט כפלט
GPT-5 2025 (אוגוסט) לא נחשף קורפוסים מולטי-מודאליים בקנה מידה גדול מערכת מאוחדת עם מצבי תגובה מהירה ו-reasoning; הקשר ~400K tokenים; הפחתת הזיות
GPT-5.1 2025 (נובמבר) לא נחשף קורפוסים מורחבים של GPT-5 + RLHF adaptive reasoning; prompt caching ל-24 שעות; שיפורים ב-coding
GPT-5.2 2025 (דצמבר) לא נחשף knowledge cutoff אוגוסט 2025 מצב Pro; עבודת knowledge מקצועית; GPT-5.2-Codex (coding אג'נטי)
GPT-5.3-Codex 2026 (פברואר) לא נחשף נתונים מעודכנים + self-improvement data מהיר ב-25%; agent ספקטרום מלא; interactive steering
GPT-5.3-Codex-Spark 2026 (פברואר) לא נחשף קומפקטי >1000 t/s על Cerebras; coding בזמן אמת; הקשר 128K
GPT-5.3 Instant 2026 (מרץ) לא נחשף לא נחשף עדכון למודל השיחה הנפוץ ביותר של ChatGPT; שופרו factuality, web search ו-conversational flow
GPT-5.4 2026 (מרץ) לא נחשף לא נחשף מודל frontier חדש לעבודה מקצועית; native computer use; מודל ברירת מחדל ב-API למשימות general-purpose ורוב משימות ה-coding
GPT-5.4 Pro 2026 (מרץ) לא נחשף לא נחשף גרסת GPT-5.4 עם compute גדול יותר למשימות המורכבות ביותר

פרמטרים ארכיטקטוניים של מודלי GPT

פרמטרים ארכיטקטוניים של מודלי GPT
מודל שנת שחרור מספר פרמטרים מספר שכבות גודל המצב הנסתר מספר ראשי attention חלון הקשר גודל קורפוס האימון
GPT-1 2018 ≈117–124 מיליון 12 768 12 512 tokenים ≈5 GB (BooksCorpus)
GPT-2 2019 1.5 מיליארד 48 1,600 25 1,024 tokenים ≈40 GB (WebText)
GPT-3 2020 175 מיליארד 96 12,288 96 2,048 tokenים ≈570 GB (Common Crawl + WebText2 + אחרים)
GPT-3.5 2022 לא נחשף (גרסאות davinci ככל הנראה ~175 מיליארד) (להערכה קרוב ל-GPT-3) (להערכה קרוב ל-GPT-3) (לא נחשף) עד 4,096 tokenים (מוקדמות); עד 16,385 tokenים (מאוחרות) Common Crawl מורחב + datasets נוספים ו-instruction tuning
GPT-4 2023 לא נחשף (לא נחשף) (לא נחשף) (לא נחשף) 8,192 tokenים (בסיסי); 32,768 (GPT-4-32k) לא נחשף
GPT-4 Turbo 2023 (לא נחשף) (לא נחשף) (לא נחשף) (לא נחשף) עד 128,000 tokenים גרסה מותאמת של GPT-4 (פרטי קורפוס לא נחשפו)
GPT-4o 2024 (לא נחשף) (לא נחשף) (לא נחשף) (לא נחשף) עד 128,000 tokenים נתוני מולטי-מודאליות: טקסט, תמונות, שמע
GPT-4.5 2025 (לא נחשף) (לא נחשף) (לא נחשף) (לא נחשף) עד 128,000 tokenים קורפוסים טקסטואליים ומולטי-מודאליים מעודכנים
GPT-4.1 2025 (לא נחשף) (לא נחשף) (לא נחשף) (לא נחשף) עד 1,047,576 tokenים מולטי-מודאליות; אימון מורחב עם דגש על הקשרים ארוכים
GPT-5 2025 (לא נחשף) (לא נחשף) (לא נחשף) (לא נחשף) עד ≈400,000 tokenים (הקשר כולל) קורפוסים מולטי-מודאליים בקנה מידה גדול (פרטים לא נחשפו)
GPT-5.4 2026 (לא נחשף) (לא נחשף) (לא נחשף) (לא נחשף) 1,050,000 tokenים; 128,000 max output לא נחשף

קישורים

  • «Improving language understanding with unsupervised learning», OpenAI, 11 ביוני 2018
  • «Better language models and their implications», OpenAI, 14 בפברואר 2019
  • «GPT-2: 6-month follow-up», OpenAI, 20 באוגוסט 2019
  • «GPT-2: 1.5B release», OpenAI, 5 בנובמבר 2019
  • «Language models are few-shot learners», OpenAI, 28 במאי 2020
  • «OpenAI API», OpenAI, 11 ביוני 2020
  • «Introducing ChatGPT», OpenAI, 30 בנובמבר 2022
  • «Function calling and other API updates», OpenAI, 13 ביוני 2023
  • «GPT-4», OpenAI, 14 במרץ 2023
  • «New models and developer products announced at DevDay», OpenAI, 6 בנובמבר 2023
  • «Hello GPT-4o», OpenAI, 13 במאי 2024
  • «Introducing GPT-4.1 in the API», OpenAI, 14 באפריל 2025
  • «Introducing GPT-4.5», OpenAI, 27 בפברואר 2025
  • «Introducing GPT-5», OpenAI, 7 באוגוסט 2025
  • «GPT-5.1: A smarter, more conversational ChatGPT», OpenAI, 12 בנובמבר 2025
  • «Introducing GPT-5.2», OpenAI, 11 בדצמבר 2025
  • «Introducing GPT-5.2-Codex», OpenAI, 18 בדצמבר 2025
  • «Introducing GPT-5.3-Codex», OpenAI, 5 בפברואר 2026
  • «Introducing GPT-5.3-Codex-Spark», OpenAI, 12 בפברואר 2026
  • «GPT-5.3 Instant: Smoother, more useful everyday conversations», OpenAI, 3 במרץ 2026
  • «Introducing GPT-5.4», OpenAI, 5 במרץ 2026
  • «Using GPT-5.4», OpenAI Developers
  • «Models», OpenAI API
  • «Deprecations», OpenAI API
  • «GPT-5.3 and GPT-5.4 in ChatGPT», OpenAI Help Center
  • «Retiring GPT-4o and other ChatGPT models», OpenAI Help Center

הערות

  1. ↑ OpenAI. «Introducing GPT-5» (7 августа 2025). https://openai.com/index/introducing-gpt-5/
  2. ↑ OpenAI. «Introducing GPT-4.5» (2025). https://openai.com/index/introducing-gpt-4-5/
  3. ↑ 3.0 3.1 OpenAI. GPT-4.5 System Card (27 февраля 2025). https://cdn.openai.com/gpt-4-5-system-card-2272025.pdf
  4. ↑ 4.0 4.1 OpenAI Developers. Deprecations. https://developers.openai.com/api/docs/deprecations/
  5. ↑ OpenAI. «Introducing GPT-4.1 in the API» (2025).
  6. ↑ OpenAI. «GPT-5.3 Instant: Smoother, more useful everyday conversations» (3 марта 2026). https://openai.com/index/gpt-5-3-instant/
  7. ↑ 7.0 7.1 7.2 OpenAI. «Introducing GPT-5.4» (5 марта 2026). https://openai.com/index/introducing-gpt-5-4/
  8. ↑ 8.0 8.1 OpenAI Developers. «Using GPT-5.4». https://developers.openai.com/api/docs/guides/latest-model/
  9. ↑ Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
  10. ↑ OpenAI отмечала, что обновлённый GPT-3.5 Turbo «now comes by default with 16k context».
  11. ↑ OpenAI. «GPT-4 Technical Report» (2023). arXiv:2303.08774.
  12. ↑ Эти оценки основаны на данных, опубликованных SemiAnalysis и подтверждённых рядом независимых источников.
  13. ↑ Анонсирована на DevDay OpenAI 6 ноября 2023 года; общая доступность — с 9 апреля 2024 года.
  14. ↑ Кодовое имя Orion и характеристика «последняя модель без chain-of-thought» фигурировали в roadmap-коммуникации Сэма Альтмана и ряде медиа-публикаций (Reuters, The Verge), но не в самом launch post GPT-4.5.
  15. ↑ OpenAI. «Introducing GPT-4.1 in the API» (2025).
  16. ↑ OpenAI. «Introducing GPT-5» (7 августа 2025).
  17. ↑ 17.0 17.1 17.2 OpenAI Help Center. «GPT-5.3 and GPT-5.4 in ChatGPT». https://help.openai.com/en/articles/11909943-gpt-53-and-54-in-chatgpt
  18. ↑ OpenAI API documentation. Models: GPT-5.
  19. ↑ OpenAI. «Introducing GPT-5» (2025). Условия тестирования: «with web search enabled on anonymized prompts representative of ChatGPT production traffic».
  20. ↑ OpenAI Developers. Models: GPT-5.1. https://developers.openai.com/api/docs/models/gpt-5.1
  21. ↑ 21.0 21.1 21.2 OpenAI. «GPT-5.1: A smarter, more conversational ChatGPT» (12 ноября 2025). https://openai.com/index/gpt-5-1/
  22. ↑ OpenAI. «GPT-5.1 for developers» (2025). https://openai.com/index/gpt-5-1-for-developers/
  23. ↑ OpenAI. «Introducing GPT-5.3-Codex» (5 февраля 2026). https://openai.com/index/introducing-gpt-5-3-codex/
  24. ↑ OpenAI. «Introducing GPT-5.3-Codex-Spark» (12 февраля 2026). https://openai.com/index/introducing-gpt-5-3-codex-spark/
  25. ↑ OpenAI Developers. Models: GPT-5.4. https://developers.openai.com/api/docs/models/gpt-5.4
  26. ↑ Точное число параметров GPT-1 в разных источниках варьируется; исходная публикация не указывает число явно. Цифра ≈117 млн широко цитируется, а ≈124 млн фигурирует в ряде поздних материалов.
  27. ↑ По неофициальным внешним оценкам (SemiAnalysis и др.), возможно MoE-архитектура с суммарным масштабом ~1,8 трлн параметров; OpenAI эти данные не подтверждала.

ספרות

  • Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. PDF.
  • Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
  • Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
  • Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
  • Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
  • Bai, Y. et al. (2022). Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. arXiv:2204.05862.
  • OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
  • Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
Retrieved from "https://systems-analysis.info/int/index.php?title=GPT_(OpenAI)_(HE)&oldid=2471"