GPT (OpenAI) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

GPT (Generative Pre-trained Transformer) — adalah keluarga model bahasa besar (LLM) yang dikembangkan oleh perusahaan OpenAI. Model GPT dibangun di atas arsitektur transformer dan mengimplementasikan paradigma pre-training generatif: pada tahap pertama model dilatih pada korpus teks yang luas tanpa pelabelan eksplisit, kemudian dapat di-fine-tune untuk tugas-tugas tertentu. Untuk generasi terbaru (mulai dari GPT‑5), OpenAI juga menggunakan istilah sistem terpadu (unified system), karena produk ini menggabungkan mode respons cepat, mode penalaran mendalam (reasoning), dan router[1].

Penamaan

Singkatan GPT merupakan kepanjangan dari Generative Pre-trained Transformer (Transformer Generatif yang Dilatih Sebelumnya).

  • Generatif (Generative): berarti model mampu membuat (menghasilkan) konten baru, misalnya teks.
  • Dilatih Sebelumnya (Pre-trained): menunjukkan bahwa model melewati tahap pelatihan awal yang ekstensif pada kumpulan data besar (misalnya, teks dari internet). Setelah pre-training, model sering dapat di-fine-tune lebih lanjut untuk menjalankan tugas-tugas yang lebih spesifik.
  • Transformer (Transformer): ini adalah nama arsitektur jaringan neural tertentu yang menjadi inovasi kunci yang mendasari GPT dan banyak model AI modern lainnya.

Keistimewaan utama GPT terletak pada fakta bahwa pelatihan dilakukan dalam bentuk autoregresif — model memprediksi token berikutnya berdasarkan konteks sebelumnya. Artinya, model dilatih untuk memaksimalkan probabilitas token berikutnya dengan mengetahui urutan token-token sebelumnya. Selama pelatihan, kesalahan prediksi elemen berikutnya diminimalkan, yang memungkinkan pembentukan teks dengan koherensi dan keterhubungan yang tinggi.

Proses Generasi Teks dalam GPT

Model GPT menghasilkan teks secara berurutan, token demi token, mengikuti skema iteratif berikut:

  • Menerima urutan teks awal sebagai input (prompt, seed text).
  • Menghitung distribusi probabilistik atas semua token kosakata untuk elemen teks berikutnya.
  • Memilih token berikutnya:
    • baik berdasarkan probabilitas tertinggi (greedy selection),
    • maupun dengan metode stochastic sampling (sampling),
    • maupun dengan menggunakan strategi penyaringan khusus (top-k, top-p).
  • Menambahkan token yang dipilih ke urutan saat ini.
  • Urutan yang diperbarui dimasukkan kembali ke model untuk memprediksi token berikutnya.

Arsitektur Transformer: Pemrosesan Teks

Proses pengolahan data di dalam transformer untuk memprediksi token berikutnya mencakup beberapa tahap utama:

  • Tokenisasi (Tokenization). Teks input dipecah menjadi token — unit-unit kecil teks yang dapat berupa kata, bagian kata, atau tanda baca. Dalam model GPT-3, misalnya, kosakata mencakup sekitar 50.257 token.
  • Embedding Token (Embeddings). Setiap token diubah menjadi vektor berdimensi tetap menggunakan matriks embedding (W_E). Vektor-vektor menyandikan makna token: token yang secara semantik berdekatan terletak berdekatan dalam ruang berdimensi tinggi. Dalam model GPT-3, dimensi embedding adalah 12.288.
  • Pemrosesan dalam lapisan transformer.
    • Blok Perhatian (Attention Blocks): Setiap token berinteraksi dengan token-token lain dalam urutan. Mekanisme attention memungkinkan mempertimbangkan konteks dan menafsirkan makna kata dengan benar.
    • Lapisan Fully-Connected (Feed-Forward Layers): Setelah attention, setiap token diproses secara terpisah melalui jaringan neural dua lapis dengan aktivasi non-linear.
  • Transformasi Balik dan Softmax. Setelah semua lapisan, vektor yang telah diproses diubah kembali ke ruang token menggunakan matriks (W_U), yang sering merupakan versi transpos dari W_E. Vektor logit yang dihasilkan dinormalisasi menggunakan fungsi Softmax untuk mendapatkan distribusi probabilistik atas semua token.
  • Pemilihan Token Berikutnya (Sampling). Token berikutnya dipilih berdasarkan distribusi probabilitas. Parameter suhu (temperature) mengontrol keacakan pemilihan: pada suhu 0 dipilih token yang paling mungkin, pada suhu yang lebih tinggi probabilitas pemilihan variasi yang kurang mungkin meningkat, yang mendorong keberagaman teks yang lebih besar.

Model-model GPT

  • GPT-1 (2018): model pertama dari keluarga ini; transformer decoder-only 12 lapisan; pelatihan dua tahap (pre-training + fine-tuning pada tugas NLP).
  • GPT-2 (2019): 1,5 miliar parameter; pelatihan pada korpus WebText; pertama kali mampu menghasilkan teks panjang yang koheren; peningkatan kualitas generasi zero-shot. Diumumkan pada 14 Februari 2019, versi lengkap (1,5 miliar) diterbitkan pada 5 November 2019 karena pertimbangan keamanan.
  • GPT-3 (2020): 175 miliar parameter; pelatihan berskala besar pada gabungan Common Crawl, Books, Wikipedia; pengembangan signifikan kemampuan few-shot dan zero-shot.
  • GPT-3.5 (2022): versi perantara antara GPT-3 dan GPT-4; peningkatan kemampuan mengikuti instruksi berkat pelatihan dengan umpan balik manusia (RLHF) pada versi text-davinci-003 dan gpt-3.5-turbo; jendela konteks hingga 4.096 token pada versi awal dan hingga 16.385 token pada versi selanjutnya (gpt-3.5-turbo-16k dan gpt-3.5-turbo yang diperbarui).
  • GPT-4 (2023): model multimodal dengan input teks dan gambar (dukungan gambar diluncurkan belakangan, setelah peluncuran teks); jendela konteks 8.192 token pada versi dasar dan 32.768 token pada varian GPT-4-32k; peningkatan signifikan dalam akurasi, ketahanan, dan logika penalaran.
  • GPT-4 Turbo (2023): versi GPT-4 yang dioptimalkan; jendela konteks yang diperbesar hingga 128.000 token; latensi dan biaya operasi yang lebih rendah.
  • GPT-4o (2024): model multimodal generasi baru (teks, gambar, audio) dengan arsitektur jaringan neural terpadu; kecepatan dan akurasi respons yang sangat tinggi; jendela konteks 128.000 token.
  • GPT-4.5 (2025): pratinjau penelitian (research preview); dalam system card OpenAI menyatakan bahwa model "builds on GPT-4o"[2][3]; pemahaman permintaan pengguna yang lebih baik, pengurangan jumlah kesalahan; jendela konteks 128.000 token. Dalam API, model gpt-4.5-preview dinyatakan deprecated pada 14 April 2025 dan dinonaktifkan pada 14 Juli 2025[4].
  • GPT-4.1 (2025): versi yang ditingkatkan dari keluarga GPT-4 dengan jendela konteks hingga 1 juta token; menerima teks dan gambar sebagai input, menghasilkan teks[5]. Dirilis bersamaan dalam tiga varian: GPT-4.1, GPT-4.1 mini, GPT-4.1 nano.
  • GPT-5 (2025): sistem terpadu dengan mode respons cepat dan penalaran mendalam; jendela konteks sekitar 400.000 token; penurunan signifikan halusinasi pada tugas-tugas faktual.
  • GPT-5.1 (2025): adaptive reasoning, peningkatan dalam coding dan long-context retention.
  • GPT-5.2 (2025): fokus pada pekerjaan profesional; mode Pro untuk tugas-tugas frontier; berdasarkan GPT-5.2 diterbitkan GPT-5.2-Codex yang bersifat agentik.
  • GPT-5.3-Codex (2026): model coding agentik yang menggabungkan kemampuan coding dan reasoning; 25% lebih cepat dari pendahulunya.
  • GPT-5.3 Instant (2026): pembaruan model percakapan ChatGPT yang paling banyak digunakan; dirilis pada 3 Maret 2026. Akurasi faktual, kualitas pencarian web, kelancaran dialog ditingkatkan, dan jumlah penolakan berlebihan serta peringatan yang tidak perlu dikurangi. Dalam API tersedia sebagai gpt-5.3-chat-latest[6].
  • GPT-5.4 (2026): model frontier OpenAI untuk pekerjaan profesional, diperkenalkan pada 5 Maret 2026; model general-purpose pertama OpenAI dengan native computer-use capabilities. Dalam API gpt-5.4 direkomendasikan sebagai model default untuk berbagai tugas general-purpose dan coding[7][8].

GPT-1

Model pertama, GPT-1, diperkenalkan oleh OpenAI pada tahun 2018 dalam karya "Improving Language Understanding by Generative Pre-Training". Model ini merupakan transformer decoder-only 12 lapisan[9] dan dibangun berdasarkan arsitektur transformer. Pelatihan GPT-1 berlangsung dalam dua tahap: tahap pre-training generatif tanpa pengawasan (pre-training), yang diikuti oleh tahap fine-tuning terkontrol (fine-tuning).

Pada tahap pre-training, model dilatih pada korpus BookCorpus yang mencakup lebih dari 7.000 buku yang belum diterbitkan dari berbagai genre. Keistimewaan korpus ini adalah adanya bagian teks panjang yang berkesinambungan, yang sangat penting untuk membentuk kemampuan model dalam memproses dependensi teks yang kompleks dan panjang.

Pada tahap fine-tuning, model diadaptasi untuk menyelesaikan tugas-tugas pemrosesan bahasa alami yang terspesialisasi, meliputi:

  • Menjawab pertanyaan (Question Answering, QA) — membentuk jawaban yang benar berdasarkan konteks teks yang diberikan;
  • Pengenalan implikasi teks (Natural Language Inference, NLI) — menentukan hubungan logis antara dua teks: implikasi, kontradiksi, atau netralitas;
  • Penilaian kemiripan semantik (Semantic Textual Similarity) — mengukur tingkat kedekatan makna antara dua urutan teks.

Berkat pendekatan ini, GPT-1 menunjukkan keunggulan signifikan dibandingkan model-model sebelumnya pada sejumlah benchmark standar untuk tugas pemahaman teks.

Pengembangan GPT-1 menunjukkan sejumlah pencapaian dan temuan utama di bidang pemrosesan bahasa alami (NLP):

  • Efektivitas pre-training generatif. Dikonfirmasi secara empiris bahwa pre-training pada korpus teks berlabel besar memungkinkan model memperoleh representasi bahasa universal yang cocok untuk diterapkan selanjutnya pada berbagai tugas terapan tanpa perlu perubahan arsitektur yang mendasar.
  • Universalitas arsitektur transformer. Penggunaan transformer decoder berlapis memungkinkan model berhasil memproses dependensi jangka panjang dalam teks, yang sebelumnya sulit dilakukan oleh model berbasis recurrent neural network.
  • Pengurangan ketergantungan pada data berlabel. Karya ini mengkonfirmasi bahwa pre-training skala besar pada data tanpa label dapat secara signifikan mengurangi jumlah data berlabel yang diperlukan untuk mencapai kualitas tinggi pada tugas-tugas target.
  • Fondasi untuk pengembangan selanjutnya. Hasil GPT-1 meletakkan fondasi konseptual dan teknis untuk versi-versi selanjutnya dari keluarga model GPT (GPT-2, GPT-3, dan seterusnya).

GPT-2

Model GPT-2 diumumkan oleh OpenAI pada 14 Februari 2019. Model ini secara signifikan melampaui pendahulunya dalam hal ukuran: versi lengkap model mengandung sekitar 1,5 miliar parameter. Karena pertimbangan keamanan, OpenAI awalnya hanya mempublikasikan varian model yang lebih kecil; versi lengkap (1,5 miliar parameter) dirilis pada 5 November 2019. Berbeda dengan GPT-1 yang dilatih pada korpus BookCorpus (~5 GB), GPT-2 dilatih pada korpus WebText yang dikumpulkan khusus berukuran sekitar 40 GB, yang mencakup data teks dari sumber-sumber internet berkualitas tinggi. Peningkatan baik ukuran model maupun volume data pelatihan memungkinkan GPT-2 meningkatkan kualitas generasi teks secara signifikan: model ini menunjukkan kemampuan membuat artikel yang bermakna, cerita, bahkan fragmen prosa fiksi yang koheren.

GPT-2 menggunakan arsitektur transformer-decoder autoregresif yang serupa dengan GPT-1, tanpa perubahan signifikan. Model ini terdiri dari 48 lapisan self-attention, memiliki ukuran hidden state 1600, dan mencakup sekitar 1,5 miliar parameter. Jumlah attention head adalah 25 (dengan mempertahankan ukuran 64 per head yang diwarisi dari GPT-1: 1600 ÷ 64 = 25). Pelatihan dilakukan pada tugas prediksi token berikutnya berdasarkan konteks sebelumnya dengan menggunakan mekanisme masked attention.

Salah satu perbedaan utama GPT-2 adalah bahwa model ini untuk pertama kalinya menunjukkan efektivitas tinggi dalam mode zero-shot learning — kemampuan menyelesaikan tugas-tugas baru tanpa melalui fine-tuning eksplisit pada contoh untuk tugas-tugas tersebut. Model dilatih pada korpus teks umum yang besar dan tidak menjalani pelatihan khusus pada data tugas tertentu. Evaluasi dilakukan dalam mode zero-shot, di mana model menjalankan tugas semata-mata berdasarkan pengetahuan yang diperoleh selama pre-training. Pada sejumlah tugas pemodelan bahasa, GPT-2 mencapai kualitas yang sebanding atau melampaui hasil model yang dilatih khusus pada dataset terspesialisasi (misalnya Wikipedia, teks berita, buku).

GPT-3

Model GPT-3 diperkenalkan oleh OpenAI pada Juni 2020 (artikel di arXiv muncul pada 28 Mei 2020, akses beta ke API dibuka pada 11 Juni 2020). Model ini menjadi langkah berikutnya dalam pengembangan transformer generatif setelah GPT-2 dan dibedakan oleh penskalaan arsitektur hingga 175 miliar parameter, yang menjadikannya pada saat itu model bahasa terbesar.

Arsitektur GPT-3 pada dasarnya tetap sama — transformer-decoder autoregresif berlapis tanpa perubahan mendasar. Peningkatan performa utama dicapai melalui peningkatan jumlah lapisan, lebar lapisan tersembunyi, dan skala pelatihan. Model dilatih pada gabungan beberapa korpus teks besar, termasuk Common Crawl, WebText2, Books1, Books2, dan Wikipedia. Total volume data mencapai sekitar 570 GB atau lebih (570 GB merupakan bagian Common Crawl yang telah difilter, yang mendominasi campuran pelatihan).

Salah satu fitur utama GPT-3 adalah kemampuannya dalam few-shot learning dan zero-shot learning: model dapat menjalankan berbagai tugas pemrosesan bahasa alami, termasuk penerjemahan, peringkasan, menjawab pertanyaan, penulisan esai, bahkan pemrograman, hanya berdasarkan beberapa contoh dalam permintaan teks atau bahkan tanpa contoh sama sekali.

GPT-3.5

Model GPT-3.5 diperkenalkan oleh OpenAI pada akhir tahun 2022 dalam kerangka pengembangan evolusioner keluarga GPT. Model ini dibangun berdasarkan arsitektur transformer-decoder autoregresif berskala yang digunakan dalam GPT-3, dengan peningkatan dalam kualitas generasi teks, pemrosesan konteks, dan kemampuan mengikuti instruksi kompleks. Jumlah parameter GPT-3.5 yang tepat tidak diungkapkan secara resmi; diasumsikan bahwa versi davinci sebanding ukurannya dengan GPT-3 (175 miliar), namun parameter tepat versi gpt-3.5-turbo tidak diketahui.

Pelatihan GPT-3.5 mencakup penggunaan yang diperluas dari metode Reinforcement Learning from Human Feedback (RLHF) pada versi text-davinci-003 dan gpt-3.5-turbo. Dalam hal ini, versi text-davinci-002 yang lebih awal dilatih menggunakan supervised fine-tuning (SFT), bukan RLHF. Model dilatih pada korpus teks yang diperluas, mencakup Common Crawl, Books, WebText, dan sumber-sumber berkualitas tinggi lainnya. Jendela konteks pada versi populer awal (gpt-3.5-turbo) adalah 4.096 token; selanjutnya OpenAI merilis versi yang diperbarui dengan konteks hingga 16.385 token[10].

Dalam praktiknya, GPT-3.5 diadaptasi untuk menyelesaikan berbagai tugas pemrosesan bahasa alami, seperti:

  • Menghasilkan teks yang koheren dan logis;
  • Menjawab pertanyaan (QA) dan pemahaman konteks;
  • Mengikuti instruksi multi-langkah;
  • Pemeliharaan konteks jangka panjang yang lebih baik dalam dialog.

Berdasarkan GPT-3.5, beberapa versi utama dirilis untuk berbagai tujuan:

  • text-davinci-002 — model berbasis GPT-3.5 pertama yang tersedia untuk umum, dioptimalkan untuk generasi dan mengikuti instruksi (dilatih menggunakan SFT).
  • text-davinci-003 — versi yang ditingkatkan dengan kemampuan penalaran dan generasi teks kompleks yang lebih besar (dilatih menggunakan RLHF).
  • gpt-3.5-turbo — versi GPT-3.5 yang paling berperforma dan ekonomis, digunakan dalam layanan ChatGPT sejak akhir tahun 2022.

GPT-4

Model GPT-4 diperkenalkan oleh OpenAI pada 14 Maret 2023 dalam karya "GPT-4 Technical Report". Model ini menjadi tahap berikutnya dalam pengembangan keluarga model bahasa, menawarkan peningkatan signifikan dalam pemahaman teks, menghasilkan respons yang bermakna dan kreatif, serta pemrosesan data multimodal. Jumlah parameter yang tepat dan detail arsitektur model tidak diungkapkan secara resmi — laporan teknis GPT-4 secara eksplisit menyatakan bahwa informasi tentang arsitektur, ukuran model, perangkat keras, biaya komputasi pelatihan, dan pembangunan dataset tidak dipublikasikan[11]. Menurut perkiraan eksternal tidak resmi, GPT-4 kemungkinan menggunakan pendekatan Mixture of Experts (MoE) dan memiliki skala total sekitar ~1,8 triliun parameter, namun OpenAI tidak secara resmi mengkonfirmasi maupun menyangkal angka-angka ini[12].

GPT-4 adalah model multimodal yang mampu menerima baik teks maupun gambar sebagai input. Perlu dicatat bahwa pada saat peluncuran awal pada Maret 2023, hanya modalitas teks yang tersedia; dukungan input gambar diluncurkan belakangan. Jendela konteks adalah 8.192 token pada versi dasar dan 32.768 token pada varian GPT-4-32k. Model menggunakan metode RLHF (Reinforcement Learning from Human Feedback).

Pelatihan GPT-4 dilakukan pada gabungan korpus teks dan multimodal berskala besar. Detail spesifik tentang data pelatihan, perangkat keras, dan metodologi tidak diungkapkan dalam publikasi resmi OpenAI.

Pelatihan berlangsung dalam beberapa tahap:

  • pre-training tanpa pengawasan berskala besar pada teks dan gambar,
  • supervised fine-tuning pada tugas-tugas terspesialisasi,
  • tahap akhir RLHF untuk meningkatkan keandalan, keamanan, dan kualitas interpretasi instruksi.

Berdasarkan GPT-4, beberapa versi utama dirilis:

  • GPT-4 (Maret 2023): versi dasar dengan dukungan input teks (dukungan gambar ditambahkan belakangan); jendela konteks 8.192 token; juga dirilis varian GPT-4-32k dengan konteks 32.768 token.
  • GPT-4 Turbo (November 2023): modifikasi GPT-4 yang dioptimalkan dengan jendela konteks yang diperbesar hingga 128.000 token[13]; biaya komputasi yang berkurang dan generasi yang dipercepat; dukungan mode function calling dan output JSON.
  • GPT-4o (Mei 2024): versi multimodal generasi baru; dalam pengumuman peluncuran diposisikan sebagai model omni yang mampu bekerja dengan teks, gambar, dan audio secara real-time (berbeda dengan GPT-4 Turbo di mana berbagai modalitas dilayani oleh modul terpisah); sementara itu model API dasar gpt-4o dijelaskan sebagai text+image input, text output; jendela konteks 128.000 token.
  • GPT-4.5 (Februari 2025): pratinjau penelitian (research preview); dalam system card OpenAI secara langsung menyatakan bahwa model "builds on GPT-4o"[3]; generasi teks kompleks yang lebih baik, peningkatan akurasi mengikuti instruksi dan tingkat halusinasi yang berkurang; jendela konteks 128.000 token. Digambarkan sebagai "model OpenAI terakhir tanpa chain-of-thought" (nama kode — Orion)[14]. Dalam API, model gpt-4.5-preview dinyatakan deprecated pada 14 April 2025 dan dinonaktifkan pada 14 Juli 2025[4].
  • GPT-4.1 (April 2025): versi stabil dengan perluasan konteks yang drastis hingga 1.047.576 token; menerima teks dan gambar sebagai input, menghasilkan teks[15]; dirilis bersamaan dalam tiga varian (GPT-4.1, GPT-4.1 mini, GPT-4.1 nano); awalnya hanya tersedia melalui API, kemudian diluncurkan di ChatGPT.

GPT-5

7 Agustus 2025 OpenAI memperkenalkan GPT‑5 sebagai model yang pada saat itu "paling cerdas, tercepat, dan paling berguna", dengan mode penalaran mendalam bawaan (thinking) dan fokus pada skenario praktis — penulisan, pemrograman, kesehatan, dan pemahaman multimodal. GPT‑5 secara bertahap menjadi model default untuk sebagian besar pengguna ChatGPT yang terautentikasi, menggantikan model-model dari keluarga GPT‑4/4o dan seri o‑ yang sebelumnya digunakan.[16]

GPT‑5 diimplementasikan sebagai sistem terpadu dengan dua mode operasi utama: respons cepat dan ekonomis untuk permintaan sehari-hari (secara kondisional gpt‑5 main) dan penalaran mendalam untuk tugas-tugas kompleks (secara kondisional gpt‑5 thinking). Pemilihan mode terjadi secara otomatis menggunakan router yang mempertimbangkan jenis dialog, kompleksitas permintaan, kebutuhan alat, dan petunjuk eksplisit dari pengguna (misalnya, "think step by step" atau "analyze in depth"). Di ChatGPT, pengguna dapat mengakses mode Auto / Instant / Thinking / Pro; varian mini dan nano adalah terutama model API, sementara mini dalam produk pengguna dapat digunakan sebagai fallback setelah batas penggunaan habis[17].

Melalui antarmuka pemrograman, beberapa ukuran dan konfigurasi GPT‑5 tersedia; dalam dokumentasi OpenAI, varian utama yang disebutkan adalah gpt‑5, gpt‑5‑mini, dan gpt‑5‑nano (semua mendukung teks dan data visual). Jendela konteks total maksimum untuk keluarga GPT‑5 dalam API adalah sekitar 400.000 token (dengan pembagian anggaran untuk input dan penalaran/output), sementara batas spesifik dapat bervariasi tergantung pada varian model dan produk yang dipilih[18].

Pada sejumlah benchmark pencarian web dan faktual, GPT‑5 menunjukkan penurunan signifikan dalam frekuensi halusinasi dan kesalahan dibandingkan dengan model GPT‑4o dan model "thinking" OpenAI yang lebih awal. Dalam pengumuman resmi, OpenAI mencantumkan perkiraan penurunan kesalahan sekitar 45% dibandingkan GPT-4o dan sekitar 80% dibandingkan o3 dalam mode thinking — hasil-hasil ini diperoleh dalam kondisi spesifik: dengan pencarian web diaktifkan pada prompt yang dianonimkan yang representatif dari lalu lintas produksi ChatGPT[19].

GPT-5.1

Model GPT-5.1 diperkenalkan oleh OpenAI pada 12 November 2025 sebagai iterasi signifikan pertama setelah GPT-5 dasar, yang berorientasi pada peningkatan interaksi sehari-hari, percakapan, dan adaptabilitas. Model ini mempertahankan sistem terpadu dengan mode cepat (GPT-5.1 Instant) dan penalaran mendalam (GPT-5.1 Thinking), namun memperkenalkan pemikiran adaptif (adaptive reasoning): model secara dinamis menentukan jumlah komputasi berdasarkan kompleksitas permintaan, yang membuatnya jauh lebih cepat pada tugas-tugas sederhana tanpa kehilangan kualitas pada tugas-tugas kompleks.

Pelatihan GPT-5.1 dibangun berdasarkan GPT-5 dengan tahap post-training tambahan yang mencakup RLHF yang diperluas, fokus pada kealamian nada, dan pengurangan "kedinginan" respons. Jendela konteks dalam API adalah 400.000 token, output maksimum — 128.000 token[20]. Dukungan untuk extended prompt caching hingga 24 jam muncul, yang secara signifikan mengurangi biaya dan latensi dalam dialog multi-langkah[21].

Fitur-fitur utama:

  • GPT-5.1 Instant — mode utama untuk tugas sehari-hari; pertama kali menggunakan adaptive reasoning untuk menentukan kapan harus "berpikir" sebelum merespons permintaan yang lebih kompleks[21].
  • GPT-5.1 Thinking — alokasi waktu penalaran yang adaptif; menurut data OpenAI, pada distribusi tugas ChatGPT yang representatif, model sekitar dua kali lebih cepat pada tugas-tugas paling sederhana dan sekitar dua kali lebih lambat pada tugas-tugas paling sulit dibandingkan dengan GPT-5 Thinking[21].
  • Multimodalitas yang ditingkatkan (teks + vision).
  • Peningkatan skenario coding dan agentik, serta efisiensi pada tugas-tugas sederhana berkat adaptive reasoning dan extended prompt caching[22].

GPT-5.2

Model GPT-5.2 dirilis pada 11 Desember 2025 sebagai "model seri yang paling mampu untuk pekerjaan profesional dan pembelajaran". Ini adalah evolusi GPT-5.1 dengan penekanan pada nilai ekonomi: pembuatan tabel, presentasi, kode kompleks, tugas end-to-end. Model ini mempertahankan arsitektur terpadu dengan mode Instant, Thinking, dan mode Pro baru (untuk tugas-tugas yang memerlukan komputasi dan waktu penalaran maksimal).

Pelatihan mencakup korpus yang diperbarui dengan knowledge cutoff Agustus 2025, instruction-tuning yang diperkuat, dan RLHF untuk mengurangi kesalahan dalam skenario multi-langkah. Konteks — 400K token (128K max output). Model menjadi lebih andal dalam skenario profesional, dengan akurasi faktual yang lebih baik dan penggunaan alat.

Berdasarkan GPT-5.2, pada 18 Desember 2025 dirilis GPT-5.2-Codex yang terspesialisasi — model coding agentik dengan kompresi konteks (context compaction) yang ditingkatkan, dukungan Windows, keamanan siber yang diperkuat, dan long-horizon reasoning (tugas hingga beberapa jam).

Per 13 Februari 2026, setelah penonaktifan sejumlah model lama, GPT-5.2 untuk sementara menjadi model default di ChatGPT. Namun, sudah pada awal Maret 2026, peran ini beralih ke GPT‑5.3 Instant dan GPT‑5.4[17].

GPT-5.3-Codex

GPT-5.3-Codex diperkenalkan pada 5 Februari 2026 sebagai "model coding agentik paling kuat saat ini". Ini adalah penggabungan kemampuan coding frontier GPT-5.2-Codex dengan reasoning profesional GPT-5.2 dalam satu model yang 25% lebih cepat dari pendahulunya.

Model ini mampu menjalankan hampir semua tugas pengembang: long-running workflows, penelitian, penggunaan alat, eksekusi kode, interactive steering (pengguna dapat mengintervensi secara real-time tanpa kehilangan konteks). Versi awal model digunakan oleh tim OpenAI untuk men-debug pelatihan, deployment, dan evaluasi mereka sendiri.

Hasil-hasil utama pada saat pengumuman 5 Februari 2026: Terminal-Bench ~77,3%, OSWorld-Verified ~64,7%, SWE-Bench Pro ~56,8%. Dalam rilis GPT-5.4 yang lebih baru pada 5 Maret 2026, OpenAI mencantumkan hasil OSWorld-Verified yang diperbarui sebesar 74,0% untuk GPT-5.3-Codex saat menggunakan parameter API baru yang mempertahankan resolusi gambar asli[23][7].

Pada 12 Februari 2026, OpenAI juga merilis GPT-5.3-Codex-Spark — versi ultra-fast kompak dalam kemitraan dengan Cerebras, dioptimalkan untuk real-time: lebih dari 1000 token per detik, text-only, konteks 128K. Pada awalnya ini adalah peluncuran untuk pengguna ChatGPT Pro di Codex dan sejumlah kecil mitra desain API, bukan model API yang tersedia secara luas[24].

GPT-5.4

5 Maret 2026 OpenAI memperkenalkan GPT‑5.4 sebagai model frontier baru untuk pekerjaan profesional. GPT‑5.4 menggabungkan kekuatan rilis terbaru OpenAI dalam reasoning, coding, dan agentic workflows, dan untuk pertama kalinya pada lini utama mendapatkan kemampuan computer use bawaan. Bersamaan dengan itu, OpenAI merilis GPT‑5.4 Pro — varian untuk tugas-tugas paling kompleks yang menggunakan lebih banyak komputasi dan penalaran yang lebih panjang[7].

Dalam API, model gpt-5.4 digambarkan sebagai yang direkomendasikan secara default untuk berbagai tugas general-purpose dan coding; jendela konteks adalah 1.050.000 token, output maksimum — 128.000 token. Model menerima teks dan gambar sebagai input dan menghasilkan teks sebagai output[8][25].

Di ChatGPT, mode Auto per 7 Maret 2026 secara otomatis beralih antara GPT‑5.3 Instant dan GPT‑5.4 Thinking, sementara GPT‑5.4 Pro tersedia sebagai mode high-capability terpisah. Bagi pengguna ChatGPT yang telah masuk, model default adalah GPT‑5.3[17].

Perkembangan Model-model GPT

Perkembangan Model-model GPT
Generasi Tahun Rilis Jumlah Parameter Ukuran Korpus Teks Fitur Utama
GPT-1 2018 ≈117–124 juta[26] ≈5 GB (BooksCorpus) Pre-training generatif pada korpus besar; pelatihan dua tahap (pre-training + fine-tuning)
GPT-2 2019 1,5 miliar ≈40 GB (WebText) Generasi teks yang jauh lebih baik; demonstrasi perilaku zero-shot yang kuat; publikasi model awalnya sebagian
GPT-3 2020 175 miliar ≈570 GB (Common Crawl, WebText2, dll.) In-context learning berskala besar; kemampuan few-shot dan zero-shot yang menonjol tanpa fine-tuning
GPT-3.5 2022 Tidak diungkapkan (versi davinci diasumsikan ~175 miliar) >570 GB + korpus tambahan dan instruction tuning Stabilitas yang ditingkatkan dan kemampuan mengikuti instruksi; dasar versi awal ChatGPT
GPT-4 2023 Tidak diungkapkan[27] Tidak diungkapkan Multimodalitas (teks + gambar); akurasi yang ditingkatkan dan ketahanan terhadap halusinasi; konteks 8k/32k token
GPT-4 Turbo 2023 Tidak diungkapkan Berdasarkan pelatihan GPT-4 (detail tidak diungkapkan) Peningkatan konteks hingga 128.000 token; optimasi kecepatan dan biaya generasi
GPT-4o 2024 Tidak diungkapkan Data multimodal (teks, gambar, audio) Pemrosesan multimodal jaringan neural terpadu; kecepatan respons tinggi
GPT-4.5 2025 Tidak diungkapkan Korpus teks dan multimodal yang diperluas Research preview berdasarkan GPT-4o; pengurangan kesalahan; deprecated pada 2026
GPT-4.1 2025 Tidak diungkapkan Korpus yang diperbarui Konteks hingga 1.047.576 token; teks + gambar sebagai input, teks sebagai output
GPT-5 2025 (Agustus) Tidak diungkapkan Korpus multimodal berskala besar Sistem terpadu dengan mode respons cepat dan penalaran; konteks ~400K token; pengurangan halusinasi
GPT-5.1 2025 (November) Tidak diungkapkan Korpus GPT-5 yang diperluas + RLHF Adaptive reasoning; prompt caching 24 jam; peningkatan dalam coding
GPT-5.2 2025 (Desember) Tidak diungkapkan Knowledge cutoff Agustus 2025 Mode Pro; pekerjaan pengetahuan profesional; GPT-5.2-Codex (coding agentik)
GPT-5.3-Codex 2026 (Februari) Tidak diungkapkan Data yang diperbarui + self-improvement data 25% lebih cepat; agen spektrum penuh; interactive steering
GPT-5.3-Codex-Spark 2026 (Februari) Tidak diungkapkan Kompak >1000 t/s pada Cerebras; coding real-time; konteks 128K
GPT-5.3 Instant 2026 (Maret) Tidak diungkapkan Tidak diungkapkan Pembaruan model percakapan ChatGPT yang paling banyak digunakan; peningkatan faktualitas, pencarian web, dan kelancaran percakapan
GPT-5.4 2026 (Maret) Tidak diungkapkan Tidak diungkapkan Model frontier baru untuk pekerjaan profesional; native computer use; model default di API untuk tugas general-purpose dan sebagian besar tugas coding
GPT-5.4 Pro 2026 (Maret) Tidak diungkapkan Tidak diungkapkan Varian GPT-5.4 dengan komputasi yang lebih besar untuk tugas-tugas paling kompleks

Parameter Arsitektur Model-model GPT

Parameter Arsitektur Model-model GPT
Model Tahun Rilis Jumlah Parameter Jumlah Lapisan Ukuran Hidden State Jumlah Attention Head Jendela Konteks Ukuran Korpus Pelatihan
GPT-1 2018 ≈117–124 juta 12 768 12 512 token ≈5 GB (BooksCorpus)
GPT-2 2019 1,5 miliar 48 1.600 25 1.024 token ≈40 GB (WebText)
GPT-3 2020 175 miliar 96 12.288 96 2.048 token ≈570 GB (Common Crawl + WebText2 + lainnya)
GPT-3.5 2022 Tidak diungkapkan (versi davinci diasumsikan ~175 miliar) (estimasi mendekati GPT-3) (estimasi mendekati GPT-3) (tidak diungkapkan) Hingga 4.096 token (awal); hingga 16.385 token (akhir) Common Crawl yang diperluas + dataset tambahan dan instruction tuning
GPT-4 2023 Tidak diungkapkan (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) 8.192 token (dasar); 32.768 (GPT-4-32k) Tidak diungkapkan
GPT-4 Turbo 2023 (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) Hingga 128.000 token Versi GPT-4 yang dioptimalkan (detail korpus tidak diungkapkan)
GPT-4o 2024 (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) Hingga 128.000 token Data multimodal: teks, gambar, audio
GPT-4.5 2025 (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) Hingga 128.000 token Korpus teks dan multimodal yang diperbarui
GPT-4.1 2025 (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) Hingga 1.047.576 token Multimodalitas; pelatihan berskala dengan penekanan pada konteks panjang
GPT-5 2025 (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) Hingga ≈400.000 token (total konteks) Korpus multimodal berskala besar (detail tidak diungkapkan)
GPT-5.4 2026 (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) (tidak diungkapkan) 1.050.000 token; 128.000 max output Tidak diungkapkan

Referensi

  • "Improving language understanding with unsupervised learning", OpenAI, 11 Juni 2018
  • "Better language models and their implications", OpenAI, 14 Februari 2019
  • "GPT-2: 6-month follow-up", OpenAI, 20 Agustus 2019
  • "GPT-2: 1.5B release", OpenAI, 5 November 2019
  • "Language models are few-shot learners", OpenAI, 28 Mei 2020
  • "OpenAI API", OpenAI, 11 Juni 2020
  • "Introducing ChatGPT", OpenAI, 30 November 2022
  • "Function calling and other API updates", OpenAI, 13 Juni 2023
  • "GPT-4", OpenAI, 14 Maret 2023
  • "New models and developer products announced at DevDay", OpenAI, 6 November 2023
  • "Hello GPT-4o", OpenAI, 13 Mei 2024
  • "Introducing GPT-4.1 in the API", OpenAI, 14 April 2025
  • "Introducing GPT-4.5", OpenAI, 27 Februari 2025
  • "Introducing GPT-5", OpenAI, 7 Agustus 2025
  • "GPT-5.1: A smarter, more conversational ChatGPT", OpenAI, 12 November 2025
  • "Introducing GPT-5.2", OpenAI, 11 Desember 2025
  • "Introducing GPT-5.2-Codex", OpenAI, 18 Desember 2025
  • "Introducing GPT-5.3-Codex", OpenAI, 5 Februari 2026
  • "Introducing GPT-5.3-Codex-Spark", OpenAI, 12 Februari 2026
  • "GPT-5.3 Instant: Smoother, more useful everyday conversations", OpenAI, 3 Maret 2026
  • "Introducing GPT-5.4", OpenAI, 5 Maret 2026
  • "Using GPT-5.4", OpenAI Developers
  • "Models", OpenAI API
  • "Deprecations", OpenAI API
  • "GPT-5.3 and GPT-5.4 in ChatGPT", OpenAI Help Center
  • "Retiring GPT-4o and other ChatGPT models", OpenAI Help Center

Catatan

  1. OpenAI. «Introducing GPT-5» (7 августа 2025). https://openai.com/index/introducing-gpt-5/
  2. OpenAI. «Introducing GPT-4.5» (2025). https://openai.com/index/introducing-gpt-4-5/
  3. 3.0 3.1 OpenAI. GPT-4.5 System Card (27 февраля 2025). https://cdn.openai.com/gpt-4-5-system-card-2272025.pdf
  4. 4.0 4.1 OpenAI Developers. Deprecations. https://developers.openai.com/api/docs/deprecations/
  5. OpenAI. «Introducing GPT-4.1 in the API» (2025).
  6. OpenAI. «GPT-5.3 Instant: Smoother, more useful everyday conversations» (3 марта 2026). https://openai.com/index/gpt-5-3-instant/
  7. 7.0 7.1 7.2 OpenAI. «Introducing GPT-5.4» (5 марта 2026). https://openai.com/index/introducing-gpt-5-4/
  8. 8.0 8.1 OpenAI Developers. «Using GPT-5.4». https://developers.openai.com/api/docs/guides/latest-model/
  9. Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
  10. OpenAI отмечала, что обновлённый GPT-3.5 Turbo «now comes by default with 16k context».
  11. OpenAI. «GPT-4 Technical Report» (2023). arXiv:2303.08774.
  12. Эти оценки основаны на данных, опубликованных SemiAnalysis и подтверждённых рядом независимых источников.
  13. Анонсирована на DevDay OpenAI 6 ноября 2023 года; общая доступность — с 9 апреля 2024 года.
  14. Кодовое имя Orion и характеристика «последняя модель без chain-of-thought» фигурировали в roadmap-коммуникации Сэма Альтмана и ряде медиа-публикаций (Reuters, The Verge), но не в самом launch post GPT-4.5.
  15. OpenAI. «Introducing GPT-4.1 in the API» (2025).
  16. OpenAI. «Introducing GPT-5» (7 августа 2025).
  17. 17.0 17.1 17.2 OpenAI Help Center. «GPT-5.3 and GPT-5.4 in ChatGPT». https://help.openai.com/en/articles/11909943-gpt-53-and-54-in-chatgpt
  18. OpenAI API documentation. Models: GPT-5.
  19. OpenAI. «Introducing GPT-5» (2025). Условия тестирования: «with web search enabled on anonymized prompts representative of ChatGPT production traffic».
  20. OpenAI Developers. Models: GPT-5.1. https://developers.openai.com/api/docs/models/gpt-5.1
  21. 21.0 21.1 21.2 OpenAI. «GPT-5.1: A smarter, more conversational ChatGPT» (12 ноября 2025). https://openai.com/index/gpt-5-1/
  22. OpenAI. «GPT-5.1 for developers» (2025). https://openai.com/index/gpt-5-1-for-developers/
  23. OpenAI. «Introducing GPT-5.3-Codex» (5 февраля 2026). https://openai.com/index/introducing-gpt-5-3-codex/
  24. OpenAI. «Introducing GPT-5.3-Codex-Spark» (12 февраля 2026). https://openai.com/index/introducing-gpt-5-3-codex-spark/
  25. OpenAI Developers. Models: GPT-5.4. https://developers.openai.com/api/docs/models/gpt-5.4
  26. Точное число параметров GPT-1 в разных источниках варьируется; исходная публикация не указывает число явно. Цифра ≈117 млн широко цитируется, а ≈124 млн фигурирует в ряде поздних материалов.
  27. По неофициальным внешним оценкам (SemiAnalysis и др.), возможно MoE-архитектура с суммарным масштабом ~1,8 трлн параметров; OpenAI эти данные не подтверждала.

Literatur

  • Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. PDF.
  • Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
  • Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
  • Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
  • Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
  • Bai, Y. et al. (2022). Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. arXiv:2204.05862.
  • OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
  • Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.