The 2024 AI Index Report (ID)

AI Index Report 2024 — edisi tahunan ketujuh dari laporan AI Index, yang disusun oleh Stanford Institute for Human-Centered Artificial Intelligence (Stanford HAI). Laporan tahun 2024 merupakan yang paling komprehensif sepanjang sejarah publikasinya dan diterbitkan pada saat pengaruh AI terhadap masyarakat semakin nyata dan belum pernah terjadi sebelumnya. Edisi ini mencakup penilaian baru mengenai biaya pelatihan model, analisis mendalam tentang AI yang bertanggung jawab, serta untuk pertama kalinya memuat bab tersendiri yang membahas dampak AI terhadap ilmu pengetahuan dan kedokteran. Laporan ini melacak, mensistematisasi, dan memvisualisasikan data yang berkaitan dengan kecerdasan buatan, menyediakan informasi yang objektif dan terverifikasi secara cermat bagi para pembuat kebijakan, peneliti, eksekutif, jurnalis, dan masyarakat luas.

Struktur Laporan

Laporan tahun 2024 terdiri dari sembilan bab tematik:

1. Research and Development - Penelitian dan Pengembangan — tren dalam publikasi, paten, model dasar, dan proyek terbuka.
2. Technical Performance - Kinerja Teknis — benchmark, perbandingan dengan tingkat kemampuan manusia, multimodalitas.
3. Responsible AI - AI yang Bertanggung Jawab — insiden, keamanan, bias, privasi.
4. Economy - Ekonomi — investasi, pasar tenaga kerja, adopsi korporat, robotisasi.
5. Science and Medicine - Ilmu Pengetahuan dan Kedokteran — bab baru: terobosan dalam aplikasi AI di bidang sains dan kedokteran.
6. Education - Pendidikan — pengembangan sumber daya manusia, program pendidikan, ChatGPT dalam pembelajaran.
7. Policy and Governance - Kebijakan dan Tata Kelola — perundang-undangan, regulasi, strategi nasional.
8. Diversity - Keberagaman — keberagaman gender dan etnis di bidang AI.
9. Public Opinion - Opini Publik — sikap masyarakat terhadap AI berdasarkan survei internasional.

Temuan Utama Laporan (Top 10)

Para penulis laporan mengidentifikasi sepuluh tesis utama tahun 2024:

1. AI melampaui manusia dalam sejumlah tugas, tetapi tidak semua

Sistem kecerdasan buatan telah melampaui tingkat kemampuan manusia pada beberapa benchmark, termasuk klasifikasi gambar (ImageNet), penalaran visual (VQA), dan pemahaman bahasa Inggris (SuperGLUE). Namun demikian, AI masih tertinggal dari manusia dalam tugas-tugas yang lebih kompleks: matematika tingkat olimpiade (MATH), penalaran visual sehari-hari, dan perencanaan.

2. Industri mendominasi penelitian AI mutakhir

Pada tahun 2023, industri menciptakan 51 model machine learning yang signifikan, sementara akademisi hanya menghasilkan 15. Selain itu, 21 model merupakan hasil kolaborasi antara industri dan akademisi — angka rekor.

3. Biaya pelatihan model mutakhir meningkat tajam

Berdasarkan estimasi AI Index dan Epoch AI, biaya pelatihan GPT-4 mencapai sekitar 78 juta dolar AS, sementara Gemini Ultra dari Google sekitar 191 juta dolar AS. Sebagai perbandingan: pelatihan model Transformer awal pada tahun 2017 hanya menelan biaya sekitar 900 dolar AS, dan RoBERTa Large pada tahun 2019 sekitar 160 ribu dolar AS.

4. AS memimpin sebagai sumber model AI terdepan

Pada tahun 2023, 61 model AI yang signifikan diciptakan oleh organisasi-organisasi di AS, jauh melampaui Uni Eropa (21 model) dan Tiongkok (15 model).

5. Evaluasi standar tanggung jawab LLM sangat tertinggal

Penelitian AI Index mengungkapkan defisit standardisasi yang signifikan dalam pelaporan AI yang bertanggung jawab. Para pengembang terkemuka — OpenAI, Google, dan Anthropic — menguji model mereka pada benchmark Responsible AI yang berbeda-beda, sehingga menyulitkan perbandingan risiko secara sistematis.

6. Investasi dalam AI generatif tumbuh pesat

Meski investasi swasta dalam AI secara keseluruhan menurun, pendanaan untuk AI generatif meningkat hampir delapan kali lipat dibandingkan tahun 2022, mencapai 25,2 miliar dolar AS. OpenAI, Anthropic, Hugging Face, dan Inflection berhasil melakukan putaran pendanaan besar.

7. AI meningkatkan produktivitas dan kualitas kerja

Berbagai penelitian tahun 2023 menunjukkan bahwa AI membantu pekerja menyelesaikan tugas lebih cepat dan dengan kualitas lebih tinggi, serta mempersempit kesenjangan antara tenaga kerja berketerampilan rendah dan tinggi. Namun demikian, sejumlah studi memperingatkan bahwa penggunaan AI tanpa pengawasan yang memadai dapat menyebabkan penurunan produktivitas.

8. Kemajuan ilmiah dipercepat oleh AI

Pada tahun 2023, sejumlah aplikasi AI yang signifikan di bidang sains diperkenalkan: AlphaDev (percepatan algoritma pengurutan), GNoME (penemuan material baru), GraphCast (prediksi cuaca), dan lain-lain.

9. Jumlah regulasi AI di AS meningkat tajam

Pada tahun 2023, sebanyak 25 regulasi terkait AI ditetapkan — peningkatan sebesar 56,3% dibandingkan tahun sebelumnya. Sebagai perbandingan, pada tahun 2016 hanya ada satu regulasi semacam itu.

10. Masyarakat semakin sadar akan dampak AI — dan semakin khawatir

Menurut data Ipsos, proporsi responden yang percaya bahwa AI akan berdampak signifikan pada kehidupan mereka dalam 3–5 tahun ke depan meningkat dari 60% menjadi 66%. Selain itu, 52% mengungkapkan kekhawatiran terhadap produk dan layanan AI — meningkat 13 poin persentase sejak 2022. Di AS, menurut data Pew Research, 52% warga Amerika melaporkan lebih banyak rasa khawatir daripada antusias terkait AI (dibandingkan 37% pada tahun 2022).

Bab 1. Penelitian dan Pengembangan

Bab ini menganalisis tren dalam publikasi, paten, sistem AI mutakhir, model dasar (foundation models), konferensi, dan proyek perangkat lunak terbuka.

Publikasi

Jumlah total publikasi tentang AI terus meningkat: dari sekitar 88.000 pada tahun 2010 menjadi lebih dari 240.000 pada tahun 2022 (hampir tiga kali lipat). Pertumbuhan dalam satu tahun terakhir mencapai 1,1%.

Paten

Jumlah paten yang diberikan di bidang AI secara global meningkat drastis: dari tahun 2021 ke 2022 pertumbuhannya mencapai 62,7%, dan sejak tahun 2010 meningkat lebih dari 31 kali lipat. Tiongkok mendominasi dalam perolehan paten AI: pada tahun 2022 negara ini mencakup 61,1% dari seluruh permohonan paten, sementara pangsa AS sebesar 20,9% (turun dari 54,1% pada tahun 2010).

Model Mutakhir

Pada tahun 2023, industri terus mendominasi dalam penciptaan model mutakhir. Sebanyak 149 model dasar dirilis — dua kali lebih banyak dari tahun 2022. Di antaranya, 65,7% bersifat open source (dibandingkan 44,4% pada tahun 2022 dan 33,3% pada tahun 2021).

Biaya pelatihan. Kolaborasi AI Index dengan Epoch AI menghasilkan estimasi biaya pelatihan model yang lebih terperinci. Pertumbuhan pengeluaran secara jelas diilustrasikan oleh dinamika berikut:

Model	Tahun	Estimasi Biaya Pelatihan (USD)
Transformer	2017	~930
BERT-Large	2018	~3.300
RoBERTa Large	2019	~160.000
GPT-3 175B	2020	~4,3 juta
PaLM 540B	2022	~12,4 juta
Llama 2 70B	2023	~3,9 juta
GPT-4	2023	~78 juta
Gemini Ultra	2023	~191 juta

Asal negara. Pada tahun 2023, 61 model signifikan diciptakan oleh organisasi AS, 21 oleh Uni Eropa, dan 15 oleh Tiongkok. Hal ini menegaskan peran terdepan AS dalam pengembangan sistem AI mutakhir.

Perangkat Lunak Terbuka

Jumlah proyek AI di GitHub terus meningkat: dari 845 pada tahun 2011 menjadi sekitar 1,8 juta pada tahun 2023. Pada tahun 2023 terjadi pertumbuhan sebesar 59,3%. Jumlah total bintang untuk proyek-proyek AI meningkat tiga kali lipat: dari 4,0 juta pada tahun 2022 menjadi 12,2 juta pada tahun 2023.

Konferensi

Kehadiran di konferensi AI terkemuka (NeurIPS, ICML, ICLR, dan lain-lain) terus meningkat, mencerminkan minat yang semakin besar terhadap bidang ini.

Bab 2. Kinerja Teknis

Bab ini menganalisis kemajuan sistem AI dalam tugas-tugas pemrosesan bahasa, pembuatan gambar, penalaran, pengkodean, dan perilaku agen.

Status Kinerja AI

Per tahun 2023, AI melampaui tingkat kemampuan manusia dalam beberapa kategori tugas: klasifikasi gambar (sejak 2015), pemahaman teks dasar (sejak 2017), penalaran visual (sejak 2020), inferensi bahasa alami (sejak 2021). Namun, dalam tugas seperti matematika olimpiade (MATH) dan perencanaan, AI masih tertinggal dari manusia.

Model Bahasa

HELM. Benchmark Holistic Evaluation of Language Models (HELM) yang dikembangkan di Stanford mengevaluasi LLM dalam sepuluh skenario, termasuk pemahaman teks, matematika, dan penalaran hukum. Per Januari 2024, GPT-4 memimpin dengan mean win rate 0,96.

MMLU. Benchmark Massive Multitask Language Understanding (MMLU) mengevaluasi model dalam 57 bidang mata pelajaran. Gemini Ultra dari Google menjadi yang pertama melampaui baseline kemampuan manusia (89,8%), dengan skor 90,0% — peningkatan sebesar 14,8 poin persentase dibandingkan tahun 2022 dan 57,6 poin persentase sejak benchmark ini dibuat pada tahun 2019.

Chatbot Arena. Platform yang diluncurkan pada tahun 2023 ini memungkinkan pengguna membandingkan hasil generasi dari model-model anonim. Per awal tahun 2024, GPT-4 Turbo diakui sebagai model yang paling disukai berdasarkan lebih dari 200.000 suara.

Multimodalitas

Secara tradisional, sistem AI terbatas pada satu modalitas. Namun pada tahun 2023, model-model multimodal yang canggih mulai bermunculan — Google Gemini dan OpenAI GPT-4 — yang mampu memproses teks, gambar, dan dalam beberapa kasus audio. Benchmark MMMU (Massive Multi-discipline Multimodal Understanding) menunjukkan bahwa Gemini Ultra memimpin dengan 59,4%, namun angka ini jauh di bawah tingkat kemampuan pakar manusia (82,6%).

Penalaran

GPQA. Benchmark Graduate-Level Google-Proof Q&A mencakup 448 pertanyaan sulit di bidang biologi, fisika, dan kimia yang tidak dapat dijawab hanya dengan pencarian di Google. GPT-4 dengan pencarian memperoleh skor 41,0%, lebih rendah dari tingkat pakar (72,5%), namun lebih tinggi dari non-pakar (30,5%).

Teori Pikiran (BigToM). Pengujian kemampuan LLM dalam memodelkan keyakinan orang lain menunjukkan bahwa GPT-4 mendekati tingkat kemampuan manusia dalam tugas inferensi langsung tentang keyakinan dan tindakan, meskipun masih tertinggal dalam tugas inferensi balik tentang keyakinan.

Pengkodean

Benchmark HumanEval mengevaluasi kemampuan pembuatan kode. Pada tahun 2023, model-model terus meningkatkan skor mereka, sementara SWE-bench — benchmark baru untuk mengevaluasi penyelesaian tugas rekayasa perangkat lunak nyata — menunjukkan bahwa bahkan model terbaik pun hanya mampu menyelesaikan sebagian kecil tugas, mengindikasikan potensi yang besar untuk kemajuan lebih lanjut.

Perilaku Agen

Sistem AI semakin sering diuji dalam skenario agen. Voyager (Microsoft) menunjukkan kemampuan belajar secara otonom dalam lingkungan Minecraft yang dinamis, mengumpulkan 3,3 kali lebih banyak item unik, menjelajahi 2,3 kali lebih jauh, dan mencapai pencapaian kunci 15,3 kali lebih cepat dibandingkan model-model pendahulunya. MLAgentBench menunjukkan bahwa agen AI untuk penelitian ilmiah memiliki potensi yang menjanjikan, namun hasilnya bervariasi secara signifikan antar tugas.

Properti LLM

Perilaku Emergent. Sebuah penelitian tahun 2023 mempertanyakan pandangan bahwa munculnya kemampuan 'emergent' yang tak terduga saat model diskalakan adalah suatu keniscayaan. Dengan menggunakan metrik linear dan kontinu, kemampuan-kemampuan tersebut sebagian besar menghilang.

Degradasi Kinerja. Penelitian dari Stanford dan Berkeley menunjukkan bahwa kinerja GPT-4 dapat berubah secara signifikan antar pembaruan: versi Juni 2023 terbukti 42 poin persentase lebih buruk dari versi Maret dalam pembuatan kode, dan 33 poin persentase lebih buruk dalam tugas matematika.

Koreksi Diri. Para peneliti dari DeepMind dan Universitas Illinois menunjukkan bahwa LLM kurang mampu mengoreksi penalaran mereka sendiri tanpa panduan eksternal: kinerja GPT-4 menurun pada semua benchmark yang diuji saat mencoba melakukan koreksi diri.

Bab 3. AI yang Bertanggung Jawab

Bab ini membahas dimensi-dimensi utama dari AI yang bertanggung jawab: privasi, transparansi, keamanan, dan keadilan.

Insiden di Bidang AI

Database AI Incident Database mencatat 123 insiden pada tahun 2023 — peningkatan sebesar 32,3% dibandingkan tahun 2022. Sejak tahun 2013, jumlah insiden meningkat lebih dari dua puluh kali lipat. Peningkatan ini disebabkan oleh perluasan penerapan AI maupun meningkatnya kesadaran akan risiko etisnya.

Standardisasi Benchmark Responsible AI

Analisis terhadap lima pengembang terkemuka (OpenAI, Meta, Anthropic, Google, Mistral AI) mengungkapkan tidak adanya satu set benchmark yang seragam untuk mengevaluasi Responsible AI. Meskipun benchmark kemampuan umum (MMLU, HellaSwag, ARC Challenge, HumanEval, GSM8K) digunakan secara luas, benchmark Responsible AI (TruthfulQA, RealToxicityPrompts, ToxiGen, BOLD, BBQ) diterapkan secara tidak merata: TruthfulQA hanya digunakan oleh tidak lebih dari tiga dari lima pengembang, dan satu pengembang sama sekali tidak melaporkan pengujian menggunakan benchmark Responsible AI.

AI dan Pemilihan Umum

Penelitian tahun 2023 menunjukkan bahwa manusia hanya berhasil mengidentifikasi audio deepfake dengan benar sebesar 73% kasus. Diperkirakan, seiring berkembangnya teknologi pembuatan suara, akurasi pengenalan akan semakin menurun. Hal ini menciptakan risiko manipulasi kampanye politik dan memberi peluang bagi politisi untuk menolak rekaman audio yang memberatkan sebagai palsu (yang dikenal sebagai "dividen pembohong").

Penelitian terhadap LLM tentang bias politik mengungkapkan korelasi antara respons default ChatGPT dengan posisi Partai Demokrat dan korelasi negatif dengan posisi Partai Republik.

Bab 4. Ekonomi

Bab ini meneliti tren investasi, ketenagakerjaan, adopsi AI korporat, dan robotisasi.

Investasi

Tren Umum. Total investasi korporat dalam AI turun menjadi 189,2 miliar dolar AS pada tahun 2023 (penurunan ~20% dibandingkan tahun 2022). Namun selama satu dekade, volume investasi meningkat tiga belas kali lipat. Investasi swasta mengalami penurunan untuk tahun kedua berturut-turut, meskipun penurunannya tidak separah periode 2021–2022.

AI Generatif. Investasi dalam AI generatif mencapai 25,2 miliar dolar AS — hampir sembilan kali lipat dibandingkan tahun 2022 dan tiga puluh kali lipat dibandingkan tahun 2019. AI generatif menyumbang lebih dari seperempat dari seluruh investasi swasta dalam AI.

Distribusi Regional. AS dengan investasi sebesar 67,2 miliar dolar AS mengungguli Tiongkok (7,8 miliar) sebesar 8,7 kali lipat dan Inggris (3,8 miliar) sebesar 17,8 kali lipat. Investasi swasta di Tiongkok turun sebesar 44,2%, di Uni Eropa dan Inggris sebesar 14,1%, sementara di AS tumbuh sebesar 22,1%.

Perusahaan Rintisan. Jumlah perusahaan AI baru yang memperoleh pendanaan meningkat menjadi 1.812 (tumbuh 40,6%). Di bidang AI generatif, 99 perusahaan rintisan baru mendapat pendanaan (dibandingkan 56 pada tahun 2022).

Pasar Tenaga Kerja

Proporsisi lowongan pekerjaan yang berkaitan dengan AI di AS menurun dari 2,0% pada tahun 2022 menjadi 1,6% pada tahun 2023. Tren serupa terlihat secara global. Penurunan ini disebabkan oleh berkurangnya rekrutmen dari perusahaan AI besar dan menurunnya proporsi lowongan teknis.

Migrasi spesialis AI dari akademisi ke industri terus meningkat: pada tahun 2022, 70,7% pemegang gelar doktor baru di bidang AI bergabung ke industri (dibandingkan 40,9% pada tahun 2011), dan hanya 20,0% yang bergabung ke akademisi (dibandingkan 41,6%).

Adopsi Korporat

Menurut data McKinsey, 55% organisasi menggunakan AI (termasuk AI generatif) di setidaknya satu unit bisnis — meningkat dari 50% pada tahun 2022 dan 20% pada tahun 2017. Selain itu, 42% organisasi melaporkan penurunan biaya, dan 59% melaporkan peningkatan pendapatan berkat AI.

Penyebutan AI dalam laporan laba rugi perusahaan Fortune 500 mencapai 394 (hampir 80% dari semua perusahaan) — peningkatan yang signifikan dari 266 pada tahun 2022. Topik yang paling sering disebutkan (19,7% dari semua panggilan) adalah AI generatif.

Robotika

Pada tahun 2022, sebanyak 553.000 robot industri dipasang — meningkat 5,1% dibandingkan tahun 2021 dan lebih dari tiga kali lipat sejak tahun 2012. Tiongkok mendominasi: sejak tahun 2013, ketika negara ini melampaui Jepang, pangsa Tiongkok tumbuh dari 20,8% menjadi 52,4% dari total pemasangan robot dunia pada tahun 2022. Pangsa robot kolaboratif meningkat dari 2,8% pada tahun 2017 menjadi 9,9% pada tahun 2022.

Bab 5. Ilmu Pengetahuan dan Kedokteran

Bab yang pertama kali dimuat dalam laporan ini menyoroti peran AI dalam penemuan ilmiah dan inovasi medis.

Pencapaian Ilmiah Tahun 2023

AlphaDev (DeepMind) — sistem Reinforcement Learning yang menemukan algoritma pengurutan dengan jumlah instruksi lebih sedikit dibandingkan tolok ukur yang dibuat manusia. Beberapa algoritma yang ditemukan telah dimasukkan ke dalam pustaka pengurutan standar C++ (LLVM) — pembaruan pertama pada bagian pustaka tersebut dalam lebih dari sepuluh tahun.

GraphCast (DeepMind) — sistem prediksi cuaca berbasis graph neural network yang menghasilkan prakiraan 10 hari dalam waktu kurang dari satu menit dengan akurasi yang melampaui sistem pemodelan terdepan HRES (Pusat Eropa untuk Prakiraan Cuaca Jangka Menengah).

GNoME (Google DeepMind) — model yang menggunakan graph network untuk mempercepat pencarian material fungsional baru, yang sangat penting bagi kemajuan di bidang robotika dan industri semikonduktor.

Synbot — robot kimiawan yang dikendalikan AI untuk sintesis molekul organik secara otonom, mencapai hasil reaksi yang setara dengan atau melampaui nilai referensi.

FlexiCubes (NVIDIA) — metode optimasi mesh 3D menggunakan AI untuk meningkatkan kualitas pembuatan objek 3D dalam grafika komputer.

AI dalam Kedokteran

Pengetahuan Klinis. Pada benchmark MedQA (evaluasi pengetahuan klinis AI), model GPT-4 Medprompt mencapai akurasi 90,2% — meningkat 22,6 poin persentase dibandingkan hasil terbaik tahun 2022. Sejak benchmark ini dibuat pada tahun 2019, kinerja AI pada MedQA hampir tiga kali lipat. Yang menarik, GPT-4 Medprompt menggunakan rekayasa prompt alih-alih fine-tuning, melampaui model medis khusus.

MediTron-70B — LLM medis open source yang mencapai 70,2% pada MedQA — hasil terbaik di antara model open source, meskipun masih di bawah performa model tertutup GPT-4 Medprompt dan Med-PaLM 2.

Inovasi Medis. Di antara sistem-sistem signifikan tahun 2023: SynthSR (peningkatan visualisasi struktur otak dari pemindaian MRI berkualitas rendah), ImmunoSEIRA (sensor inframerah berbasis AI untuk diagnosis penyakit neurodegeneratif), EVEscape (prediksi evolusi virus untuk pencegahan pandemi), AlphaMissense (klasifikasi mutasi missense).

Persetujuan FDA. Pada tahun 2022, FDA menyetujui 139 perangkat medis berbasis AI — meningkat 12,1% dibandingkan tahun 2021. Sejak tahun 2012, jumlah persetujuan semacam itu meningkat lebih dari 45 kali lipat.

Bab 6. Pendidikan

Bab ini membahas tren dalam pendidikan di bidang ilmu komputer dan AI.

Pendidikan Tinggi

Jumlah lulusan sarjana ilmu komputer di AS dan Kanada terus meningkat. Jumlah lulusan magister tetap relatif stabil, sementara jumlah doktor mengalami peningkatan yang moderat. Sejak tahun 2018, jumlah magister dan doktor ilmu komputer mengalami sedikit penurunan.

Proporsi mahasiswa internasional berkurang di semua jenjang pendidikan, terutama terlihat jelas pada tingkat magister. Secara global, jumlah program pendidikan berbahasa Inggris yang berkaitan dengan AI telah meningkat tiga kali lipat sejak tahun 2017.

ChatGPT dalam Pendidikan

Menurut survei Walton Foundation, 88% guru dan 79% siswa berpendapat bahwa ChatGPT memberikan dampak positif pada proses pendidikan. Sebanyak 76% guru dan 65% siswa beranggapan bahwa penting untuk mengintegrasikan ChatGPT dalam pembelajaran.

Bab 7. Kebijakan dan Tata Kelola

Bab ini menganalisis aktivitas legislatif dan regulasi di bidang AI pada tingkat global, Amerika Serikat, dan Eropa.

Tren Global

Penyebutan AI dalam proses legislatif di seluruh dunia mencapai tingkat rekor. Terjadi pergeseran dari kebijakan yang bersifat mendorong semata menuju legislasi yang lebih restriktif, yang menunjukkan meningkatnya perhatian regulator terhadap potensi risiko AI.

Topik perundang-undangan yang disahkan pada tahun 2023 meluas secara signifikan, mencakup angkatan bersenjata dan keamanan nasional, hak sipil, perdagangan, pendidikan, hubungan ketenagakerjaan, serta ilmu pengetahuan dan teknologi.

Regulasi di AS

Jumlah regulasi yang berkaitan dengan AI mencapai 25 pada tahun 2023 (meningkat 56,3% dibandingkan tahun 2022). Topik yang paling umum adalah perdagangan luar negeri dan keuangan internasional. Proporsi regulasi dengan relevansi tinggi dan sedang terhadap AI meningkat dibandingkan tahun-tahun sebelumnya.

Peristiwa bersejarah tahun 2023 adalah Perintah Eksekutif Presiden Biden tentang AI (Executive Order on AI), yang bertujuan antara lain untuk membentuk National AI Research Resource guna memastikan kesetaraan peluang antara industri dan akademisi.

Regulasi di Uni Eropa

Di Uni Eropa, terdapat tren serupa berupa peningkatan jumlah regulasi yang berkaitan dengan AI. Pencapaian penting tahun 2023 adalah kemajuan AI Act — undang-undang AI komprehensif pertama di dunia.

Bab 8. Keberagaman

Bab ini meneliti keberagaman gender dan etnis di kalangan spesialis AI. Meskipun terdapat kemajuan tertentu, perempuan dan kelompok minoritas masih sangat kurang terwakili di bidang AI, baik di industri maupun di akademisi.

Bab 9. Opini Publik

Bab ini menganalisis persepsi publik terhadap AI berdasarkan survei internasional dan data media sosial.

Survei Internasional

Kesadaran dan Kekhawatiran. Menurut data Ipsos, 66% responden (meningkat dari 60%) berpendapat bahwa AI akan berdampak signifikan pada kehidupan mereka dalam 3–5 tahun ke depan. Selain itu, 52% mengungkapkan kekhawatiran terhadap produk AI (meningkat 13 poin persentase sejak 2022).

Ekspektasi Ekonomi. Hanya 37% responden yang berpendapat bahwa AI akan meningkatkan pekerjaan mereka, 34% berpendapat akan meningkatkan perekonomian, dan 32% berpendapat akan memberikan dampak positif pada pasar tenaga kerja.

Perbedaan Demografis. Generasi muda jauh lebih optimistis: 59% dari Generasi Z berpendapat bahwa AI akan meningkatkan hiburan, dibandingkan 40% dari generasi baby boomer. Orang dengan tingkat pendapatan dan pendidikan lebih tinggi juga lebih optimistis.

Pengenalan ChatGPT. Berdasarkan survei internasional Universitas Toronto, 63% responden mengetahui ChatGPT, dan sekitar separuhnya menggunakannya setidaknya sekali seminggu.

Data Media Sosial

Analisis Quid terhadap lebih dari 7 juta posting media sosial selama tahun 2023 mengungkapkan bahwa model GraphCast dan Claude 2.1 memperoleh net sentiment score tertinggi. GPT-4 menarik perhatian terbesar pada kuartal pertama, sementara menjelang akhir tahun fokus bergeser ke Gemini dan Grok.

Model AI Signifikan Tahun 2023

Laporan ini mencatat kemunculan sejumlah model-model kunci:

Model	Pengembang	Jenis	Tanggal	Signifikansi
GPT-4	OpenAI	LLM, multimodal	Maret 2023	Salah satu LLM paling canggih; pemimpin HELM
PaLM 2	Google	LLM	Mei 2023	Kemampuan multibahasa yang diperluas
Llama 2	Meta	LLM (terbuka)	Juli 2023	Model terbuka terdepan; versi 7B/13B/70B
Claude 2 / 2.1	Anthropic	LLM	Juli / November 2023	Jendela konteks hingga 200K token
Mistral 7B	Mistral AI	LLM (terbuka)	September 2023	Model kompak berkinerja tinggi
DALL-E 3	OpenAI	Pembuatan gambar	Oktober 2023	Kualitas dan kepatuhan terhadap prompt yang ditingkatkan
Gemini / Gemini Ultra	Google	LLM, multimodal	Desember 2023	LLM pertama yang melampaui manusia pada MMLU
Mixtral 8×7B	Mistral AI	LLM (MoE, terbuka)	Desember 2023	Arsitektur Mixture-of-Experts
Midjourney v6	Midjourney	Pembuatan gambar	Desember 2023	Kualitas dan prompt yang lebih intuitif
Whisper v3	OpenAI	Pengenalan suara	November 2023	Akurasi ditingkatkan, dukungan bahasa diperluas

Metodologi

Laporan ini menggunakan data dari berbagai sumber:

• Publikasi dan paten: OpenAlex, WIPO, USPTO, data Epoch AI.
• Benchmark: Papers With Code, CRFM (HELM), leaderboard khusus.
• Investasi: Quid (Capital IQ, Crunchbase), data dari lebih dari 8 juta perusahaan.
• Pasar tenaga kerja: Lightcast, LinkedIn, Stack Overflow.
• Aktivitas korporat: McKinsey & Company, Seeking Alpha (earnings calls).
• Robotika: International Federation of Robotics (IFR).
• Regulasi: Federal Register (AS), EUR-Lex (Uni Eropa), Govini.
• Opini publik: Ipsos, Pew Research Center, University of Toronto (GPO-AI), Quid (media sosial).
• Pendidikan: CRA Taulbee Survey, Informatics Europe, Studyportals, Code.org, Walton Foundation.
• Kedokteran: FDA, Papers With Code (MedQA).

Estimasi biaya pelatihan model disiapkan bersama Epoch AI berdasarkan analisis jenis dan jumlah perangkat keras, durasi pelatihan, serta harga sewa cloud.

Tim Penulis

Laporan ini disusun di bawah arahan ko-direktur Ray Perrault dan Jack Clark dengan kontribusi dari berbagai peneliti dan organisasi mitra. AI Index merupakan proyek Stanford HAI (Human-Centered Artificial Intelligence).

Tautan

• Stanford HAI — AI Index Report 2024 (teks lengkap): https://aiindex.stanford.edu/report/
• Epoch AI — data biaya pelatihan dan tren komputasi: https://epochai.org/
• Papers With Code — benchmark dan leaderboard: https://paperswithcode.com/
• CRFM HELM — Holistic Evaluation of Language Models: https://crfm.stanford.edu/helm/
• AI Incident Database: https://incidentdatabase.ai/
• International Federation of Robotics: https://ifr.org/
• McKinsey Global Survey on AI: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai

Daftar Pustaka

• Stanford HAI (2024). Artificial Intelligence Index Report 2024. https://aiindex.stanford.edu/report/
• Epoch AI (2023). AI Training Cost Estimates and Compute Trends. https://epochai.org/
• Liang, P. et al. (2022). Holistic Evaluation of Language Models. https://arxiv.org/abs/2211.09110
• Hendrycks, D. et al. (2021). Measuring Massive Multitask Language Understanding. https://arxiv.org/abs/2009.03300
• Yue, X. et al. (2023). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark. https://arxiv.org/abs/2311.16502
• Rein, D. et al. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. https://arxiv.org/abs/2311.12022
• Gandhi, K. et al. (2023). Understanding Social Reasoning in Language Models with Language Models. https://arxiv.org/abs/2306.15448
• Schaeffer, R. et al. (2023). Are Emergent Abilities of Large Language Models a Mirage? https://arxiv.org/abs/2304.15004
• Chen, L. et al. (2023). How Is ChatGPT's Behavior Changing over Time? https://arxiv.org/abs/2307.09009
• Wang, G. et al. (2023). Voyager: An Open-Ended Embodied Agent with Large Language Models. https://arxiv.org/abs/2305.16291
• Mankowitz, D. J. et al. (2023). Faster sorting algorithms discovered using deep reinforcement learning. Nature. https://doi.org/10.1038/s41586-023-06004-9
• Lam, R. et al. (2023). Learning skillful medium-range global weather forecasting. Science. https://doi.org/10.1126/science.adi2336
• Merchant, A. et al. (2023). Scaling deep learning for materials discovery. Nature. https://doi.org/10.1038/s41586-023-06735-9
• Ha, T. et al. (2023). AI-driven robotic chemist for autonomous synthesis of organic molecules. Science Advances. https://doi.org/10.1126/sciadv.adj0461
• Shen, T. et al. (2023). Flexible Isosurface Extraction for Gradient-Based Mesh Optimization. ACM Transactions on Graphics. https://doi.org/10.1145/3592430
• Nori, H. et al. (2023). Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine. https://arxiv.org/abs/2311.16452
• Chen, Z. et al. (2023). MEDITRON-70B: Scaling Medical Pretraining for Large Language Models. https://arxiv.org/abs/2311.16079
• Mai, K. T. et al. (2023). Warning: Humans Cannot Reliably Detect Speech Deepfakes. https://arxiv.org/abs/2301.07829
• Motoki, F. et al. (2023). More Human than Human: Measuring ChatGPT Political Bias. https://doi.org/10.1007/s11127-023-01097-2
• McKinsey & Company (2023). The State of AI in 2023: Generative AI's Breakout Year. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
• International Federation of Robotics (2023). World Robotics Report 2023. https://ifr.org/worldrobotics/
• The White House (2023). Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/
• Fleming, S. L. et al. (2023). MedAlign: A Clinician-Generated Dataset for Instruction Following With Electronic Medical Records. https://arxiv.org/abs/2308.14089
• Iglesias, J. E. et al. (2023). SynthSR: A public AI tool to turn heterogeneous clinical brain scans into high-resolution T1-weighted images for 3D morphometry. Science Advances. https://doi.org/10.1126/sciadv.add3607
• Cheng, J. et al. (2023). Accurate Proteome-Wide Missense Variant Effect Prediction With AlphaMissense. Science. https://doi.org/10.1126/science.adg7492