The 2022 AI Index Report (ID)

AI Index Report 2022 — edisi tahunan kelima dari laporan AI Index yang disusun oleh Stanford Institute for Human-Centered Artificial Intelligence (Stanford HAI). Laporan tahun 2022 merupakan edisi paling komprehensif pada saat penerbitannya dan hadir di tengah penerapan sistem AI secara besar-besaran dalam perekonomian. Edisi ini untuk pertama kalinya memuat bab tersendiri yang berisi analisis mendalam tentang etika teknis AI, tinjauan luas tentang robotika berdasarkan survei global terhadap para peneliti, serta data mengenai inisiatif legislatif di bidang AI di 25 negara di seluruh dunia. Laporan ini melacak, mengklasifikasikan, dan memvisualisasikan data yang berkaitan dengan kecerdasan buatan, menyediakan informasi yang objektif dan terverifikasi secara cermat bagi para pembuat kebijakan, peneliti, eksekutif, jurnalis, dan masyarakat umum.

Struktur Laporan

Laporan tahun 2022 terdiri dari lima bab tematik dan lampiran:

1. Penelitian dan Pengembangan (Research and Development) — tren dalam publikasi, paten, konferensi, dan perangkat lunak sumber terbuka.
2. Kinerja Teknis (Technical Performance) — benchmark dalam computer vision, pemrosesan bahasa, ucapan, sistem rekomendasi, Reinforcement Learning, perangkat keras, dan robotika.
3. Etika Teknis AI (Technical AI Ethics) — bab baru: metrik keadilan dan bias, toksisitas model bahasa, distorsi multimodal, pengecekan fakta, dan kejujuran.
4. Ekonomi dan Pendidikan (The Economy and Education) — pasar tenaga kerja, investasi, penerapan AI di perusahaan, dan pengembangan sumber daya manusia.
5. Kebijakan dan Tata Kelola AI (AI Policy and Governance) — legislasi, regulasi, dan strategi nasional.

Temuan Utama Laporan

Para penulis laporan merumuskan sejumlah tesis utama tahun 2022:

1. Investasi swasta dalam AI meningkat tajam dan konsentrasi modal semakin menguat

Investasi swasta dalam AI pada tahun 2021 mencapai sekitar 93,5 miliar dolar — lebih dari dua kali lipat angka tahun 2020. Pada saat yang sama, jumlah perusahaan AI yang baru mendapatkan pendanaan terus menurun: dari 1.051 pada tahun 2019 dan 762 pada tahun 2020 menjadi 746 pada tahun 2021. Jika pada tahun 2020 hanya 4 putaran pendanaan yang melampaui 500 juta dolar, maka pada tahun 2021 jumlah putaran semacam itu meningkat menjadi 15.

2. Amerika Serikat dan Tiongkok mendominasi kerja sama internasional di bidang AI

Meski ketegangan geopolitik meningkat, Amerika Serikat dan Tiongkok mencatat jumlah publikasi bersama di bidang AI terbesar selama periode 2010–2021, dengan volume kerja sama meningkat lima kali lipat sejak 2010. Pasangan ini menghasilkan 2,7 kali lebih banyak publikasi dibandingkan pasangan berikutnya — Inggris dan Tiongkok.

3. Model bahasa semakin canggih, namun juga semakin bias

Model bahasa besar (Large Language Models) mencetak rekor baru pada benchmark teknis, namun data menunjukkan bahwa model yang lebih besar cenderung lebih kuat mereproduksi bias dari data pelatihan. Model dengan 280 miliar parameter (Gopher, DeepMind, 2021) menunjukkan toksisitas yang dipicu 29% lebih tinggi dibandingkan model dengan 117 juta parameter yang dianggap mutakhir pada tahun 2018.

4. Kejayaan etika AI

Penelitian di bidang keadilan dan transparansi AI mengalami pertumbuhan eksplosif sejak 2014: jumlah publikasi di konferensi etika khusus meningkat lima kali lipat. Keadilan algoritmik dan bias telah berhenti menjadi topik akademis semata dan telah berkembang menjadi arus utama penelitian. Peneliti dengan afiliasi industri meningkatkan kontribusi mereka di konferensi etika sebesar 71% per tahun.

5. AI menjadi lebih terjangkau dan lebih bertenaga

Sejak 2018, biaya pelatihan sistem klasifikasi gambar turun 63,6%, sementara waktu pelatihan membaik 94,4%. Tren serupa berupa penurunan biaya dan percepatan pelatihan juga diamati pada kategori tugas MLPerf lainnya: rekomendasi, deteksi objek, dan pemrosesan bahasa.

6. Data sebagai sumber daya utama

Hasil terbaik pada benchmark teknis semakin sering dicapai melalui penggunaan data pelatihan tambahan. Per tahun 2021, 9 dari 10 sistem AI terdepan pada benchmark yang ditinjau dilatih menggunakan data tambahan. Tren ini secara implisit menguntungkan perusahaan sektor swasta yang memiliki akses ke dataset yang luas.

7. Legislasi AI di seluruh dunia tumbuh dengan pesat

Analisis AI Index terhadap 25 negara menunjukkan bahwa jumlah undang-undang yang disahkan dan mengandung istilah "kecerdasan buatan" meningkat dari 1 pada tahun 2016 menjadi 18 pada tahun 2021. Pemimpin tahun 2021 adalah Spanyol, Inggris, dan Amerika Serikat — masing-masing dengan tiga undang-undang yang disahkan.

8. Lengan robot menjadi lebih murah

Survei AI Index menunjukkan bahwa harga median lengan robot turun 46,2% dalam lima tahun — dari 42.000 dolar pada tahun 2017 menjadi 22.600 dolar pada tahun 2021, membuat penelitian di bidang robotika semakin terjangkau.

9. Model multimodal mewarisi bias multimodal

Model multimodal bahasa dan visi (seperti CLIP) mencetak rekor baru dalam tugas klasifikasi gambar dan pembuatan gambar dari deskripsi teks, namun model-model tersebut juga mereproduksi stereotip dan bias sosial. Eksperimen dengan CLIP menunjukkan bahwa gambar orang kulit hitam secara keliru diklasifikasikan sebagai "bukan manusia" lebih dari dua kali lebih sering dibandingkan gambar dari ras lain mana pun.

10. Pergerakan menuju Reinforcement Learning yang lebih umum

Selama satu dekade terakhir, sistem AI berhasil menguasai tugas Reinforcement Learning yang sempit (misalnya, catur — mesin catur terbaik melampaui peringkat maksimum Magnus Carlsen sebesar 24%). Namun, dalam dua tahun terakhir, sistem AI juga meningkatkan hasil sebesar 129% dalam tugas Reinforcement Learning yang lebih umum (Procgen), yang mengharuskan bertindak dalam lingkungan baru yang tidak dikenal.

Bab 1. Penelitian dan Pengembangan

Bab ini menganalisis tren dalam publikasi, paten, konferensi, dan perangkat lunak sumber terbuka.

Publikasi

Jumlah total publikasi AI berbahasa Inggris terus meningkat dan mencapai 334.500 pada tahun 2021.

Berdasarkan jenis publikasi. Pada tahun 2021, lebih dari 56.700 publikasi diterbitkan di repositori (arXiv dan lain-lain), yang mencerminkan peran preprin yang semakin besar dalam penelitian AI.

Berdasarkan distribusi geografis. Pada tahun 2021, Tiongkok terus memimpin dalam jumlah total publikasi di jurnal, konferensi, dan repositori — 63,2% lebih banyak dari Amerika Serikat. Sementara itu, Amerika Serikat mempertahankan kepemimpinan dominan dalam jumlah kutipan publikasi konferensi dan repositori:

Indikator	Tiongkok	Uni Eropa + Inggris	Amerika Serikat
Pangsa publikasi konferensi (2021)	27,6%	19,0%	16,9%
Pangsa kutipan konferensi (2021)	15,3%	23,3%	29,5%
Pangsa publikasi repositori (2021)	16,6%	23,9%	32,5%
Pangsa kutipan repositori (2021)	16,4%	20,1%	38,6%

Kolaborasi lintas sektor. Dari tahun 2010 hingga 2021, jumlah publikasi AI bersama terbanyak dihasilkan oleh kolaborasi antara lembaga pendidikan dan organisasi nirlaba, kemudian antara perusahaan swasta dan lembaga pendidikan, serta antara lembaga pendidikan dan institusi pemerintah.

Paten

Jumlah permohonan paten di bidang AI yang diajukan pada tahun 2021 melebihi angka tahun 2015 lebih dari 30 kali lipat, dengan tingkat pertumbuhan tahunan rata-rata 76,9%. Berdasarkan distribusi regional, Asia Timur dan Kawasan Pasifik mendominasi dengan pangsa 62,1% permohonan paten. Tiongkok mengajukan permohonan paten tiga kali lebih banyak dari Amerika Serikat — 87.343 permohonan dengan 1.407 paten yang disetujui pada tahun 2021.

Konferensi

Jumlah peserta konferensi AI terkemuka pada tahun 2021 tetap berada pada level tahun 2020 — lebih dari 88.000 peserta di seluruh dunia. Sebagian besar konferensi masih diselenggarakan dalam format virtual akibat pandemi COVID-19. Hanya ICRA dan EMNLP yang menggunakan format hibrida.

Bab 2. Kinerja Teknis

Bab ini menyajikan analisis mendalam mengenai kemajuan dalam computer vision, pemrosesan bahasa, ucapan, sistem rekomendasi, Reinforcement Learning, perangkat keras, dan robotika.

Computer Vision

ImageNet. Akurasi klasifikasi gambar pada ImageNet terus meningkat. Sistem yang menggunakan data pelatihan tambahan menunjukkan hasil yang jauh lebih tinggi. Pada tahun 2021, model CoAtNet yang dilatih pada ImageNet-21K + JFT mencapai top-1 accuracy 90,88%, yang secara substansial melampaui tingkat manusia (sekitar 94,9% berdasarkan top-5).

Sub-tugas khusus. Pada tahun 2021, terdapat peningkatan minat terhadap sub-tugas khusus dalam computer vision — segmentasi gambar medis dan identifikasi wajah bermasker. Misalnya, jika sebelum tahun 2020 hanya 3 karya penelitian yang menguji sistem pada benchmark Kvasir-SEG (pencitraan medis), maka pada tahun 2021 jumlah karya tersebut mencapai 25.

Penalaran Akal Sehat Visual (VCR). Pada akhir tahun 2021, hasil terbaik pada benchmark Visual Commonsense Reasoning mencapai 72,0 — peningkatan 63,6% sejak 2018, meskipun sistem masih jauh tertinggal dari tingkat manusia. Peningkatan menjadi semakin marginal, mengindikasikan perlunya pendekatan baru.

Pemrosesan Bahasa Alami

SuperGLUE. Di puncak leaderboard SuperGLUE terdapat model SS-MoE dengan skor 91,0, melampaui tingkat manusia (89,8). Kemajuan pesat pada SuperGLUE menandakan perlunya pengembangan benchmark bahasa yang lebih kompleks.

SQuAD. Sistem AI melampaui tingkat manusia pada benchmark SQuAD 2.0 dalam pemahaman bacaan sebesar 1–5%, namun pada tugas yang lebih sulit seperti penalaran logis abduktif berbahasa alami (aNLI), manusia masih unggul atas AI, meskipun kesenjangan menyempit dari 9 poin persentase pada tahun 2019 menjadi 1 poin persentase pada tahun 2021.

Penerjemahan mesin. Jumlah sistem penerjemahan mesin yang tersedia secara komersial terus meningkat, dan kualitas terjemahan pada pasangan bahasa utama (WMT 2014) terus meningkat secara stabil.

Pengenalan Ucapan

Pada benchmark LibriSpeech (Test-Clean), tingkat kesalahan pengenalan kata (WER) terus menurun, mendekati tingkat manusia. Kemajuan juga dicapai pada dataset ucapan yang lebih menantang.

Reinforcement Learning

Atari-57. Sistem Reinforcement Learning terus berkembang dalam tugas klasik Arcade Learning Environment. Model MuZero (DeepMind) tetap menjadi salah satu yang terdepan.

Procgen. Pada benchmark Procgen, yang menguji kemampuan generalisasi dalam lingkungan baru, sistem AI meningkatkan hasilnya sebesar 129% dalam dua tahun, yang menunjukkan pergerakan menuju agen yang lebih umum.

Catur. Mesin catur perangkat lunak terbaik melampaui peringkat ELO maksimum Magnus Carlsen sebesar 24%.

Perangkat Keras dan Biaya Pelatihan

MLPerf. Data benchmark MLPerf menunjukkan penurunan waktu pelatihan yang stabil bersamaan dengan peningkatan jumlah akselerator yang digunakan. Kesenjangan antara jumlah rata-rata akselerator pada para pemimpin dan semua peserta tumbuh 9 kali lipat dari 2018 hingga 2021, yang menunjukkan meningkatnya kebutuhan terhadap sumber daya perangkat keras.

Biaya pelatihan ImageNet. Biaya pelatihan sistem klasifikasi gambar berkinerja tinggi hingga akurasi 93% turun dari 1.112,6 dolar pada tahun 2017 menjadi 4,6 dolar pada tahun 2021 — penurunan 223 kali lipat dalam empat tahun.

Robotika

Harga lengan robot. Survei AI Index yang dilakukan terhadap 509 profesor robotika dari 67 universitas di seluruh dunia menemukan penurunan harga median lengan robot sebesar 46,2% — dari 42.000 dolar pada tahun 2017 menjadi 22.600 dolar pada tahun 2021.

Keahlian AI dalam robotika. 67% profesor robotika yang disurvei melaporkan penggunaan deep learning, dan 46% menggunakan Reinforcement Learning dalam penelitian mereka.

Bab 3. Etika Teknis AI

Bab yang untuk pertama kalinya dimasukkan ke dalam laporan ini menyajikan analisis mendalam mengenai metrik keadilan dan bias, toksisitas model bahasa, distorsi multimodal, serta isu-isu pengecekan fakta dan kejujuran AI.

Meta-analisis metrik keadilan dan bias

Jumlah metrik untuk mengukur bias dan keadilan AI terus meningkat secara stabil sejak 2018. Metrik dibagi menjadi dua jenis utama: dataset benchmark (misalnya, StereoSet, CrowS-Pairs) yang mengukur perilaku internal model, dan metrik diagnostik (misalnya, paritas demografis, kesetaraan peluang) yang menilai dampak model terhadap kelompok populasi tertentu.

Toksisitas model bahasa

RealToxicityPrompts. Toksisitas model bahasa sangat bergantung pada data pelatihan. Model yang dilatih pada teks yang telah disaring dari konten beracun (misalnya, C4 dengan penyaringan) secara signifikan kurang beracun dibandingkan model yang dilatih pada konten internet yang tidak disaring.

Skala dan toksisitas. Analisis model Gopher (DeepMind, 280 miliar parameter) menunjukkan bahwa model yang lebih besar lebih cenderung menghasilkan kelanjutan yang beracun ketika diberikan prompt yang sesuai, namun sekaligus lebih mampu mengenali konten beracun.

Detoksifikasi. Metode detoksifikasi model bahasa (DAPT, PPLM, GeDi) secara konsisten menyebabkan penurunan kinerja, dan penurunan yang tidak proporsional lebih besar terjadi pada bahasa Inggris Afrika-Amerika dan teks yang mengandung penyebutan kelompok minoritas.

Stereotip dan bias

StereoSet mengukur bias stereotip berdasarkan dimensi gender, ras, agama, dan profesi. CrowS-Pairs menilai tingkat bias stereotip dalam model bahasa bertopeng. Winogender dan WinoBias menguji bias gender dalam tugas koreferensi, sedangkan WinoMT mengujinya dalam penerjemahan mesin.

Bias multimodal (CLIP)

Model CLIP (Contrastive Language-Image Pretraining, OpenAI) menunjukkan hasil yang mengesankan dalam klasifikasi gambar, namun mewarisi bias berdasarkan gender, ras, dan usia dari data pelatihan (400 juta pasangan "gambar–teks" dari internet). Temuan utama:

• Kerugian diskreditasi: ketika kategori bukan manusia dan kriminal ditambahkan ke klasifikasi, gambar orang kulit hitam secara keliru dikategorikan ke dalam kategori bukan manusia dalam 14% kasus — dua kali lebih banyak dibandingkan ras lain.
• Bias gender: label "pengasuh bayi" dan "pembantu rumah tangga" dikaitkan dengan perempuan, sedangkan "narapidana" dan "anggota mafia" dikaitkan dengan laki-laki.
• Penyebaran bias: bias CLIP ditransfer ke dataset LAION-400M yang dikurasi menggunakan embedding CLIP, sehingga berdampak pada semua aplikasi turunannya.

Pengecekan fakta dan kejujuran

TruthfulQA. Analisis beberapa keluarga model bahasa pada benchmark TruthfulQA menunjukkan bahwa penskalaan model dasar (keluarga GPT-3) menyebabkan penurunan kejujuran. Namun, model yang di-fine-tune menggunakan umpan balik manusia (InstructGPT, WebGPT) menjadi lebih jujur seiring dengan penskalaan.

FEVER. Pada benchmark FEVER (Fact Extraction and VERification), sistem pengecekan fakta otomatis terus berkembang, meskipun masih tertinggal dari tingkat manusia.

Tren di konferensi etika

Analisis publikasi di konferensi FAccT (Fairness, Accountability, and Transparency) dan workshop tematik NeurIPS mengungkapkan peningkatan karya tentang interpretabilitas, eksplainabilitas, penalaran kausal, privasi, pengumpulan data, keadilan, dan bias. Peneliti dengan afiliasi industri secara signifikan meningkatkan kontribusi mereka di forum-forum ini.

Bab 4. Ekonomi dan Pendidikan

Bab ini meneliti tren di pasar tenaga kerja, investasi, penerapan AI di perusahaan, dan pengembangan sumber daya manusia.

Pasar Tenaga Kerja

Perekrutan spesialis AI. Berdasarkan data LinkedIn, Selandia Baru mencatat pertumbuhan perekrutan spesialis AI terbesar — 2,42 kali lipat dari tahun 2016 hingga 2021, diikuti oleh Hong Kong (1,56×), Irlandia (1,28×), Luksemburg (1,26×), dan Swedia (1,24×).

Lowongan kerja. Berdasarkan data Emsi Burning Glass, Singapura memimpin dalam pangsa lowongan AI dari semua lowongan — 2,33%, diikuti oleh Amerika Serikat (0,90%), Kanada (0,78%), dan Inggris (0,74%). Di Amerika Serikat, jumlah lowongan AI terbanyak terdapat di California (lebih dari 2,35 kali lipat dibandingkan Texas), sedangkan pangsa lowongan AI terbesar terdapat di Washington D.C..

Investasi

Tren umum. Total investasi korporat dalam AI pada tahun 2021 mencapai rekor 176,5 miliar dolar, di mana investasi swasta mencapai 93,5 miliar (meningkat lebih dari dua kali lipat dibandingkan tahun 2020), merger dan akuisisi sekitar 72 miliar, dan penawaran umum sekitar 9,5 miliar.

Distribusi regional. Amerika Serikat memimpin dengan investasi swasta sekitar 52,9 miliar dolar — lebih dari tiga kali lipat dibandingkan Tiongkok (17,2 miliar). Inggris menempati posisi ketiga (4,65 miliar), diikuti oleh Israel (2,4 miliar) dan Jerman (1,98 miliar).

Negara	Investasi Swasta 2021 (miliar USD)	Investasi Swasta 2013–2021 (miliar USD)
Amerika Serikat	52,9	149,0
Tiongkok	17,2	61,9
Inggris	4,65	10,8
Israel	2,4	6,1
Jerman	1,98	3,9
India	1,87	10,8

Fokus sektoral. Volume investasi swasta terbesar pada tahun 2021 menarik bidang "manajemen data, pemrosesan, dan cloud" — 2,6 kali lebih banyak dibandingkan tahun 2020, diikuti oleh "kedokteran dan layanan kesehatan" (11,29 miliar) dan "fintech" (10,26 miliar).

Konsentrasi modal. Ukuran rata-rata transaksi investasi swasta dalam AI pada tahun 2021 meningkat 81,1% dibandingkan tahun 2020. Sementara itu, jumlah perusahaan AI yang baru mendapatkan pendanaan menurun untuk tahun ketiga berturut-turut (sejak puncaknya pada tahun 2018).

Penerapan di Perusahaan

Berdasarkan data McKinsey, tingkat rata-rata penerapan AI oleh organisasi pada tahun 2021 mencapai 56% (naik 6 poin persentase dari tahun 2020). India memimpin (65%), diikuti oleh negara-negara maju di kawasan Asia-Pasifik (64%), pasar berkembang (57%), dan Amerika Utara (55%).

Manajemen risiko. Upaya untuk menangani masalah etika AI di industri masih terbatas: meskipun 29% responden McKinsey mengakui "keadilan dan kesetaraan" sebagai risiko dalam penerapan AI, hanya 19% yang mengambil langkah-langkah untuk menguranginya. Demikian pula, 41% mengakui "eksplainabilitas" sebagai risiko, tetapi hanya 27% yang bekerja untuk memastikannya.

Pendidikan

Sarjana (S1). Jumlah lulusan sarjana ilmu komputer di Amerika Utara (di universitas yang memberikan gelar doktor) meningkat 3,5 kali lipat dari tahun 2010 hingga 2020, mencapai lebih dari 31.000 orang — naik 11,6% dibandingkan tahun 2019.

Program Doktoral. Pada tahun 2020, setiap satu dari lima lulusan PhD ilmu komputer berspesialisasi dalam AI/Machine Learning — spesialisasi paling populer selama satu dekade terakhir. Jumlah PhD dengan spesialisasi ini meningkat 72,05% dari tahun 2010 hingga 2020.

Bab 5. Kebijakan dan Tata Kelola AI

Bab ini menganalisis aktivitas legislatif dan regulasi di bidang AI pada tingkat global dan per negara.

Legislasi Global

Analisis AI Index mencakup inisiatif legislatif di 25 negara. Selama periode 2016–2021, disahkan 55 undang-undang yang mengandung penyebutan "kecerdasan buatan". Pertumbuhan ini tajam: dari 1 undang-undang pada tahun 2016 menjadi 18 pada tahun 2021.

Pemimpin berdasarkan jumlah undang-undang yang disahkan (2016–2021):

Negara	Undang-undang (2016–2021)	Undang-undang (2021)
Amerika Serikat	13	3
Rusia	6	2
Belgia	5	2
Spanyol	5	3
Inggris	5	3
Prancis	4	1
Italia	3	1

Di antara undang-undang yang disahkan: Budget Implementation Act Kanada (2017) dengan alokasi 125 juta dolar untuk strategi AI; Undang-Undang Federal Rusia tanggal 24.04.2020 No. 123-FZ tentang rezim hukum eksperimental untuk AI di Moskow; IOGAN Act Amerika Serikat (2020) tentang pendanaan penelitian deepfake; dekret Belgia tentang pembentukan komite etika untuk alat AI (2021).

Legislasi di Amerika Serikat

Pada tingkat federal, jumlah rancangan undang-undang AI yang diusulkan meningkat dari 1 pada tahun 2015 menjadi 130 pada tahun 2021, namun hanya 2% di antaranya yang disahkan. Pada tingkat negara bagian, jumlah rancangan undang-undang yang diusulkan meningkat dari 2 pada tahun 2012 menjadi 131 pada tahun 2021, dengan tingkat pengesahan 20% (26 dari 131).

Massachusetts mengusulkan jumlah rancangan undang-undang AI terbanyak di tingkat negara bagian (40 sejak tahun 2012), diikuti oleh Hawaii (35) dan New Jersey (32).

Penyebutan AI dalam dokumen parlemen

Penyebutan AI dalam dokumen pemerintah di 25 negara meningkat 7,7 kali lipat dalam enam tahun (2016–2021), mencapai 1.323 penyebutan pada tahun 2021. Inggris mendominasi dengan 939 penyebutan sepanjang periode, diikuti oleh Spanyol, Jepang, Amerika Serikat, dan Australia.

Di Kongres Amerika Serikat, sesi ke-117 (dimulai pada tahun 2021) pada akhir tahun pertama telah mencatat 295 penyebutan AI — dalam jalur untuk melampaui rekor sesi ke-116 (506 penyebutan selama 2019–2020).

Metodologi

Laporan ini menggunakan data dari berbagai sumber:

• Publikasi dan paten: Center for Security and Emerging Technology (CSET), Universitas Georgetown.
• Benchmark: Papers With Code, leaderboard SuperGLUE, SQuAD, VCR, MLPerf, dan lain-lain.
• Investasi dan startup: NetBase Quid.
• Pasar tenaga kerja: Emsi Burning Glass, LinkedIn.
• Aktivitas korporat: McKinsey & Company.
• Robotika: survei orisinal AI Index (509 profesor, 67 universitas).
• Legislasi: AI Index (analisis global terhadap 25 negara), Bloomberg Government (Amerika Serikat).
• Pendidikan: CRA Taulbee Survey.
• Etika: RealToxicityPrompts, Perspective API, StereoSet, CrowS-Pairs, Winogender, WinoBias, WinoMT, TruthfulQA, FEVER, FAccT, NeurIPS.

Tim Penulis

Laporan ini disusun di bawah bimbingan ko-direktur Jack Clark (Anthropic / OECD) dan Raymond Perrault (SRI International) dengan partisipasi dari kalangan peneliti dan organisasi mitra yang luas. Komite pengarah terdiri dari Erik Brynjolfsson (Stanford), John Etchemendy (Stanford), Terah Lyons, James Manyika (Google / Universitas Oxford), Juan Carlos Niebles (Stanford / Salesforce), Michael Sellitto (Stanford), Yoav Shoham (Stanford / AI21 Labs — direktur pendiri). Manajer penelitian dan pemimpin redaksi — Nestor Maslej (Stanford). AI Index adalah proyek Stanford Institute HAI (Human-Centered Artificial Intelligence).

Referensi

• Stanford HAI — AI Index Report 2022 (teks lengkap): https://aiindex.stanford.edu/report/
• Center for Security and Emerging Technology (CSET) — data publikasi dan paten: https://cset.georgetown.edu/
• Papers With Code — benchmark dan leaderboard: https://paperswithcode.com/
• SuperGLUE Benchmark: https://super.gluebenchmark.com/
• MLPerf (MLCommons) — benchmark pelatihan: https://mlcommons.org/en/
• NetBase Quid — data investasi: https://quid.com/
• McKinsey Global Survey on AI: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
• CRA Taulbee Survey: https://cra.org/resources/taulbee-survey/
• Bloomberg Government — data legislasi: https://about.bgov.com/
• RealToxicityPrompts: https://arxiv.org/abs/2009.11462
• TruthfulQA: https://arxiv.org/abs/2109.07958
• Global AI Vibrancy Tool: https://aiindex.stanford.edu/vibrancy/

Daftar Pustaka

• Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
• Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
• Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
• Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
• Weidinger, L. et al. (2021). Ethical and social risks of harm from Language Models. https://arxiv.org/abs/2112.04359
• Welbl, J. et al. (2021). Challenges in Detoxifying Language Models. https://arxiv.org/abs/2109.07445
• Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. https://arxiv.org/abs/2203.02155
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
• McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai