The 2018 AI Index Report (ID)
AI Index Report 2018 — edisi tahunan kedua dari laporan AI Index, yang disusun oleh Komite Pengarah AI Index di Universitas Stanford pada Desember 2018[1]. Misi proyek AI Index adalah menyediakan data objektif untuk mendukung diskusi tentang kecerdasan buatan. Laporan 2018 berbeda dari edisi pertama (2017) dengan adanya perluasan cakupan global yang signifikan: jika laporan sebelumnya terutama berfokus pada isu-isu Amerika Utara, maka edisi 2018 berupaya menyertakan data dari Eropa, Tiongkok, Korea Selatan, Jepang, dan kawasan lain di dunia. Laporan ini melacak, mensistematisasi, dan memvisualisasikan data yang berkaitan dengan AI, guna memberikan informasi bagi para pembuat kebijakan, peneliti, eksekutif, jurnalis, dan masyarakat umum.
Struktur Laporan
Laporan 2018 terdiri dari empat bagian utama[1]:
- Data: Volume of Activity — publikasi, pendaftaran kursus, partisipasi konferensi, unduhan perangkat lunak robotika, perusahaan rintisan dan investasi, lowongan pekerjaan, paten, penerapan AI di perusahaan, penyebutan dalam laporan laba, pemasangan robot, proyek sumber terbuka, dan minat publik.
- Data: Technical Performance — computer vision, pemrosesan bahasa alami, penerjemahan mesin, sistem tanya jawab.
- Other Measures — indikator turunan, inisiatif pemerintah, pencapaian setara kemampuan manusia.
- Appendix — deskripsi lengkap sumber, metodologi, dan nuansa.
Temuan Utama Laporan
Para penulis laporan 2018 merumuskan beberapa tesis utama[1]:
AI sebagai Fenomena Global
Sebanyak 83% artikel AI dalam basis data Scopus pada 2017 diterbitkan oleh penulis di luar Amerika Serikat. Sebesar 28% dari seluruh artikel AI berasal dari Eropa — angka tertinggi di antara semua kawasan dunia. Pendaftaran mahasiswa pada kursus AI dan Machine Learning meningkat di seluruh dunia, terutama terlihat di Universitas Tsinghua (Tiongkok), di mana total pendaftaran kursus AI dan ML pada 2017 tercatat 16 kali lebih besar dibandingkan 2010[1].
Aktivitas di Bidang AI Meningkat Hampir di Semua Area
Pertumbuhan terlihat dalam publikasi, kursus, konferensi, perusahaan rintisan, pendanaan ventura, paten, dan metrik lainnya. Kinerja teknologi meningkat di semua bidang[1].
Machine Learning Mendominasi sebagai Subbidang AI
Pada 2017, 56% artikel AI di Scopus termasuk dalam kategori "Machine Learning dan Penalaran Probabilistik" (dibandingkan 28% pada 2010). Pendaftaran pada kursus pengantar ML tumbuh lebih cepat dibandingkan kursus AI secara umum. Konferensi NeurIPS dan ICML yang berfokus pada Machine Learning menunjukkan pertumbuhan kehadiran terbesar[2].
Keberagaman Gender Tetap Menjadi Masalah Serius
Rata-rata 80% profesor AI di universitas-universitas terkemuka (UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, ETH Zurich) adalah laki-laki. Rata-rata 71% pelamar pekerjaan terkait AI di Amerika Serikat adalah laki-laki[1].
Bagian 1. Volume Aktivitas: Penelitian
Publikasi
Jumlah artikel AI di platform Scopus meningkat 7 kali lipat sejak 1996, sementara artikel ilmu komputer (Computer Science) tumbuh 5 kali lipat dalam periode yang sama. Hal ini menunjukkan bahwa pertumbuhan publikasi AI tidak semata-mata didorong oleh minat umum terhadap ilmu komputer, melainkan juga memiliki dinamika tersendiri[2].
Distribusi regional. Eropa secara konsisten menjadi kawasan dengan jumlah publikasi AI terbanyak: pada 2017, 28% artikel AI di Scopus dikaitkan dengan penulis Eropa, diikuti oleh Tiongkok (25%) dan Amerika Serikat (17%). Sementara itu, jumlah publikasi dari Tiongkok meningkat 150% dalam periode 2007 hingga 2017[2].
Subkategori. Pertumbuhan terbesar terjadi dalam kategori jaringan saraf tiruan: tingkat pertumbuhan tahunan majemuk (CAGR) sebesar 3% pada 2010–2014 dan 37% pada 2014–2017. Artikel di platform arXiv juga menunjukkan pertumbuhan pesat: computer vision dan pengenalan pola menjadi subkategori AI terbesar di arXiv sejak 2014[3].
Afiliasi sektor. Jumlah artikel AI yang berafiliasi dengan lembaga pemerintah Tiongkok meningkat 400% dalam periode 2007 hingga 2017, sementara publikasi korporat dari Tiongkok hanya tumbuh 73%. Di Amerika Serikat, sebaliknya, proporsi publikasi korporat jauh lebih tinggi: pada 2017, proporsi artikel AI korporat dari AS tercatat 6,6 kali lebih besar dibandingkan Tiongkok, dan 4,1 kali lebih besar dibandingkan Eropa[2].
Tingkat sitasi. Penulis dari Amerika Serikat disitasi 83% lebih sering dibandingkan rata-rata global. Meskipun Eropa memimpin dalam jumlah absolut publikasi, tingkat sitasinya berada pada rata-rata global. Tiongkok meningkatkan tingkat sitasinya secara signifikan: pada 2016, penulis Tiongkok disitasi 44% lebih sering dibandingkan tahun 2000[2].
Mobilitas penulis. Penulis yang mobile (yang menerbitkan di luar kawasan asal mereka) menunjukkan tingkat sitasi dan produktivitas yang lebih tinggi dibandingkan penulis yang "menetap" (sedentary). Di antara tiga kawasan, Tiongkok memiliki proporsi penulis menetap terbesar (76%), diikuti Eropa (52%) dan Amerika Serikat (38%)[2].
Konferensi AAAI. Pada konferensi AAAI 2018, sekitar 70% artikel yang diajukan dan 67% artikel yang diterima terkait dengan Amerika Serikat atau Tiongkok. Meskipun Tiongkok mengajukan jumlah artikel terbanyak, AS dan Tiongkok memiliki jumlah karya yang diterima hampir sama (268 dan 265 masing-masing). Tingkat penerimaan untuk AS adalah 29%, untuk Tiongkok — 21%[4].
Pendaftaran Kursus
Universitas-universitas AS. Pendaftaran pada kursus pengantar ML pada 2017 tercatat 5 kali lebih tinggi dibandingkan 2012. Di UC Berkeley pertumbuhannya mencapai 6,8 kali lipat. Pendaftaran pada kursus pengantar AI tumbuh 3,6 kali lipat dalam periode yang sama. Sementara itu, 74–79% mahasiswa pada kursus pengantar AI dan ML di Stanford dan Berkeley adalah laki-laki[1].
Universitas internasional. Total pendaftaran kursus AI+ML di Universitas Tsinghua pada 2017 melampaui angka 2010 sebesar 16 kali lipat. Pertumbuhan juga tercatat di Universitas Edinburgh, USTC dan SJTU (Tiongkok), PUC (Cile), dan universitas lainnya[1].
Partisipasi Konferensi
Konferensi besar. NeurIPS dan ICML menunjukkan pertumbuhan terbesar: pada 2018, kehadiran di NeurIPS 4,8 kali lebih tinggi dibandingkan 2012, sementara ICML — 6,8 kali. Hal ini mencerminkan minat yang terus tumbuh terhadap Machine Learning[1].
Konferensi kecil. Kehadiran di ICLR (International Conference on Learning Representations) pada 2018 tercatat 20 kali lebih tinggi dibandingkan 2012 — kemungkinan sebagai hasil dari meningkatnya minat terhadap deep learning dan Reinforcement Learning[1].
| Konferensi | Kehadiran (2018, perkiraan) | Pertumbuhan sejak 2012 |
|---|---|---|
| NeurIPS | ~8 000 | 4,8x |
| CVPR | ~6 500 | 2,5x |
| ICML | ~5 000 | 6,8x |
| ICLR | ~2 000 | 20x |
| IJCAI | ~3 000 | 1,5x |
| AAAI | ~3 500 | 2,0x |
Organisasi inklusi. Jumlah pendaftaran pada seminar Women in Machine Learning (WiML) meningkat 600% sejak 2014. Jumlah lulusan AI4ALL (inisiatif untuk meningkatkan keberagaman dalam AI) meningkat 900% sejak 2015[5][6].
Unduhan Perangkat Lunak Robotika
Unduhan unik paket ROS (Robot Operating System) dari situs ROS.org meningkat 567% sejak 2014. Jumlah kunjungan halaman ROS.org dari Tiongkok pada 2017 tercatat 18 kali lebih tinggi dibandingkan 2012[7].
Keberagaman Gender di Akademia
Analisis terhadap fakultas AI di tujuh universitas terkemuka di dunia menunjukkan bahwa rata-rata 80% profesor AI adalah laki-laki. Universitas yang dianalisis mencakup UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, dan ETH Zurich. Tidak ditemukan perbedaan signifikan antar kawasan[1].
Bagian 2. Volume Aktivitas: Industri
Perusahaan Rintisan dan Investasi
Jumlah perusahaan rintisan AI aktif yang didukung modal ventura di Amerika Serikat meningkat 113% dari Januari 2015 hingga Januari 2018, sementara total jumlah perusahaan rintisan hanya tumbuh 28%[8].
Pendanaan ventura untuk perusahaan rintisan AI di Amerika Serikat meningkat 350% dari 2013 hingga 2017, sementara total pendanaan ventura tumbuh 100% dalam periode yang sama[8].
Lowongan Pekerjaan
Deep learning merupakan keterampilan dengan pertumbuhan permintaan paling cepat: jumlah lowongan yang mensyaratkan keterampilan deep learning meningkat 34 kali lipat dari 2015 hingga 2017. Machine Learning tetap menjadi keterampilan paling diminati berdasarkan volume absolut[9].
Distribusi gender. Rata-rata laki-laki menyumbang 71% dari kelompok pelamar untuk lowongan terkait AI di Amerika Serikat. Keberagaman gender terbesar terlihat di antara pelamar untuk posisi yang berkaitan dengan deep learning dan robotika[9].
Paten
Pada 2014, sekitar 30% paten di bidang AI terdaftar di Amerika Serikat, diikuti oleh Korea Selatan dan Jepang (masing-masing 16%). Korea Selatan dan Taiwan menunjukkan pertumbuhan terbesar: jumlah paten AI pada 2014 hampir 5 kali lebih banyak dibandingkan 2004[10].
Penerapan AI di Perusahaan
Berdasarkan survei McKinsey & Company (2.135 responden), teknologi AI yang paling umum digunakan adalah otomasi proses berbasis robot dan Machine Learning. Organisasi cenderung menerapkan AI pada fungsi bisnis yang memberikan imbal hasil terbesar di industri mereka: perusahaan keuangan aktif menggunakan AI dalam manajemen risiko, perusahaan otomotif — dalam produksi, ritel — dalam pemasaran dan penjualan[11].
| Kawasan | Kemampuan AI paling populer (% responden) |
|---|---|
| Amerika Utara | Otomasi proses (23%), Machine Learning (23%) |
| Eropa | Otomasi proses (27%), Machine Learning (21%) |
| Pasar berkembang (termasuk Tiongkok) | Computer vision (26%), otomasi proses (23%) |
| India | Machine Learning (25%), otomasi proses (30%) |
Penyebutan AI dalam Laporan Korporat
Penyebutan "kecerdasan buatan" dan "Machine Learning" dalam laporan laba perusahaan yang diperdagangkan di Bursa Efek New York meningkat tajam sejak 2015. Di sektor teknologi informasi, NVIDIA menjadi pemimpin dalam jumlah penyebutan AI (93 penyebutan pada 2017), diikuti oleh LivePerson (50) dan Pegasystems (44). Alphabet memimpin dalam jumlah penyebutan ML (57)[12].
Pemasangan Robot Industri
Tiongkok menunjukkan peningkatan 500% dalam pemasangan robot industri tahunan dari 2012 hingga 2017. Korea Selatan dan Eropa meningkatkan pemasangan masing-masing sebesar 105% dan 122%. Di antara pasar yang lebih kecil, Taiwan menunjukkan volume dan pertumbuhan terbesar[13].
Perangkat Lunak Sumber Terbuka
Analisis terhadap bintang (stars) repositori GitHub menunjukkan pertumbuhan popularitas yang signifikan untuk framework yang didukung perusahaan-perusahaan besar: TensorFlow (Google), PyTorch (Facebook), MXNet (Amazon). TensorFlow jauh melampaui framework lainnya dalam hal popularitas, mencapai lebih dari 100.000 bintang pada 2018[14].
Bagian 3. Volume Aktivitas: Minat Publik
Nada Pemberitaan Media
Artikel yang memuat istilah "kecerdasan buatan" menjadi kurang netral dan lebih positif: proporsi artikel positif meningkat dari 12% pada Januari 2016 menjadi 30% pada Juli 2016 dan tetap pada level tersebut hingga 2018[15].
Penyebutan dalam Dokumen Pemerintah
Penyebutan istilah "kecerdasan buatan" dan "Machine Learning" dalam catatan stenografis Kongres AS, serta parlemen Kanada dan Inggris, meningkat tajam sejak 2016. Hal yang patut dicatat adalah bahwa "Machine Learning" hampir tidak pernah disebut dalam dokumen parlemen sebelum 2016[1].
Bagian 4. Kinerja Teknis
Computer Vision: ImageNet
Akurasi. Kinerja pada ImageNet terus meningkat bahkan setelah kompetisi resmi berakhir pada 2017. AI Index melacak kemajuan berdasarkan hasil pada dataset validasi ImageNet 2012. Akurasi klasifikasi gambar telah melampaui level manusia secara signifikan (sekitar 5% kesalahan)[16].
Kecepatan pelatihan. Waktu pelatihan jaringan saraf tiruan untuk klasifikasi gambar ImageNet berkurang dari sekitar 60 menit (Juni 2017) menjadi 3,7 menit (November 2018) — percepatan 16 kali lipat dalam satu setengah tahun. Hal ini mencerminkan inovasi algoritmik maupun investasi infrastruktur (perangkat keras dan perangkat lunak)[17].
| Tanggal | Waktu pelatihan ImageNet |
|---|---|
| Juni 2017 | ~60 menit |
| November 2017 | ~30 menit |
| November 2017 | ~15 menit |
| Juli 2018 | ~6,6 menit |
| November 2018 | ~3,7 menit |
Computer Vision: COCO
Pada kompetisi COCO (Common Objects in Context) untuk segmentasi objek, akurasi rata-rata tertinggi meningkat 72% dari 2015 hingga 2018 (dari 0,28 menjadi 0,48). Komunitas computer vision beralih dari tugas yang relatif sederhana (klasifikasi) ke tugas yang lebih kompleks (lokalisasi objek hingga tingkat piksel, segmentasi semantik)[18].
Pemrosesan Bahasa Alami: Parsing
Metrik F1 untuk parsing sintaktis kalimat (Penn Treebank) meningkat 9 poin persentase dari 2003 hingga 2018 (dari ~86% menjadi ~95%). Parsing hampir sepenuhnya beralih dari metode yang mirip dengan parsing bahasa pemrograman ke metode berbasis deep learning[19].
Penerjemahan Mesin
Skor BLEU untuk penerjemahan dari bahasa Inggris ke Jerman pada kompetisi WMT meningkat 3,5 kali dibandingkan 2008; untuk penerjemahan dari bahasa Jerman ke Inggris — 2,5 kali. Kemajuan ini didorong oleh arsitektur Transformer dan penggunaan data yang lebih efisien[20].
Sistem Tanya Jawab: ARC
Pada benchmark AI2 Reasoning Challenge (ARC), yang diterbitkan oleh Allen Institute for AI pada April 2018, kinerja pada Challenge Set (pertanyaan sulit setingkat kelas 3–9 sekolah Amerika) meningkat dari 27% menjadi 42%, dan pada Easy Set — dari 63% menjadi 69% selama periode April hingga November 2018[21].
Sistem Tanya Jawab: GLUE
Benchmark GLUE (General Language Understanding Evaluation), yang diterbitkan pada Mei 2018, dirancang untuk menguji sistem pemahaman bahasa alami pada sembilan sub-tugas. Meskipun benchmark ini baru ada kurang dari setengah tahun, kinerjanya sudah menutup sekitar separuh kesenjangan antara nilai dasar pertama yang dipublikasikan dan perkiraan level manusia (~90%). Model BERT dari Google menjadi standar baru — dikutip delapan kali dalam sebulan pertama setelah rilis[22][23].
Bagian 5. Metrik Turunan
Dinamika Akademia–Industri
Untuk mempelajari hubungan antara aktivitas akademis dan industri dalam bidang AI, para penulis membandingkan tiga indikator yang dinormalisasi: publikasi di Scopus, pendaftaran kursus AI/ML di universitas-universitas AS, dan investasi ventura pada perusahaan rintisan AI. Ketiga metrik menunjukkan pertumbuhan sejak 2010, namun investasi ventura tumbuh jauh lebih cepat dibandingkan yang lain[1].
AI Vibrancy Index
AI Vibrancy Index mengagregasi tiga metrik (publikasi, pendaftaran, investasi ventura) menjadi satu indikator tunggal yang dinormalisasi terhadap tahun 2010. Pada 2017, indeks ini tumbuh sekitar 7–9 kali lipat dibandingkan nilai dasar 2010, terutama didorong oleh pertumbuhan pendanaan ventura[1].
Bagian 6. Inisiatif Pemerintah
Laporan ini untuk pertama kalinya menyertakan tinjauan inisiatif pemerintah di bidang AI untuk tiga kawasan[1][24]:
Amerika Serikat
Pada Oktober 2016, pemerintahan Obama mengusulkan strategi nasional AI dan menerbitkan laporan kebijakan pertama mengenai persiapan menghadapi masa depan AI (Preparing for the Future of Artificial Intelligence). Pada Mei 2018, pemerintahan Trump mengadakan AI Summit dan membentuk Komite Khusus Kecerdasan Buatan. Pada September 2018, DARPA mengumumkan rencana investasi lebih dari 2 miliar dolar untuk program AI Next. Perusahaan-perusahaan swasta memainkan peran sentral: pada 2017, Amazon dan Alphabet menginvestasikan masing-masing 16,1 miliar dan 13,9 miliar dolar dalam R&D — jauh lebih besar dibandingkan total anggaran NSF, DARPA, dan DOT (~5,3 miliar dolar)[1].
Eropa
Pada April 2018, negara-negara anggota Uni Eropa menandatangani Deklarasi Kerja Sama di Bidang AI, dan Komisi Eropa mengalokasikan 1,5 miliar euro untuk mendukung penelitian AI pada 2018–2020 (tambahan dari 2,6 miliar euro dari program Horizon 2020). Tujuannya adalah menarik investasi senilai 20 miliar euro ke bidang AI dalam 10 tahun. Inggris menerbitkan AI Sector Deal dengan investasi senilai 950 juta poundsterling. Prancis menerbitkan tiga laporan, termasuk "Mission Villani", yang membahas kebijakan, pencegahan brain drain, dan keberagaman dalam AI[25].
Tiongkok
Sejak 2014, pemerintah Tiongkok meluncurkan serangkaian inisiatif nasional dengan tujuan membangun pasar AI senilai 14,7 miliar dolar pada 2018 dan memastikan kepemimpinan global Tiongkok dalam AI pada 2030. Dokumen kunci adalah "Rencana Pengembangan AI Generasi Baru" (Juli 2017), yang menargetkan pencapaian level negara-negara maju pada 2020, terobosan besar pada 2025, dan status sebagai pusat inovasi AI dunia pada 2030[26].
Bagian 7. Pencapaian Setara Kemampuan Manusia
Laporan ini melanjutkan kronologi kasus-kasus di mana AI mencapai atau melampaui level manusia. Pada 2018, empat pencapaian baru ditambahkan[1]:
| Tahun | Pencapaian | Deskripsi |
|---|---|---|
| 1980 | Othello | Program BILL (Ku-Fu Li dan S. Mahajan) mengalahkan pemain terbaik Amerika; pada 1997, Logistello mengalahkan juara dunia |
| 1995 | Permainan Dam | Program Chinook mengalahkan juara dunia |
| 1997 | Catur | IBM DeepBlue mengalahkan Garry Kasparov |
| 2011 | Jeopardy! | IBM Watson mengalahkan juara Brad Rutter dan Ken Jennings |
| 2015 | Atari | DeepMind mencapai level manusia dalam 49 permainan Atari |
| 2016 | Go | AlphaGo mengalahkan Lee Sedol (4–1); AlphaGo Zero mengalahkan AlphaGo 100–0 |
| 2016 | Deteksi objek (ImageNet) | Kesalahan klasifikasi berkurang dari 28% (2010) menjadi kurang dari 3% dengan level manusia ~5% |
| 2017 | Pengenalan suara (Switchboard) | Microsoft dan IBM mencapai level mendekati akurasi manusia |
| 2017 | Poker | Libratus (CMU) mengalahkan empat pemain profesional dalam 120.000 pertandingan; DeepStack (Alberta) mengalahkan 11 profesional |
| 2017 | Klasifikasi kanker kulit | Sistem AI (Esteva et al., Nature) mencapai level 21 dermatologis bersertifikat |
| 2017 | Ms. Pac-Man | Tim Maluuba (Microsoft) mencapai skor maksimum 999.900 di Atari 2600 |
| 2018 | Capture the Flag | Agen DeepMind mencapai level manusia dalam versi modifikasi Quake III Arena CTF |
| 2018 | Dota 2 | OpenAI Five mengalahkan tim amatir (dengan batasan), tetapi kalah dari profesional |
| 2018 | Penilaian kanker prostat | Sistem Google mencapai akurasi keseluruhan 70% dibandingkan 61% pada ahli patologi |
| 2018 | Penerjemahan Tionghoa–Inggris | Sistem Microsoft mencapai level manusia pada dataset newstest2017 |
Para penulis laporan menegaskan bahwa hasil-hasil ini tidak boleh dilebih-lebihkan: tugas-tugasnya bersifat sangat spesifik, dan pencapaian tersebut tidak menunjukkan kemampuan sistem untuk melakukan generalisasi[1].
Bagian 8. Apa yang Perlu Ditambahkan? (What's Missing?)
Bagian ini menyajikan pandangan tiga pakar mengenai arah pengembangan indeks[1].
Francesca Rossi (IBM, Universitas Padova) mengusulkan penambahan metrik untuk common sense reasoning, pemahaman bahasa alami yang mendalam, kolaborasi manusia dan mesin (bukan pertentangan), serta kombinasi Machine Learning dengan AI simbolik dan inferensi kausalitas (causality)[1].
Rodney Brooks (MIT) menyoroti keterbatasan metrik robot industri, yang seringkali tidak memiliki komponen AI. Ia mengusulkan untuk melacak robot dengan komponen AI: drone (algoritma SLAM dan lainnya), robot rumah tangga (Roomba), dan potensi robot sosial[1].
Toby Walsh (UNSW Sydney, TU Berlin) menunjukkan perlunya metrik kuantitatif untuk mengukur investasi pemerintah dan swasta yang terus tumbuh (Inggris — 1 miliar poundsterling, Prancis — 1,5 miliar euro, Jerman — 3 miliar euro, Alibaba — 15 miliar dolar), serta untuk melacak penggunaan AI di bidang militer, termasuk senjata otonom[1].
Metodologi
Laporan ini menggunakan data dari berbagai sumber[1]:
- Publikasi: Elsevier Scopus (~70 juta dokumen, ~800 kata kunci AI), arXiv.org.
- Konferensi: AAAI, NeurIPS, ICML, CVPR, ICLR, IJCAI, ACL, ICRA, ICAPS, UAI, KR, AAMAS, WiML, AI4ALL.
- Kursus: data langsung dari universitas (17 perguruan tinggi di 10 negara).
- Perusahaan rintisan dan investasi: Sand Hill Econometrics (Dow Jones VentureSource), Crunchbase API.
- Lowongan pekerjaan: Monster.com, Gartner TalentNeuron.
- Paten: amplified (kode IPC: Cognition and meaning understanding, Human-interface technology).
- Penerapan AI: McKinsey & Company (survei 2.135 responden).
- Laporan korporat: Prattle (analisis teks laporan laba dengan FactSet).
- Robotika: International Federation of Robotics (IFR), ROS.org.
- Media: TrendKite (analisis nada pemberitaan artikel).
- Pemerintah: Congressional Record (AS), Hansards (Inggris dan Kanada), McKinsey Global Institute.
- Benchmark: ImageNet (LSVRC), COCO, Penn Treebank, WMT (EuroMatrix), ARC (Allen Institute for AI), GLUE.
Tim Penulis
Laporan ini disusun oleh Komite Pengarah AI Index di bawah pimpinan Yoav Shoham (Stanford University) dengan partisipasi Raymond Perrault (SRI International), Erik Brynjolfsson (MIT), Jack Clark (OpenAI), James Manyika (McKinsey Global Institute), Juan Carlos Niebles (Stanford University), Terah Lyons (Partnership on AI), John Etchemendy (Stanford University), dan Barbara Grosz (Harvard University). Manajer proyek adalah Zoe Bauer. AI Index awalnya lahir dalam kerangka proyek One Hundred Year Study on AI (AI100) dan kemudian ditempatkan di Stanford Institute for Human-Centered AI (HAI)[1].
Konteks dan Signifikansi
AI Index Report 2018 menjadi tonggak penting dalam pengembangan pemantauan sistematis kemajuan AI. Laporan ini mendokumentasikan sejumlah momen kritis: perkembangan pesat deep learning dan dominasinya di antara pendekatan AI, peralihan komunitas computer vision ke tugas-tugas yang lebih kompleks setelah "kejenuhan" ImageNet, pengaruh revolusioner model BERT terhadap pemrosesan bahasa alami, serta pertumbuhan partisipasi industri yang belum pernah terjadi sebelumnya dalam pengembangan sistem AI canggih. Laporan ini juga untuk pertama kalinya mendokumentasikan secara sistematis "perlombaan" antar negara dalam hal pendanaan dan perencanaan strategis AI — tren yang akan menentukan perkembangan industri dalam tahun-tahun berikutnya[1].
Referensi
- Stanford HAI — AI Index (semua laporan): https://aiindex.stanford.edu/report/
- AI Index 2018 Report (teks lengkap, PDF): https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
- Elsevier Scopus — basis data publikasi ilmiah: https://www.scopus.com/
- Elsevier AI Resource Center: https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
- arXiv.org — arsip pracetak ilmiah: https://arxiv.org/
- ImageNet (LSVRC): https://image-net.org/challenges/LSVRC/
- COCO — Common Objects in Context: https://cocodataset.org/
- GLUE Benchmark: https://gluebenchmark.com/
- ARC — AI2 Reasoning Challenge: https://allenai.org/data/arc
- WMT — Workshop on Machine Translation / EuroMatrix: http://www.statmt.org/
- McKinsey & Company — AI Adoption Survey: https://www.mckinsey.com/featured-insights/artificial-intelligence
- International Federation of Robotics: https://ifr.org/
- ROS.org — Robot Operating System: https://www.ros.org/
- Sand Hill Econometrics: https://www.sandhillecon.com/
- Partnership on AI: https://partnershiponai.org/
- Women in Machine Learning (WiML): https://wimlworkshop.org/
- AI4ALL: https://ai-4-all.org/
- Tim Dutton — Overview of National AI Strategies: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
- NLP Progress — pelacakan kemajuan dalam NLP: https://nlpprogress.com/
Daftar Pustaka
- Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). The AI Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
- Elsevier (2018). Artificial Intelligence: How knowledge is created, transferred, and used. https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
- Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
- Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://arxiv.org/abs/1804.07461
- Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. https://arxiv.org/abs/1803.05457
- Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639). https://doi.org/10.1038/nature21056
- Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676). https://doi.org/10.1038/nature24270
- Jaderberg, M. et al. (2018). Human-level performance in first-person multiplayer games with population-based deep reinforcement learning. https://arxiv.org/abs/1807.01281
- OpenAI (2018). OpenAI Five. https://openai.com/blog/openai-five/
- Hassan, H. et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. https://arxiv.org/abs/1803.05567
- McKinsey & Company (2018). Notes from the AI frontier: AI adoption advances, but foundational barriers remain. https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain
- International Federation of Robotics (2017). World Robotics Report 2017. https://ifr.org/worldrobotics/
- Dutton, T. (2018). An Overview of National AI Strategies. https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
- State Council of the People's Republic of China (2017). New Generation Artificial Intelligence Development Plan. https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/
- European Commission (2018). Communication on Artificial Intelligence for Europe. https://ec.europa.eu/digital-single-market/en/artificial-intelligence
- Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115(3). https://doi.org/10.1007/s11263-015-0816-y
- He, K. et al. (2015). Deep Residual Learning for Image Recognition. https://arxiv.org/abs/1512.03385
Catatan
- ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). The AI Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 Elsevier (2018). Artificial Intelligence: How knowledge is created, transferred, and used. https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
- ↑ arXiv.org (2018). Submission statistics. https://arxiv.org/stats/yearly_submissions
- ↑ AAAI (2018). AAAI 2018 Conference Proceedings. https://aaai.org/aaai-conference/
- ↑ Women in Machine Learning (WiML) (2018). Workshop data. https://wimlworkshop.org/
- ↑ AI4ALL (2018). Program data. https://ai-4-all.org/
- ↑ ROS.org (2018). ROS Community Metrics Report. https://metrics.ros.org/
- ↑ 8.0 8.1 Sand Hill Econometrics (2018). AI Startup and VC Funding Data. Dow Jones VentureSource.
- ↑ 9.0 9.1 Monster.com / Gartner TalentNeuron (2018). AI Job Openings Data. https://www.monster.com/
- ↑ amplified (2018). AI Patent Data. https://www.amplified.ai/
- ↑ McKinsey & Company (2018). Notes from the AI frontier: AI adoption advances, but foundational barriers remain. https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain
- ↑ Prattle (2018). Earnings call analysis data. FactSet.
- ↑ International Federation of Robotics (2018). World Robotics Report 2017. https://ifr.org/worldrobotics/
- ↑ GitHub Archive / Google BigQuery (2018). GitHub repository stars data. https://github.com/
- ↑ TrendKite (2018). Media sentiment analysis data. https://www.trendkite.com/
- ↑ ImageNet (2018). LSVRC leaderboard and validation results. https://image-net.org/challenges/LSVRC/
- ↑ DAWNBench / Stanford (2018). ImageNet training time results. https://dawn.cs.stanford.edu/benchmark/
- ↑ COCO (2018). Instance Segmentation Leaderboard. https://cocodataset.org/#detection-leaderboard
- ↑ Penn Treebank (2018). Section 23 parsing results. See NLPProgress: https://nlpprogress.com/english/constituency_parsing.html
- ↑ Workshop on Machine Translation / EuroMatrix (2018). WMT News Translation Task results. http://www.statmt.org/wmt18/
- ↑ Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. https://arxiv.org/abs/1803.05457
- ↑ Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://arxiv.org/abs/1804.07461
- ↑ Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
- ↑ Dutton, T. (2018). An Overview of National AI Strategies. https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
- ↑ European Commission (2018). Communication on Artificial Intelligence for Europe. https://ec.europa.eu/digital-single-market/en/artificial-intelligence
- ↑ State Council of the People's Republic of China (2017). New Generation Artificial Intelligence Development Plan. https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/