The 2018 AI Index Report (TL)

From Systems analysis Wiki
Jump to navigation Jump to search

AI Index Report 2018 — ito ang pangalawang taunang edisyon ng ulat na AI Index, inihanda ng Steering Committee ng AI Index sa Stanford University noong Disyembre 2018[1]. Ang misyon ng proyektong AI Index ay ang magbigay ng layuning datos sa talakayan tungkol sa artipisyal na katalinuhan. Ang ulat ng 2018 ay naiiba sa unang labas (2017) dahil sa malaking pagpapalawak ng pandaigdigang saklaw: kung ang nakaraang ulat ay pangunahing nakatuon sa mga usaping Hilagang Amerikano, ang edisyon ng 2018 ay nagsisikap na isama ang datos mula sa Europa, Tsina, South Korea, Hapon, at iba pang rehiyon ng mundo. Sinusubaybayan, ino-organisa, at binibiswalisa ng ulat ang datos na may kaugnayan sa AI, na nagbibigay ng impormasyon para sa mga gumagawa ng patakaran, mga mananaliksik, mga executive, mga mamamahayag, at sa malawak na publiko.

Estruktura ng Ulat

Ang ulat ng 2018 ay binubuo ng apat na pangunahing seksyon[1]:

  1. Datos: Dami ng Aktibidad (Volume of Activity) — mga publikasyon, pagpapatala sa mga kurso, pakikilahok sa mga kumperensya, mga pag-download ng robotics software, mga startup at pamumuhunan, mga bakanteng trabaho, mga patent, paggamit ng AI sa mga kumpanya, mga pagbanggit sa mga ulat ng kita, pag-install ng mga robot, mga proyektong open-source, interes ng publiko.
  2. Datos: Teknikal na Pagganap (Technical Performance) — computer vision, natural language processing, machine translation, mga question-answering system.
  3. Karagdagang Sukatan (Other Measures) — mga derived indicator, mga inisyatiba ng pamahalaan, mga tagumpay sa antas ng kakayahan ng tao.
  4. Apendiks (Appendix) — kumpletong paglalarawan ng mga pinagkukunan, metodolohiya, at mga nuansa.

Mga Pangunahing Konklusyon ng Ulat

Nagtakda ang mga may-akda ng ulat ng 2018 ng ilang pangunahing tesis[1]:

Ang AI — isang pandaigdigang penomenon

83% ng mga artikulo sa AI sa database ng Scopus para sa 2017 ay inilathala ng mga may-akda mula sa labas ng USA. 28% ng lahat ng mga artikulo sa AI ay nagmula sa Europa — ang pinakamataas na bilang sa lahat ng mga rehiyon ng mundo. Ang pagpapatala ng mga estudyante sa mga kurso sa AI at Machine Learning ay lumalaki sa buong mundo, lalo na sa Tsinghua University (Tsina), kung saan ang kabuuang pagpapatala sa mga kurso sa AI at ML noong 2017 ay 16 beses na mas mataas kaysa noong 2010[1].

Ang aktibidad sa larangan ng AI ay lumalaki halos sa lahat ng dako

Nakikita ang paglago sa mga publikasyon, kurso, kumperensya, startup, venture financing, patent, at iba pang sukatan. Ang teknikal na pagganap ay bumubuti sa lahat ng direksyon[1].

Ang Machine Learning ay nangunguna bilang sub-larangan ng AI

Noong 2017, 56% ng mga artikulo sa AI sa Scopus ay kabilang sa kategoryang «Machine Learning at probabilistic reasoning» (kumpara sa 28% noong 2010). Ang pagpapatala sa mga panimulang kurso sa ML ay lumalaki nang mas mabilis kaysa sa mga kurso sa AI sa kabuuan. Ang mga kumperensyang NeurIPS at ICML, na nakatuon sa Machine Learning, ay nagpakita ng pinakamataas na paglago ng dami ng dumadalo[2].

Ang pagkakaiba-iba ng kasarian ay nananatiling isang seryosong problema

Sa average, 80% ng mga propesor ng AI sa mga nangungunang unibersidad (UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, ETH Zurich) ay mga lalaki. Sa average, 71% ng mga naghahanap ng trabaho para sa mga posisyon na may kaugnayan sa AI sa USA ay mga lalaki[1].

Seksyon 1. Dami ng Aktibidad: Pananaliksik

Mga Publikasyon

Ang bilang ng mga artikulo sa AI sa platform ng Scopus ay lumaki nang 7 beses mula 1996, habang ang mga artikulo sa Computer Science ay lumaki nang 5 beses sa parehong panahon. Nagpapakita ito na ang paglago ng mga publikasyon sa AI ay hindi lamang sanhi ng pangkalahatang interes sa Computer Science, kundi mayroon ding sariling dinamika[2].

Pamamahagi sa rehiyon. Ang Europa ay patuloy na nananatiling pinakamalaking rehiyon sa bilang ng mga publikasyon sa larangan ng AI: noong 2017, 28% ng mga artikulo sa AI sa Scopus ay may kaugnayan sa mga Europeanong may-akda, sinundan ng Tsina (25%) at USA (17%). Gayunpaman, ang bilang ng mga publikasyon mula sa Tsina ay tumaas ng 150% sa pagitan ng 2007 at 2017[2].

Mga subkategorya. Ang pinakamalaking paglago ay naobserbahan sa kategorya ng mga neural network: ang average annual growth rate (CAGR) ay 3% sa 2010–2014 at 37% sa 2014–2017. Ang mga artikulo sa platform ng arXiv ay nagpakita rin ng mabilis na paglago: ang computer vision at pattern recognition ay naging pinakamalaking subcategorya ng AI sa arXiv mula 2014[3].

Sektoral na kabilangan. Ang bilang ng mga artikulo sa AI na may kaugnayan sa mga organisasyon ng pamahalaan ng Tsina ay tumaas ng 400% sa pagitan ng 2007 at 2017, habang ang mga corporate na publikasyon mula sa Tsina ay lumaki lamang ng 73%. Sa USA, sa kabaligtaran, ang bahagi ng mga corporate na publikasyon ay mas malaki: noong 2017, ang proporsyon ng mga corporate na artikulo sa AI sa USA ay 6.6 beses na mas mataas kaysa sa Tsina, at 4.1 beses na mas mataas kaysa sa Europa[2].

Kakitaan ng mga sipi. Ang mga may-akda mula sa USA ay sinipi nang 83% nang mas madalas kaysa sa pandaigdigang average. Kahit na nangunguna ang Europa sa absolute na bilang ng mga publikasyon, ang kanyang antas ng pagkakasip ay nanatili sa antas ng pandaigdigang average. Malaki ang itinaas ng Tsina sa kanyang kakitaan ng mga sipi: noong 2016, ang mga may-akda mula sa Tsina ay sinipi nang 44% nang mas madalas kaysa noong 2000[2].

Kaligtasan ng mga may-akda. Ang mga mobile na may-akda (na naglalathala sa labas ng kanilang home region) ay nagpakita ng mas mataas na kakitaan ng mga sipi at produktibidad kumpara sa mga «sedentary» na may-akda. Sa tatlong rehiyon, ang Tsina ay may pinakamalaking bahagi ng mga sedentary na may-akda (76%), sinundan ng Europa (52%) at USA (38%)[2].

Kumperensya ng AAAI. Sa kumperensyang AAAI 2018, humigit-kumulang 70% ng mga isinumiteng at 67% ng mga tinanggap na artikulo ay may kaugnayan sa USA o Tsina. Kahit na ang Tsina ang nagsumite ng pinakamaraming artikulo, ang USA at Tsina ay may halos parehong bilang ng mga tinanggap na gawa (268 at 265 ayon sa pagkakasunod). Ang antas ng pagtanggap para sa USA ay 29%, para sa Tsina — 21%[4].

Pagpapatala sa mga Kurso

Mga unibersidad ng USA. Ang pagpapatala sa mga panimulang kurso sa ML noong 2017 ay 5 beses na mas mataas kaysa noong 2012. Sa UC Berkeley ang paglago ay 6.8 beses. Ang pagpapatala sa mga panimulang kurso sa AI ay lumaki nang 3.6 beses sa parehong panahon. Gayunpaman, 74–79% ng mga estudyante sa mga panimulang kurso sa AI at ML sa Stanford at Berkeley ay mga lalaki[1].

Mga internasyonal na unibersidad. Ang kabuuang pagpapatala sa mga kurso sa AI+ML sa Tsinghua University noong 2017 ay lampas na 16 beses na mas mataas kaysa sa 2010. Ang paglago ay naobserbahan din sa University of Edinburgh, USTC at SJTU (Tsina), PUC (Chile), at iba pang institusyon[1].

Pakikilahok sa mga Kumperensya

Malalaking kumperensya. Ang NeurIPS at ICML ay nagpakita ng pinakamalaking paglago: noong 2018, ang dami ng dumadalo sa NeurIPS ay 4.8 beses na mas mataas kaysa noong 2012, at ang ICML — 6.8 beses. Sumasalamin ito sa patuloy na interes sa Machine Learning[1].

Maliliit na kumperensya. Ang dami ng dumadalo sa ICLR (International Conference on Learning Representations) noong 2018 ay 20 beses na mas mataas kaysa noong 2012 — malamang bilang resulta ng lumalaking interes sa deep learning at Reinforcement Learning[1].

Kumperensya Dami ng Dumadalo (2018, humigit-kumulang) Paglago mula 2012
NeurIPS ~8 000 4.8x
CVPR ~6 500 2.5x
ICML ~5 000 6.8x
ICLR ~2 000 20x
IJCAI ~3 000 1.5x
AAAI ~3 500 2.0x

Mga organisasyon ng inklusyon. Ang bilang ng mga pagpapatala sa seminar na Women in Machine Learning (WiML) ay lumaki ng 600% mula 2014. Ang bilang ng mga graduate ng AI4ALL (inisyatiba para sa pagpapataas ng pagkakaiba-iba sa AI) ay lumaki ng 900% mula 2015[5][6].

Mga Download ng Robotics Software

Ang natatanging pag-download ng mga pakete ng ROS (Robot Operating System) mula sa ROS.org ay tumaas ng 567% mula 2014. Ang bilang ng mga page view ng ROS.org mula sa Tsina noong 2017 ay 18 beses na mas mataas kaysa noong 2012[7].

Pagkakaiba-iba ng Kasarian sa Akademya

Ang pagsusuri sa mga faculty ng AI sa pitong nangungunang unibersidad sa mundo ay nagpakita na sa average, 80% ng mga propesor ng AI ay mga lalaki. Kabilang sa mga unibersidad ang UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, at ETH Zurich. Walang makabuluhang pagkakaiba sa pagitan ng mga rehiyon ang natuklasan[1].

Seksyon 2. Dami ng Aktibidad: Industriya

Mga Startup at Pamumuhunan

Ang bilang ng mga aktibong AI startup sa USA na sinusuportahan ng venture capital ay tumaas ng 113% mula Enero 2015 hanggang Enero 2018, habang ang kabuuang bilang ng mga startup ay lumaki lamang ng 28%[8].

Ang venture financing ng mga AI startup sa USA ay tumaas ng 350% mula 2013 hanggang 2017, habang ang kabuuang venture financing ay lumaki ng 100% sa parehong panahon[8].

Mga Bakanteng Trabaho

Ang deep learning ay ang kasanayan na may pinakamabilis na paglago ng demand: ang bilang ng mga bakanteng trabaho na nangangailangan ng mga kasanayan sa deep learning ay lumaki nang 34 beses mula 2015 hanggang 2017. Ang Machine Learning ay nananatiling pinakahinahanap na kasanayan sa absolute na dami[9].

Pamamahagi ng kasarian. Sa average, ang mga lalaki ay bumubuo ng 71% ng pool ng mga naghahanap ng trabaho para sa mga posisyon na may kaugnayan sa AI sa USA. Ang pinakamataas na pagkakaiba-iba ng kasarian ay naobserbahan sa mga naghahanap ng trabaho para sa mga posisyon na may kaugnayan sa deep learning at robotics[9].

Mga Patent

Noong 2014, humigit-kumulang 30% ng mga patent sa larangan ng AI ay nairehistro sa USA, sinundan ng South Korea at Hapon (16% bawat isa). Ang South Korea at Taiwan ay nagpakita ng pinakamalaking paglago: ang bilang ng mga AI patent noong 2014 ay halos 5 beses na mas mataas kaysa noong 2004[10].

Paggamit ng AI sa mga Kumpanya

Ayon sa survey ng McKinsey & Company (2,135 respondente), ang pinaka-laganap na mga teknolohiya ng AI ay ang robotic process automation at Machine Learning. Ang mga organisasyon ay karaniwang nagpapatupad ng AI sa mga business function na nagbibigay ng pinakamataas na kita sa kanilang industriya: ang mga kompanya sa pananalapi ay aktibong gumagamit ng AI sa pamamahala ng panganib, ang mga kompanya sa sasakyan — sa produksyon, ang retail — sa marketing at benta[11].

Rehiyon Pinakasikat na kakayahan ng AI (% ng mga respondente)
Hilagang Amerika Robotic process automation (23%), Machine Learning (23%)
Europa Robotic process automation (27%), Machine Learning (21%)
Mga umuusbong na merkado (kabilang ang Tsina) Computer vision (26%), Robotic process automation (23%)
India Machine Learning (25%), Robotic process automation (30%)

Mga Pagbanggit ng AI sa mga Corporate na Ulat

Ang mga pagbanggit ng «artipisyal na katalinuhan» at «machine learning» sa mga ulat ng kita ng mga kumpanyang kalakalan sa New York Stock Exchange ay biglang tumaas mula 2015. Sa sektor ng IT, ang NVIDIA ang nangunguna sa bilang ng mga pagbanggit ng AI (93 pagbanggit noong 2017), sinundan ng LivePerson (50) at Pegasystems (44). Sa bilang ng mga pagbanggit ng ML, ang Alphabet ang nangunguna (57)[12].

Pag-install ng mga Pang-industriyang Robot

Ang Tsina ay nagpakita ng 500-porsyentong pagtaas sa taunang pag-install ng mga pang-industriyang robot mula 2012 hanggang 2017. Ang South Korea at Europa ay nagpalaki ng pag-install ng 105% at 122% ayon sa pagkakasunod. Sa mga mas maliliit na merkado, ang Taiwan ang nagpakita ng pinakamataas na dami at paglago[13].

Open Source na Software

Ang pagsusuri ng mga bituin (stars) ng mga GitHub repository ay nagpakita ng malaking paglago ng popularidad ng mga framework na sinusuportahan ng malalaking kumpanya: TensorFlow (Google), PyTorch (Facebook), MXNet (Amazon). Ang TensorFlow ay malayo sa iba pang mga framework sa popularidad, umaabot sa mahigit 100,000 bituin sa 2018[14].

Seksyon 3. Dami ng Aktibidad: Interes ng Publiko

Tono ng Saklaw ng Media

Ang mga artikulong naglalaman ng terminong «artipisyal na katalinuhan» ay naging hindi gaanong neutral at mas positibo: ang bahagi ng mga positibong artikulo ay tumaas mula 12% noong Enero 2016 hanggang 30% noong Hulyo 2016 at nanatili sa antas na ito hanggang 2018[15].

Mga Pagbanggit sa mga Dokumento ng Pamahalaan

Ang mga pagbanggit ng mga termino ng «artipisyal na katalinuhan» at «machine learning» sa mga transcript ng Kongreso ng USA, mga parlamento ng Canada at United Kingdom ay biglang tumaas mula 2016. Kapansin-pansin, ang «machine learning» ay halos hindi binanggit sa mga dokumentong pamparlamentaryo bago ang 2016[1].

Seksyon 4. Teknikal na Pagganap

Computer Vision: ImageNet

Katumpakan. Ang pagganap sa ImageNet ay patuloy na lumalaki kahit pagkatapos ng opisyal na pagtatapos ng kompetisyon noong 2017. Sinusubaybayan ng AI Index ang pag-unlad batay sa mga resulta sa validation dataset ng ImageNet 2012. Ang katumpakan ng pag-uuri ng imahe ay malaki na lumampas sa antas ng tao (humigit-kumulang 5% na mga pagkakamali)[16].

Bilis ng pagsasanay. Ang oras ng pagsasanay ng neural network para sa pag-uuri ng imahe ng ImageNet ay bumaba mula sa humigit-kumulang 60 minuto (Hunyo 2017) hanggang 3.7 minuto (Nobyembre 2018) — isang 16 beses na pagpapabilis sa loob ng isang taon at kalahati. Sumasalamin ito sa parehong mga algorithmic na inobasyon at mga pamumuhunan sa imprastraktura (hardware at software)[17].

Petsa Oras ng Pagsasanay ng ImageNet
Hunyo 2017 ~60 minuto
Nobyembre 2017 ~30 minuto
Nobyembre 2017 ~15 minuto
Hulyo 2018 ~6.6 minuto
Nobyembre 2018 ~3.7 minuto

Computer Vision: COCO

Sa kompetisyon ng COCO (Common Objects in Context) para sa segmentasyon ng mga bagay, ang pinakamataas na average precision ay tumaas ng 72% mula 2015 hanggang 2018 (mula 0.28 hanggang 0.48). Ang komunidad ng computer vision ay lumipat mula sa medyo simpleng mga gawain (pag-uuri) patungo sa mas kumplikadong mga gawain (lokalisasyon ng mga bagay hanggang sa pixel, semantic segmentation)[18].

Natural Language Processing: Parsing

Ang F1 metric para sa syntactic parsing ng mga pangungusap (Penn Treebank) ay tumaas ng 9 percentage point mula 2003 hanggang 2018 (mula ~86% hanggang ~95%). Ang parsing ay halos ganap na lumipat mula sa mga pamamaraang katulad ng parsing ng mga programming language patungo sa mga pamamaraan batay sa deep learning[19].

Machine Translation

Ang mga BLEU score para sa pagsasalin mula Ingles patungong Aleman sa kompetisyon ng WMT ay tumaas ng 3.5 beses kumpara sa 2008; para sa pagsasalin mula Aleman patungong Ingles — ng 2.5 beses. Ang pag-unlad ay dulot ng arkitektura ng Transformer at mas mahusay na paggamit ng datos[20].

Mga Question-Answering System: ARC

Sa benchmark na AI2 Reasoning Challenge (ARC), na inilabas ng Allen Institute for AI noong Abril 2018, ang pagganap sa Challenge Set (mahihirap na tanong sa antas ng mga grade 3–9 ng mga paaralang Amerikano) ay bumuti mula 27% hanggang 42%, at sa Easy Set — mula 63% hanggang 69% sa panahon mula Abril hanggang Nobyembre 2018[21].

Mga Question-Answering System: GLUE

Ang benchmark na GLUE (General Language Understanding Evaluation), na inilabas noong Mayo 2018, ay dinisenyo para sa pagsubok ng mga sistema ng pag-unawa sa natural na wika sa siyam na sub-gawain. Kahit na ang benchmark ay umiiral ng wala pang anim na buwan, ang pagganap ay nakahanap na ng humigit-kumulang kalahati ng agwat sa pagitan ng unang nailathala na baseline at tinantiyang antas ng tao (~90%). Ang modelo ng BERT mula sa Google ay naging bagong pamantayan — sinipi ito ng walong beses sa loob ng unang buwan pagkatapos ng paglulunsad[22][23].

Seksyon 5. Mga Derived na Sukatan

Dinamika ng «Akademya — Industriya»

Para sa pag-aaral ng ugnayan sa pagitan ng akademiko at pang-industriyang aktibidad sa AI, inihambing ng mga may-akda ang tatlong normalized na indicator: mga publikasyon sa Scopus, mga pagpapatala sa mga kurso sa AI/ML sa mga unibersidad ng USA, at venture investments sa mga AI startup. Lahat ng tatlong sukatan ay nagpakita ng paglago simula 2010, ngunit ang venture investments ay lumaki nang mas mabilis kaysa sa iba[1].

AI Vibrancy Index - Indeks ng Sigla ng AI

Ang Vibrancy Index ay pinagsama ang tatlong sukatan (mga publikasyon, mga pagpapatala, venture investments) sa isang solong indicator, na na-normalize sa 2010. Sa 2017, ang indeks ay lumalaki nang humigit-kumulang 7–9 beses kaugnay ng base value ng 2010, pangunahin sa pamamagitan ng paglago ng venture financing[1].

Seksyon 6. Mga Inisyatiba ng Pamahalaan

Sa unang pagkakataon, isinama ng ulat ang pangkalahatang-ideya ng mga inisyatiba ng pamahalaan sa larangan ng AI sa tatlong rehiyon[1][24]:

USA

Noong Oktubre 2016, iminungkahi ng administrasyon ng Obama ang pambansang estratehiya sa AI at naglathala ng unang policy report tungkol sa paghahanda para sa kinabukasan ng AI (Preparing for the Future of Artificial Intelligence). Noong Mayo 2018, inilunsad ng administrasyon ng Trump ang AI Summit at nagtatag ng espesyal na Select Committee on Artificial Intelligence. Noong Setyembre 2018, inanunsyo ng DARPA ang plano ng pamumuhunan na mahigit 2 bilyong dolyar sa programang AI Next. Ang mga pribadong kumpanya ay may sentral na papel: noong 2017, ang Amazon at Alphabet ay namuhunan sa R&D ng 16.1 bilyon at 13.9 bilyong dolyar ayon sa pagkakasunod — mas malaki kaysa sa pinagsama-samang badyet ng NSF, DARPA at DOT (~5.3 bilyong dolyar)[1].

Europa

Noong Abril 2018, ang mga miyembro ng estado ng EU ay pumirma ng Deklarasyon ng Kooperasyon sa larangan ng AI, at naglaan ang European Commission ng 1.5 bilyong euro para sa suporta ng pananaliksik sa AI sa 2018–2020 (bilang karagdagan sa 2.6 bilyong euro mula sa programang Horizon 2020). Ang layunin ay ang maakit ng 20 bilyong euro ng pamumuhunan sa AI sa loob ng 10 taon. Ang United Kingdom ay naglathala ng AI Sector Deal na may pamumuhunan na 950 milyong pound. Naglabas ang Pransya ng tatlong ulat, kabilang ang «Mission Villani», na nakatuon sa patakaran, pag-iwas sa brain drain, at pagkakaiba-iba sa AI[25].

Tsina

Mula 2014, ang pamahalaan ng Tsina ay naglunsad ng serye ng mga pambansang inisyatiba na may layuning lumikha ng merkado ng AI na 14.7 bilyong dolyar sa 2018 at tiyakin ang pandaigdigang pamumuno ng Tsina sa AI sa 2030. Ang pangunahing dokumento ay ang «New Generation Artificial Intelligence Development Plan» (Hulyo 2017), na nagtatakda ng pagkamit ng antas ng mga advanced na bansa sa 2020, malalaking breakthrough sa 2025, at katayuan bilang pandaigdigang sentro ng inobasyon sa AI sa 2030[26].

Seksyon 7. Mga Tagumpay sa Antas ng Kakayahan ng Tao

Pinahaba ng ulat ang kronolohiya ng mga kaso kung saan ang AI ay nakamit o nalampasan ang antas ng tao. Noong 2018, apat na bagong tagumpay ang idinagdag[1]:

Taon Tagumpay Paglalarawan
1980 Othello Ang programa ng BILL (Ku-Fu Lee at S. Mahajan) ay nanalo sa pinakamahusay na manlalaro ng Amerikano; noong 1997 ang Logistello ay tatalo sa kampeon ng mundo
1995 Checkers Ang programa ng Chinook ay nanalo sa kampeon ng mundo
1997 Chess Ang IBM DeepBlue ay nanalo kay Garry Kasparov
2011 Jeopardy! Ang IBM Watson ay nanalo sa mga kampeon na si Brad Rutter at Ken Jennings
2015 Atari Ang DeepMind ay nakamit ang antas ng tao sa 49 na laro ng Atari
2016 Go Ang AlphaGo ay nanalo kay Lee Sedol (4–1); ang AlphaGo Zero ay nanalo sa AlphaGo 100–0
2016 Pagtuklas ng mga Bagay (ImageNet) Ang error sa pag-uuri ay bumaba mula 28% (2010) hanggang wala pang 3% sa antas ng tao na ~5%
2017 Pagkilala ng Pagsasalita (Switchboard) Ang Microsoft at IBM ay nakamit ang antas na malapit sa katumpakan ng tao
2017 Poker Ang Libratus (CMU) ay nanalo sa apat na propesyonal na manlalaro sa 120,000 laro; ang DeepStack (Alberta) ay nanalo sa 11 propesyonal
2017 Pag-uuri ng Kanser sa Balat Ang AI system (Esteva et al., Nature) ay nakamit ang antas ng 21 sertipikadong dermatologist
2017 Ms. Pac-Man Ang koponan ng Maluuba (Microsoft) ay nakamit ang maximum na puntos na 999,900 sa Atari 2600
2018 Capture the Flag Ang ahente ng DeepMind ay nakamit ang antas ng tao sa binagong bersyon ng Quake III Arena CTF
2018 Dota 2 Ang OpenAI Five ay nanalo sa mga amateur na koponan (na may mga limitasyon), ngunit natalo sa mga propesyonal
2018 Greyding ng Kanser sa Prostate Ang sistema ng Google ay nakamit ang kabuuang katumpakan na 70% kumpara sa 61% ng mga pathologist
2018 Pagsasalin mula Tsino patungong Ingles Ang sistema ng Microsoft ay nakamit ang antas ng tao sa dataset na newstest2017

Binigyang-diin ng mga may-akda ng ulat na ang mga resultang ito ay hindi dapat palakihin ang kahalagahan: ang mga gawain ay espesyalisado, at ang mga tagumpay ay hindi nagpapatunay ng kakayahan ng mga sistema na mag-generalize[1].

Seksyon 8. Ano ang Kailangang Idagdag? (What's Missing?)

Ipinakita ng seksyon ang mga opinyon ng tatlong eksperto tungkol sa mga direksyon ng pag-unlad ng indeks[1].

Francesca Rossi (IBM, University of Padua) ay nagmungkahi na magdagdag ng mga sukatan para sa common sense reasoning, malalim na pag-unawa sa natural na wika, pakikipagtulungan ng tao at makina (sa halip na paghaharap), at para sa pagsasama ng Machine Learning sa symbolic AI at causal reasoning (causality)[1].

Rodney Brooks (MIT) ay nagbigay-pansin sa limitasyon ng sukatan ng mga pang-industriyang robot, na kadalasang wala pang mga bahagi ng AI. Iminungkahi niya na subaybayan ang mga robot na may bahagi ng AI: mga drone (SLAM at iba pang algorithm), mga robot sa bahay (Roomba), at mga potensyal na social robot[1].

Toby Walsh (UNSW Sydney, TU Berlin) ay nagturo sa pangangailangan ng mga quantitative na sukatan para sa pagsukat ng lumalaking pamumuhunan ng pamahalaan at pribadong sektor (United Kingdom — 1 bilyong pound, Pransya — 1.5 bilyong euro, Alemanya — 3 bilyong euro, Alibaba — 15 bilyong dolyar), pati na rin para sa pagsubaybay ng military na paggamit ng AI, kabilang ang mga autonomous na sandata[1].

Metodolohiya

Gumamit ang ulat ng datos mula sa maraming pinagkukunan[1]:

  • Mga Publikasyon: Elsevier Scopus (~70 milyong dokumento, ~800 keyword ng AI), arXiv.org.
  • Mga Kumperensya: AAAI, NeurIPS, ICML, CVPR, ICLR, IJCAI, ACL, ICRA, ICAPS, UAI, KR, AAMAS, WiML, AI4ALL.
  • Mga Kurso: datos direkta mula sa mga unibersidad (17 institusyon sa 10 bansa).
  • Mga Startup at Pamumuhunan: Sand Hill Econometrics (Dow Jones VentureSource), Crunchbase API.
  • Mga Bakanteng Trabaho: Monster.com, Gartner TalentNeuron.
  • Mga Patent: amplified (IPC codes: Cognition and meaning understanding, Human-interface technology).
  • Paggamit ng AI: McKinsey & Company (survey ng 2,135 respondente).
  • Mga Corporate na Ulat: Prattle (pagsusuri ng mga teksto ng mga ulat ng kita mula sa FactSet).
  • Robotics: International Federation of Robotics (IFR), ROS.org.
  • Media: TrendKite (pagsusuri ng tono ng mga artikulo).
  • Pamahalaan: Congressional Record (USA), Hansards (United Kingdom at Canada), McKinsey Global Institute.
  • Mga Benchmark: ImageNet (LSVRC), COCO, Penn Treebank, WMT (EuroMatrix), ARC (Allen Institute for AI), GLUE.

Kolektibo ng mga May-Akda

Inihanda ang ulat ng Steering Committee ng AI Index sa ilalim ng pamumuno ni Yoav Shoham (Stanford University) sa pakikilahok nina Raymond Perrault (SRI International), Erik Brynjolfsson (MIT), Jack Clark (OpenAI), James Manyika (McKinsey Global Institute), Juan Carlos Niebles (Stanford University), Terah Lyons (Partnership on AI), John Etchemendy (Stanford University) at Barbara Grosz (Harvard University). Si Zoe Bauer ang nagsilbing project manager. Ang AI Index ay orihinal na lumitaw bilang bahagi ng proyektong One Hundred Year Study on AI (AI100) at kalaunan ay inilagay sa Stanford HAI (Human-Centered AI) Institute[1].

Konteksto at Kahalagahan

Ang AI Index Report 2018 ay naging mahalagang yugto sa pag-unlad ng sistematikong pagsubaybay sa pag-unlad ng AI. Naitala nito ang ilang mga turning point: ang mabilis na pag-unlad ng deep learning at ang dominasyon nito sa mga pamamaraan sa AI, ang paglipat ng komunidad ng computer vision sa mas kumplikadong mga gawain pagkatapos ng «saturation» ng ImageNet, ang rebolusyonaryong impluwensya ng modelo ng BERT sa natural language processing, at ang walang katulad na paglaki ng pakikilahok ng industriya sa pagbuo ng mga advanced na sistema ng AI. Para sa unang pagkakataon, sistematiko ring naidokumento ng ulat ang «laban» sa pagitan ng mga estado sa pagpopondo at estratehikong pagpaplano ng AI — isang ugali na magtatakda ng pag-unlad ng industriya sa mga susunod na taon[1].

Mga Sanggunian

Talasanggunian

Mga Tala

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). The AI Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 Elsevier (2018). Artificial Intelligence: How knowledge is created, transferred, and used. https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
  3. ↑ arXiv.org (2018). Submission statistics. https://arxiv.org/stats/yearly_submissions
  4. ↑ AAAI (2018). AAAI 2018 Conference Proceedings. https://aaai.org/aaai-conference/
  5. ↑ Women in Machine Learning (WiML) (2018). Workshop data. https://wimlworkshop.org/
  6. ↑ AI4ALL (2018). Program data. https://ai-4-all.org/
  7. ↑ ROS.org (2018). ROS Community Metrics Report. https://metrics.ros.org/
  8. ↑ 8.0 8.1 Sand Hill Econometrics (2018). AI Startup and VC Funding Data. Dow Jones VentureSource.
  9. ↑ 9.0 9.1 Monster.com / Gartner TalentNeuron (2018). AI Job Openings Data. https://www.monster.com/
  10. ↑ amplified (2018). AI Patent Data. https://www.amplified.ai/
  11. ↑ McKinsey & Company (2018). Notes from the AI frontier: AI adoption advances, but foundational barriers remain. https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain
  12. ↑ Prattle (2018). Earnings call analysis data. FactSet.
  13. ↑ International Federation of Robotics (2018). World Robotics Report 2017. https://ifr.org/worldrobotics/
  14. ↑ GitHub Archive / Google BigQuery (2018). GitHub repository stars data. https://github.com/
  15. ↑ TrendKite (2018). Media sentiment analysis data. https://www.trendkite.com/
  16. ↑ ImageNet (2018). LSVRC leaderboard and validation results. https://image-net.org/challenges/LSVRC/
  17. ↑ DAWNBench / Stanford (2018). ImageNet training time results. https://dawn.cs.stanford.edu/benchmark/
  18. ↑ COCO (2018). Instance Segmentation Leaderboard. https://cocodataset.org/#detection-leaderboard
  19. ↑ Penn Treebank (2018). Section 23 parsing results. See NLPProgress: https://nlpprogress.com/english/constituency_parsing.html
  20. ↑ Workshop on Machine Translation / EuroMatrix (2018). WMT News Translation Task results. http://www.statmt.org/wmt18/
  21. ↑ Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. https://arxiv.org/abs/1803.05457
  22. ↑ Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://arxiv.org/abs/1804.07461
  23. ↑ Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
  24. ↑ Dutton, T. (2018). An Overview of National AI Strategies. https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
  25. ↑ European Commission (2018). Communication on Artificial Intelligence for Europe. https://ec.europa.eu/digital-single-market/en/artificial-intelligence
  26. ↑ State Council of the People's Republic of China (2017). New Generation Artificial Intelligence Development Plan. https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/
Retrieved from "https://systems-analysis.info/int/index.php?title=The_2018_AI_Index_Report_(TL)&oldid=7946"