The 2019 AI Index Report (SV)

From Systems analysis Wiki
Jump to navigation Jump to search

AI Index Report 2019 — den andra fullständiga årsutgåvan av rapporten AI Index, framtagen av Stanfords institut för människocentrerad artificiell intelligens (Stanford HAI)[1]. 2019 års rapport spårar tre gånger fler dataset jämfört med 2018 års utgåva och täcker nio tematiska kapitel: från forskning och utveckling till nationella strategier och global AI-dynamik. Utgåvan innehåller uppdaterade uppgifter om alla aspekter av artificiell intelligens — tekniska framsteg, ekonomi, utbildning, allmänhetens uppfattning och samhälleliga konsekvenser — och presenterar två nya interaktiva verktyg: Global AI Vibrancy Tool (vibrancy.aiindex.org), som möjliggör jämförelser mellan länder utifrån 34 indikatorer, och AI Index arXiv Monitor (arxiv.aiindex.org), som tillhandahåller fulltextsökning i AI-preprints. AI Index är ett oberoende initiativ vid Stanfords HAI-institut, tillkommet inom ramen för projektet "Hundraårsstudien om AI" (AI100)[1].

Bakgrund och mål

AI Index har som uppdrag att tillhandahålla objektiva, noggrant verifierade data om utvecklingen av artificiell intelligens för beslutsfattare, forskare, chefer, journalister och allmänheten[1]. Rapporten för 2019 publicerades under en period av snabbt växande intresse för AI från regeringar, företag och samhälle, och syftade till att skingra utbredda myter — bland annat föreställningen att AI-utvecklingen reduceras till en rivalitet mellan USA och Kina. Rapportens data visar att lokala centrum för spetskompetens inom AI etableras över hela världen: Finland utmärker sig inom AI-utbildning, Indien uppvisar hög penetration av AI-färdigheter, Singapore har välorganiserat statligt stöd, och Israel leder vad gäller privata investeringar i AI-startups per capita[1].

Rapportens struktur

2019 års rapport består av nio tematiska kapitel[1]:

  1. Forskning och utveckling (Research and Development) — bibliometriska data, publikationer, patent, könsfördelning inom AI-forskning.
  2. Konferenser (Conferences) — besökarantal, statistik över AAAI-artiklar, mångfaldsorganisationer, etik vid konferenser.
  3. Teknisk prestanda (Technical Performance) — benchmark inom datorseende, språkbehandling, resonemang och beräkningskapacitet.
  4. Ekonomi (The Economy) — arbetstillfällen, investeringar, företagsimplementering, robotisering.
  5. Utbildning (Education) — onlineutbildning, universitetsprogram, PhD-specialiseringar, läraravgång.
  6. Autonoma system (Autonomous Systems) — självkörande fordon, autonoma vapensystem.
  7. Allmänhetens uppfattning (Public Perception) — centralbanker, parlament, företagsrapporter, medier.
  8. Samhällsaspekter (Societal Considerations) — etiska principer, AI och FN:s hållbara utvecklingsmål.
  9. Nationella strategier och global AI-dynamik (National Strategies and Global AI Vibrancy) — nationella strategier, verktyg för länderjämförelser.

Rapportens viktigaste slutsatser

1. Ökad publikationsvolym

Under perioden 1998–2018 ökade volymen av peer-reviewade publikationer inom AI med mer än 300 %. År 2018 utgjorde AI-artiklar 3 % av tidskriftspublikationerna och 9 % av konferensartiklarna i databasen Scopus[2]. Kina hade år 2018 kommit ikapp Europa vad gäller antal tidskrifts- och konferenspublikationer inom AI, och hade passerat USA redan 2006. Samtidigt översteg citeringsindexet (FWCI) för publikationer från USA fortfarande det kinesiska med ungefär 50 %[1].

2. Rekordstort deltagarantal vid konferenser

Deltagarantalet vid de största AI-konferenserna fortsatte att öka markant. NeurIPS väntade sig 13 500 deltagare år 2019 — en ökning med 41 % jämfört med 2018 och mer än 800 % jämfört med 2012. AAAI och CVPR uppvisade en årlig tillväxt i deltagarantal på ungefär 30 %[1].

3. Snabb teknisk utveckling

Träningstiden för en bildklassificeringsmodell på molninfrastruktur minskade från ungefär tre timmar i oktober 2017 till ungefär 88 sekunder i juli 2019; träningskostnaderna sjönk på liknande sätt. På benchmark-testerna SuperGLUE och SQuAD 2.0 var framstegen särskilt snabba, men på uppgifter som kräver resonemang (t.ex. AI2 Reasoning Challenge) och uppgifter med inlärning på konceptnivå (Omniglot Challenge) låg resultaten fortfarande lägre[3][1].

4. Exponentiell ökning av beräkningskapacitet

Före 2012 följde tillväxten av beräkningskapacitet för AI Moores lag — en fördubbling vartannat år. Efter 2012 fördubblades beräkningskapaciteten var 3,4 månad, vilket ledde till en ökning med mer än 300 000 gånger på sex år[4].

5. Global tillväxt av AI-rekrytering

Singapore, Brasilien, Australien, Kanada och Indien uppvisade den snabbaste tillväxten i AI-rekrytering under perioden 2015–2019. I USA ökade andelen AI-relaterade lediga tjänster från 0,26 % av det totala antalet lediga tjänster år 2010 till 1,32 % i oktober 2019, där störst efterfrågan riktades mot specialister inom Machine Learning (0,51 %)[5][6].

6. Privata investeringar översteg 70 miljarder dollar

År 2019 översteg de globala privata investeringarna i AI 70 miljarder dollar, varav mer än 37 miljarder i startupinvesteringar, 34 miljarder i M&A-affärer, cirka 5 miljarder i börsintroduktioner och cirka 2 miljarder i minoritetsandelar. Från 2010 till 2018 ökade finansieringen av AI-startups från 1,3 miljarder till 40,4 miljarder dollar med en genomsnittlig årlig tillväxt på över 48 %. Autonoma fordon fick den största investeringsandelen (7,7 miljarder), följt av läkemedel och cancerterapi (4,7 miljarder) samt ansiktsigenkänning (4,7 miljarder)[7].

7. Växande AI-implementering i företag

Enligt en enkät från McKinsey & Company (2 360 respondenter) använde 58 % av de stora företagen AI i minst en funktion eller affärsenhet år 2019, jämfört med 47 % år 2018. Samtidigt vidtog endast 19 % av organisationerna åtgärder för att minska risker kopplade till algoritmisk förklarbarhet, och endast 13 % för att motverka snedvridning och diskriminering[8].

8. AI — den mest populära PhD-specialiseringen

AI blev den mest populära specialiseringen bland doktorander i datavetenskap i Nordamerika: år 2018 specialiserade sig mer än 21 % av PhD-examinanderna inom datavetenskap på AI och Machine Learning. Andelen PhD-examinander inom AI som gick till industrin tredubblades från 21 % år 2004 till mer än 60 % år 2018[9].

9. AI-lärares övergång från akademin

Avgången av AI-lärare från akademin till industrin accelererade: mer än 40 avgångar år 2018 jämfört med 15 år 2012 och noll år 2004. De största förlusterna drabbade Carnegie Mellon University, University of Washington och University of California, Berkeley[10].

10. Ökat fokus på AI-etik

Rättvisa, tolkningsbarhet och förklarbarhet identifierades som de oftast nämnda etiska utmaningarna i 59 dokument med principer för etisk AI. Av mer än 3 600 globala nyhetsartiklar om etik och AI (mitten av 2018 till mitten av 2019) dominerades innehållet av ramverk och riktlinjer för etisk användning av AI (32 %), dataintegritet (14 %), ansiktsigenkänning (13 %), algoritmisk snedvridning (11 %) och stora teknikföretags roll (11 %)[11].

Kapitel 1. Forskning och utveckling

Kapitlet analyserar trender i publikationer baserat på data från Elsevier Scopus, arXiv-preprints, Microsoft Academic Graph (MAG), samt patentaktivitet, popularitet hos programvaruramverk på GitHub och könsfördelning bland AI-forskare[1].

Publikationer

Europa förblev den största utgivaren av AI-artiklar och nådde mer än 27 % av publikationerna i Scopus år 2018. Kinas andel ökade från 10 % år 2000 till 28 % år 2018. I USA utgjorde företagspublikationer en relativt hög andel: år 2018 översteg antalet företagsrelaterade AI-artiklar från USA det kinesiska med mer än sju gånger[2].

På arXiv ökade det totala antalet AI-artiklar mer än tjugo gånger under 2010–2019. Datorseende (CV) var den största underkategorin från 2014, men år 2019 blev Machine Learning den ledande kategorin. Underkategorin "Computation & Language" växte med nästan sextio gånger sedan 2010[12].

Citeringar

Mer än 32 % av världens citeringar av tidskriftsartiklar om AI kom från Östasien, och mer än 40 % av citeringarna av konferensartiklar kom från Nordamerika. På patentområdet stod Nordamerika för mer än 60 % av den globala citeringsaktiviteten för AI-patent under 2014–2018[13].

Patent

Mer än 51 % av världens AI-patent hörde till Nordamerika. USA publicerade tre gånger fler AI-patent än nästa land — Japan. Mer än 94 % av AI-patenten lämnades in i höginkomstländer[13].

GitHub Stars

En tydlig trend var dominansen av företagsstödda ramverk: TensorFlow (Google) och PyTorch (Facebook). Icke-företagsstödda ramverk — scikit-learn och Caffe — fortsatte att växa, men i långsammare takt[1].

Könsfördelning i forskning

Mer än 41 % av AI-artiklarna från Nederländerna och mer än 39 % från Danmark hade minst en kvinnlig medförfattare. I Japan och Singapore var denna andel endast 10 % respektive 16 %. Många västeuropeiska länder, samt Argentina, Kanada och Iran, uppvisade relativt hög närvaro av kvinnor inom AI-forskning[14].

Kapitel 2. Konferenser

Deltagarantal

NeurIPS väntade sig 13 500 deltagare år 2019 (800 % tillväxt sedan 2012). ICLR hade vuxit femton gånger jämfört med 2014. Seminariet Women in Machine Learning (WiML) ökade deltagarantalet med 738 % jämfört med 2014, och programmet AI4ALL med 2 000 % jämfört med 2015[1].

AAAI-statistik

Vid AAAI-konferensen 2019 stod Kina för det största antalet inlämnade och antagna artiklar. Mer än 68 % av ansökningarna kom från doktorander. Israel hade den högsta antagningsprocenten (24 %), följt av Tyskland (23 %), Kanada (22 %), USA och Singapore (vardera 20 %). Machine Learning, NLP och datorseende förblev de tre ledande ämnesområdena[1].

Etik vid konferenser

Det totala antalet artiklar med etikanknutna nyckelord vid ledande AI-konferenser utgjorde en liten andel av det totala antalet artiklar, men växte snabbt. Analysen omfattade 110 108 artiklar, varav 59 352 konferensartiklar och 50 756 tidskriftsartiklar[15].

Kapitel 3. Teknisk prestanda

Kapitlet spårar tekniska framsteg inom datorseende, bearbetning av naturligt språk, resonemang, maskinöversättning och beräkningskapacitet[1].

Datorseende

ImageNet. Den första metoden som översteg mänsklig precision på ImageNet publicerades år 2015. Till 2019 fortsatte framstegen: de tre mest framgångsrika metoderna använde ytterligare träningsdata. ImageNet-tävlingen avslutades 2017, men datasetet förblev ett centralt benchmark[16].

Träningstid och kostnad. Enligt projektet DAWNBench (Stanford) minskade träningstiden för en bildklassificeringsmodell till precision 93 %+ (top-5) på molninfrastruktur från mer än 3 timmar (oktober 2017) till ~88 sekunder (juli 2019). Träningskostnaden sjönk från 2 323 dollar (oktober 2017, ResNet) till ~12 dollar (september 2018, ResNet på GCP med Cloud TPU)[3].

Bildgenerering. Framsteg inom bildgenerering (CIFAR-10) mättes med hjälp av måttet FID (Fréchet Inception Distance): ett lägre värde korrelerar med bättre genereringskvalitet[1].

Semantisk segmentering. Framsteg mättes med hjälp av måttet mean IoU på datasetet Cityscapes — en uppgift viktig för system för autonom körning[1].

Bearbetning av naturligt språk

GLUE. Benchmark-testet General Language Understanding Evaluation, lanserat i maj 2018, testar system på nio textbehandlingsuppgifter. Trots att benchmark-testet knappt hade funnits i ett år överträffade systemresultaten icke-expertbedömarnas nivå i juni 2019. Modellerna RoBERTa (Facebook) och T5 (Google) fortsatte att förbättra sina resultat[17].

SuperGLUE. Ett mer avancerat benchmark, lanserat i maj 2019. Inom fem månader efter lanseringen hade modellen T5 (Google) nästan nått den mänskliga basnivån på 89,8, med ett poängvärde på 88,9[18].

SQuAD. På Stanford Question Answering Dataset ökade F1-poängen för SQuAD 1.1 från 67 (augusti 2016) till 95 (maj 2019). Framstegen på SQuAD 2.0 var ännu snabbare: från 62 (maj 2018) till 90 (juni 2019). Träningstiden för en frågesvarsmodell till F1 ≥ 75 på SQuAD 1.0 minskade från mer än 7 timmar (oktober 2017) till under 19 minuter (mars 2019)[19].

Resonemang. På ARC Challenge Set (Allen Institute for AI) var det bästa resultatet 67,7 % (september 2019). På ARC-Easy var det 85,4 %. Uppgifter som kräver resonemang förblev avsevärt svårare för AI-system[20].

Maskinöversättning

Antalet kommersiellt tillgängliga maskinöversättningssystem med förtränade modeller ökade från 8 (2017) till mer än 24 (2019). De största kvalitetsframstegen observerades för språkparen kinesiska–engelska, engelska–tyska och ryska–engelska[21].

Omniglot Challenge

Under tre år noterades märkbara framsteg i klassificering från ett exempel (one-shot), men i de övriga fyra konceptinlärningsuppgifterna (generering av exempel, parsning, generering av nya koncept) var framstegen begränsade. Bayesian Program Learning (BPL) överträffade fortfarande neurala nätverksbaserade metoder i den ursprungliga uppgiften[22].

Beräkningskapacitet

OpenAI:s analys visade en strukturell klyfta: före 2012 fördubblades beräkningsvolymen för AI vartannat år (Moores lag); efter 2012 — var 3,4 månad. Sedan 2012 har detta mått ökat med mer än 300 000 gånger[4].

Milstolpar på mänsklig nivå

Rapporten uppdaterade tidslinjen för AI-prestationer och lade till två nya resultat till de tidigare dokumenterade (Othello — 1980, dam — 1995, schack — 1997, Jeopardy! — 2011, Atari — 2015, ImageNet — 2016, Go — 2016, poker — 2017, Ms. Pac-Man — 2017, StarCraft II — 2019):

År Prestation
2018 AlphaFold (DeepMind) — förutsägelse av proteiners 3D-struktur med enastående precision
2019 AlphaStar (DeepMind) — seger över topprofessionell spelare i StarCraft II
2019 Detektering av diabetisk retinopati med precision på specialistnivå

Kapitel 4. Ekonomi

Arbetstillfällen och rekrytering

AI-rekryteringsindexet (LinkedIn) visade att Singapore, Brasilien, Australien, Kanada och Indien ledde i tillväxttakt för rekrytering under perioden 2015–2019. I USA hade delstaten Washington den relativt sett högsta efterfrågan på AI-tjänster (nästan 1,4 % av det totala antalet lediga tjänster), följt av Kalifornien (1,3 %) och Massachusetts (1,3 %). I absoluta tal ledde Kalifornien med mer än 93 000 AI-lediga tjänster[5].

Den högsta penetrationen av AI-färdigheter observerades inom sektorerna IT-tjänster (2,3 % av tjänsterna), professionella och vetenskapliga tjänster (mer än 2 %), finans och försäkring (1,3 %) samt tillverkningsindustrin (1,1 %)[6].

Enligt LinkedIn uppvisade Indien en penetration av AI-färdigheter som var 2,6 gånger högre än världsgenomsnittet. En intressant bild framträdde i könsuppdelningen: män rapporterade AI-färdigheter inom fler yrken än kvinnor i alla länder i urvalet[6].

Investeringar

Finansieringen av AI-startups växte med en genomsnittlig årlig takt på över 48 % (2010–2018). I november 2019 uppgick investeringsvolymen till 37,4 miljarder dollar (jämfört med 40,4 miljarder dollar för hela 2018). Mellan 2014 och 2019 gjordes 15 798 investeringar med en genomsnittlig storlek på ungefär 8,6 miljoner dollar[7].

Investeringarna i AI per capita var högst i Israel, följt av Singapore och Island. Startups från Kina fick avsevärt mer investering per företag: 34,1 miljoner dollar — 201 % mer än i USA och 296 % mer än världsgenomsnittet[7].

Sektorsmässigt gick de största investeringarna till autonoma fordon (7,7 miljarder dollar, 9,9 % av den totala volymen), läkemedel och cancerterapi (4,7 miljarder dollar), ansiktsigenkänning (4,7 miljarder dollar), videoinnehåll (3,6 miljarder dollar) och bedrägeridetektering (3,1 miljarder dollar). De snabbast växande områdena var robotiserad processautomation, hantering av leveranskedjor och industriell automatisering[7].

Statliga investeringar (USA)

Den amerikanska federala regeringen planerade att investera 4,98 miljarder dollar i AI-forskning under budgetåret 2020. Försvarsdepartementet (DoD) — 4,0 miljarder dollar, varav 506 miljoner dollar via DARPA, 221 miljoner dollar för projekt Maven och 209 miljoner dollar för Joint AI Center (JAIC). Federala myndigheters utgifter för AI-kontrakt ökade med ~70 %: från 429 miljoner dollar år 2017 till 728 miljoner dollar år 2018[23].

Företagsimplementering

58 % av de stora företagen rapporterade att de använde AI i minst en funktion (ökning från 47 % år 2018). 30 % av respondenterna noterade AI-implementering i flera affärsenheter (21 % år 2018). De mest frekvent implementerade AI-förmågorna var: robotiserad processautomation, datorseende och Machine Learning. Cybersäkerhet var den risk som organisationer oftast hanterade (48 %), medan risker kopplade till förklarbarhet (19 %) och rättvisa (13 %) adresserades betydligt mer sällan[8].

Industriell robotisering

År 2018 ökade de globala installationerna av industrirobotar med 6 % — till 422 271 enheter till ett värde av 16,5 miljarder dollar. Det operativa robotbeståndet uppgick till 2 439 543 enheter. De fem största marknaderna — Kina, Japan, USA, Sydkorea och Tyskland — stod för 74 % av de globala installationerna. Kina förblev världsledande (36 %) och installerade 154 032 enheter[24].

Kapitel 5. Utbildning

Onlineutbildning

Coursera, som betjänar mer än 45 miljoner studerande och erbjuder 3 700+ kurser, satte upp ett ranking av 60 länder efter AI-färdigheter (Global Skills Index). Sydasien och Östasien uppvisade den högsta andelen inskrivningar på kurser inom AI och relaterade kompetenser. På Udacity samlade kursen "Introduction to Machine Learning" mer än 125 000 kumulativa inskrivningar[25].

Universitetsprogram

Inskrivningen till introduktionskurser i AI vid Stanford ökade fem gånger (2012–2018). Till kursen "Introduction to Machine Learning" vid University of Illinois (UIUC) — tolv gånger (2010–2018). På internationell nivå hade University of Toronto det högsta antalet registrerade studenter, följt av Handelshögskolan i Moskva (Ryssland) och Tsinghua University (Kina)[1].

I Europa identifierades 2 054 program som täcker AI-området, med överväldigande majoritet på masternivå. 197 europeiska universitet erbjöd 406 specialiserade masterprogram inom AI[26].

PhD-specialiseringar och övergång till industrin

AI blev den mest populära PhD-specialiseringen inom datavetenskap: mer än 21 % år 2018. Andelen PhD-examinander som gick till industrin tredubblades: från 21 % år 2004 till 62 % år 2018. Mer än 60 % av nya AI-doktorer i USA och Kanada var utländska studenter (under 40 % år 2010); endast ~10 % lämnade USA efter examen[9].

De tre universitet med störst förlust av AI-lärare: Carnegie Mellon (17 fast anställda), University of Washington (11) och Berkeley. Bland kanadensiska universitet förlorade University of Toronto mest (9 lärare). Andelen kvinnor bland PhD-examinander inom AI förblev stabil på ~20 % från 2010 till 2018[10].

Kapitel 6. Autonoma system

Självkörande fordon

Minst 25 länder hade städer som testade autonoma fordon (AV). I delstaten Kalifornien ökade antalet testföretag och det totala antalet AV sju gånger mellan 2015 och 2018. År 2018 körde mer än 50 företag och 500 AV mer än 2 miljoner mil. Minst 41 delstater och District of Columbia övervägde lagstiftning kopplad till AV[27].

Olyckfrekvensen för AV i Kalifornien år 2018 uppgick till 22,44 per miljon mil — ungefär 5,5 gånger högre än det justerade måttet för vanliga förare. I de flesta olyckor körde en bil med mänsklig förare bakifrån in i ett stilla stående eller rakt framåt gående AV under dagtid. De flesta skadorna var obetydliga[27].

Autonoma vapensystem

Enligt en expertundersökning från Stockholms internationella fredsforskningsinstitut (SIPRI) hade minst 89 länder automatiska luftvärnssystem. Aktiva skyddssystem utvecklades och producerades av endast nio länder. Data täckte perioden 1950–2017[28].

Kapitel 7. Allmänhetens uppfattning

Centralbanker

Centralbankernas kommunikation uppvisade ett växande intresse för AI. Bank of England, Bank of Japan och Federal Reserve nämnde AI oftare än de övriga. Karaktären på publikationerna förändrades från analytiska dokument till tal[1].

Parlamentarisk och statlig aktivitet

En mer än tiodubbling av den AI-relaterade lagstiftningsaktiviteten i USA:s kongress noterades under 2017–2018. I kongressprotokollen blev 2019 det år med flest omnämnanden av AI. Liknande trender noterades i parlamenten i Kanada och Storbritannien[23].

Företag

Andelen kvartalsrapporter (earnings calls) från 3 000 börsnoterade företag i USA som innehöll omnämnanden av AI ökade från 0,01 % (2010) till 0,42 % (2018). Finanssektorn ledde vad gäller antalet omnämnanden[1].

Medier och webbsökning

Enligt Google Trends översteg termen "machine learning" andra relaterade termer i sökningar i USA. Enligt GDELT Project berörde 17,7 % av nyhetsartiklar om AI påverkan på sysselsättningen, 2,4 % algoritmisk snedvridning och endast 0,99 % "mördarrobotar"[29].

Kapitel 8. Samhällsaspekter

Etiska principer

PricewaterhouseCoopers analyserade 59 dokument med principer för etisk AI från föreningar och konsortier, regeringar, teknikföretag, tankesmedjor och vetenskapliga organisationer. Tolv etiska utmaningar lyftes fram mest frekvent: ansvarsskyldighet, säkerhet, mänsklig kontroll, tillförlitlighet och robusthet, rättvisa, mångfald och inkludering, hållbarhet, transparens, tolkningsbarhet och förklarbarhet, mångsidigt samtal, laglighet och efterlevnad, dataintegritet[11].

Rättvisa, tolkningsbarhet/förklarbarhet och transparens nämndes oftast. För teknikföretag angavs rättvisa i 100 % av ramverken, för tankesmedjor — rättvisa och mänsklig kontroll (100 % respektive 88 %)[11].

AI och FN:s hållbarhetsmål

McKinsey Global Institute identifierade ungefär 160 användningsfall för AI för samhällets bästa, med potential att stödja alla 17 av FN:s hållbara utvecklingsmål (SDG). AI kunde adressera ungefär hälften av de 169 delmålen för SDG. Flest användningsfall motsvarade SDG 3 (hälsa) och SDG 16 (fredliga och inkluderande samhällen). Men för storskalig implementering av AI för hållbar utveckling kvarstod betydande hinder: datatillgänglighet, beräkningskapacitet, kompetensförsörjning och organisationsberedskap[30].

Kapitel 9. Nationella strategier och global AI-dynamik

Nationella strategier

Antalet officiella strategidokument om AI fortsatte att öka stadigt. PwC använde NLP-analys av 37 dokument och fann att akademiskt partnerskap nämndes i 94 % av dokumenten, AI-forskning och -utveckling i 48 %, och AI-styrning i 42 %. Konsumentskydd och rättvisa nämndes mer sällan (2 %)[11].

Verktyget Global AI Vibrancy

Det för första gången presenterade verktyget täckte 28 länder utifrån 34 mätvärden grupperade i tre pelare: forskning och utveckling (21 mätvärden), ekonomi (10 mätvärden) och inkludering (5 mätvärden). Verktyget tillät användarna att anpassa viktningskoefficienter och genomföra både jämförelser mellan länder och inom enskilda länder[1].

Landsprofiler

Rapporten inkluderade detaljerade landsprofiler för Brasilien, Kina, Frankrike, Tyskland, Indien, Nederländerna, Singapore och USA, samt en översikt av multilateral regional AI-politik[1].

Viktiga benchmark-resultat för 2019

Benchmark Bästa resultat (2019) Mänsklig nivå Framsteg
ImageNet (Top-1) ~88% ~95% (enskild annotatör) Kontinuerlig förbättring med ytterligare data
GLUE Icke-expertnivån överträffad (juni 2019) 87,1 (icke-expert) RoBERTa, T5
SuperGLUE 88,9 (T5, Google) 89,8 Uppnått inom 5 månader efter benchmark-lansering
SQuAD 1.1 (F1) 95 ~91 Mänsklig nivå överträffad
SQuAD 2.0 (F1) 90 ~89 Praktiskt taget på mänsklig nivå
ARC Challenge 67,7% — Resonemangsuppgifter förblir svåra
VQA 75,28% ~80% Ökning med 2,85 procentenheter per år

Metodik

Rapporten använde data från ett flertal källor[1]:

  • Publikationer: Elsevier Scopus, arXiv (NESTA), Microsoft Academic Graph (MAG).
  • Benchmark-tester: Papers With Code, DAWNBench/MLPerf, topplistor för GLUE, SuperGLUE, SQuAD, ARC, VQA, ActivityNet.
  • Konferenser: registreringsdata för NeurIPS, ICML, ICLR, AAAI, CVPR, WiML, AI4ALL, RightsCon.
  • Arbetsmarknad: LinkedIn Economic Graph, Burning Glass Technologies, Indeed.
  • Investeringar: CAPIQ, Crunchbase, Quid.
  • Företagsaktivitet: McKinsey Global Survey, International Federation of Robotics.
  • Statliga utgifter: Bloomberg Government.
  • Allmänhetens uppfattning: Google Trends, GDELT Project, Prattle (centralbanker), Hansard (parlament).
  • Etik och strategier: PricewaterhouseCoopers (NAISR), Harvard, LexisNexis.
  • Utbildning: CRA Taulbee Survey, Coursera, Udacity, Joint Research Centre (EC).
  • Autonoma system: California DMV, Bloomberg Philanthropies, SIPRI, NCSL.

Författargrupp

Rapporten togs fram av AI Index styrkommitté under samordning av Raymond Perrault (Raymond Perrault, SRI International) och under ordförandeskap av Yoav Shoham (Yoav Shoham, Stanford University). I kommittén ingick: Erik Brynjolfsson (MIT), Jack Clark (OpenAI), John Etchemendy (Stanford), Barbara Grosz (Harvard), Tera Lyons (Partnership on AI), James Manyika (McKinsey Global Institute) och Juan Carlos Niebles (Stanford). Projektledare och chefredaktör var Saurabh Mishra (Stanford University). Data tillhandahölls av mer än 20 partnerorganisationer[1].

Länkar

Litteratur

Noter

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 Perrault, R., Shoham, Y., Brynjolfsson, E., Clark, J., Etchemendy, J., Grosz, B., Lyons, T., Manyika, J., Mishra, S., Niebles, J.C. (2019). The AI Index 2019 Annual Report. AI Index Steering Committee, Human-Centered AI Institute, Stanford University. https://aiindex.stanford.edu/report/
  2. ↑ 2.0 2.1 Elsevier Scopus. Data on AI publications 1998–2018. https://www.scopus.com/
  3. ↑ 3.0 3.1 Coleman, C. et al. Stanford DAWNBench: An End-to-End Deep Learning Benchmark and Competition. https://dawn.cs.stanford.edu/benchmark/
  4. ↑ 4.0 4.1 Amodei, D., Hernandez, D. (2018). AI and Compute. OpenAI. https://openai.com/blog/ai-and-compute
  5. ↑ 5.0 5.1 Burning Glass Technologies. AI Job Posting Data 2010–2019. https://www.burning-glass.com/
  6. ↑ 6.0 6.1 6.2 LinkedIn Economic Graph. AI Hiring Index and Skill Penetration Data. https://economicgraph.linkedin.com/
  7. ↑ 7.0 7.1 7.2 7.3 Quid. Global AI Startup Investment Data. CAPIQ, Crunchbase. https://quid.com/
  8. ↑ 8.0 8.1 McKinsey & Company (2019). Global AI Survey: AI proves its worth, but few scale impact. https://www.mckinsey.com/capabilities/quantumblack/our-insights/global-ai-survey-ai-proves-its-worth-but-few-scale-impact
  9. ↑ 9.0 9.1 Computing Research Association. Taulbee Survey 2018. https://cra.org/resources/taulbee-survey/
  10. ↑ 10.0 10.1 Gofman, M., Jin, Z. (2019). Artificial Intelligence, Human Capital, and Innovation. University of Rochester Working Paper. http://www.aibraindrain.org
  11. ↑ 11.0 11.1 11.2 11.3 PricewaterhouseCoopers (2019). National AI Strategy Radar and Ethical AI Principles Analysis. https://www.pwc.com/
  12. ↑ arXiv. AI papers statistics 2010–2019. NESTA analysis. https://arxiv.org/
  13. ↑ 13.0 13.1 Wang, K., Shen, I., Dong, Y. Microsoft Academic Graph Data 2019. https://academic.microsoft.com/
  14. ↑ Stathoulopoulos, K., Mateos-Garcia, J. (2019). Women in AI Research. NESTA. https://www.nesta.org.uk/
  15. ↑ Prates, M., Avelar, P., Lamb, L. (2019). Ethics analysis in AI conferences. Federal University of Rio Grande do Sul.
  16. ↑ Russakovsky, O. et al. ImageNet Large Scale Visual Recognition Challenge. https://www.image-net.org/
  17. ↑ Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://gluebenchmark.com/
  18. ↑ Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://super.gluebenchmark.com/
  19. ↑ Rajpurkar, P. et al. (2018). Know What You Don't Know: Unanswerable Questions for SQuAD. https://rajpurkar.github.io/SQuAD-explorer/
  20. ↑ Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC. Allen Institute for AI. https://allenai.org/data/arc
  21. ↑ Savenkov, K. Intento Machine Translation Quality Evaluation. https://inten.to/
  22. ↑ Lake, B. (2019). Omniglot Challenge: 3-year progress report. New York University.
  23. ↑ 23.0 23.1 Bloomberg Government (2019). Federal AI R&D Budget Analysis.
  24. ↑ International Federation of Robotics (2019). World Robotics Report 2019. https://ifr.org/worldrobotics/
  25. ↑ Coursera (2019). Global Skills Index. https://www.coursera.org/gsi
  26. ↑ Joint Research Centre, European Commission (2019). Academic offer and demand for advanced profiles in the EU.
  27. ↑ 27.0 27.1 California Department of Motor Vehicles (2019). Autonomous Vehicle Disengagement and Collision Reports. https://www.dmv.ca.gov/portal/vehicle-industry-services/autonomous-vehicles/
  28. ↑ Boulanin, V., Verbruggen, M. (2019). Mapping the Development of Autonomy in Weapon Systems. SIPRI. https://www.sipri.org/
  29. ↑ GDELT Project. Global AI News Coverage Data 2017–2019. https://www.gdeltproject.org/
  30. ↑ McKinsey Global Institute (2019). Notes from the AI frontier: Applying AI for social good. https://www.mckinsey.com/mgi/overview
Retrieved from "https://systems-analysis.info/int/index.php?title=The_2019_AI_Index_Report_(SV)&oldid=7964"