The 2018 AI Index Report (NL)

AI Index Report 2018 — de tweede jaarlijkse editie van het AI Index-rapport, opgesteld door het AI Index Steering Committee aan de Stanford University in december 2018. De missie van het AI Index-project is om de discussie over kunstmatige intelligentie te voorzien van objectieve gegevens. Het rapport van 2018 onderscheidt zich van de eerste editie (2017) door een aanzienlijke uitbreiding van de wereldwijde dekking: terwijl het vorige rapport voornamelijk gericht was op Noord-Amerikaanse vraagstukken, streeft de editie van 2018 ernaar gegevens op te nemen uit Europa, China, Zuid-Korea, Japan en andere regio's van de wereld. Het rapport volgt, systematiseert en visualiseert gegevens die verband houden met AI, en verstrekt informatie aan beleidsmakers, onderzoekers, bestuurders, journalisten en het grote publiek.

Structuur van het rapport

Het rapport van 2018 bestaat uit vier hoofdonderdelen:

1. Gegevens: Volume of Activity — publicaties, inschrijvingen voor cursussen, deelname aan conferenties, downloads van robotica-software, startups en investeringen, vacatures, octrooien, AI-adoptie in bedrijven, vermeldingen in winstrapportages, robotinstallaties, open-sourceprojecten, publieke interesse.
2. Gegevens: Technical Performance — computer vision, verwerking van natuurlijke taal, machinevertaling, vraag-en-antwoordsystemen.
3. Other Measures — afgeleide indicatoren, overheidsinitiatieven, prestaties op het niveau van menselijke capaciteiten.
4. Appendix — volledige beschrijving van bronnen, methodologieën en nuances.

Belangrijkste conclusies van het rapport

De auteurs van het rapport van 2018 hebben een aantal hoofdtheses geformuleerd:

AI als wereldwijd fenomeen

83% van de AI-artikelen in de Scopus-database uit 2017 werden gepubliceerd door auteurs buiten de VS. 28% van alle AI-artikelen was afkomstig uit Europa — het hoogste aandeel van alle regio's ter wereld. De inschrijving van studenten voor cursussen AI en Machine Learning nam wereldwijd toe, met name aan de Tsinghua University (China), waar de gecombineerde inschrijving voor AI- en ML-cursussen in 2017 16 keer hoger was dan in 2010.

AI-activiteit groeit vrijwel overal

Groei werd waargenomen in publicaties, cursussen, conferenties, startups, durfkapitaalfinanciering, octrooien en andere statistieken. De technologische prestaties verbeteren op alle fronten.

Machine Learning domineert als deelgebied van AI

In 2017 behoorde 56% van de AI-artikelen op Scopus tot de categorie "Machine Learning en probabilistisch redeneren" (vergeleken met 28% in 2010). De inschrijving voor inleidende ML-cursussen groeide sneller dan voor AI-cursussen in het algemeen. De conferenties NeurIPS en ICML, gewijd aan Machine Learning, lieten de grootste groei in bezoekersaantallen zien.

Genderdiversiteit blijft een ernstig probleem

Gemiddeld 80% van de AI-professoren aan toonaangevende universiteiten (UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, ETH Zurich) was man. Gemiddeld 71% van de sollicitanten op AI-gerelateerde vacatures in de VS was man.

Sectie 1. Activiteitsvolume: Onderzoek

Publicaties

Het aantal AI-artikelen op het platform Scopus is sinds 1996 verzevenvoudigd, terwijl artikelen over informatica (Computer Science) in dezelfde periode vervijfvoudigden. Dit wijst erop dat de groei van AI-publicaties niet alleen wordt gedreven door een algemene interesse in informatica, maar ook een eigen dynamiek heeft.

Regionale verdeling. Europa bleef consequent de grootste regio wat betreft het aantal AI-publicaties: in 2017 was 28% van de AI-artikelen op Scopus verbonden aan Europese auteurs, gevolgd door China (25%) en de VS (17%). Het aantal publicaties uit China steeg met 150% in de periode 2007–2017.

Subcategorieën. De grootste groei werd waargenomen in de categorie neurale netwerken: het samengesteld jaarlijks groeipercentage (CAGR) bedroeg 3% in 2010–2014 en 37% in 2014–2017. Artikelen op het platform arXiv lieten ook een snelle groei zien: computer vision en patroonherkenning werden de grootste AI-subcategorie op arXiv vanaf 2014.

Sectorale herkomst. Het aantal AI-artikelen verbonden aan Chinese overheidsorganisaties steeg met 400% in de periode 2007–2017, terwijl bedrijfspublicaties uit China slechts met 73% groeiden. In de VS was het aandeel van bedrijfspublicaties aanzienlijk hoger: in 2017 was het aandeel van bedrijfsmatige AI-artikelen in de VS 6,6 keer groter dan in China en 4,1 keer groter dan in Europa.

Citeerbaarheid. Auteurs uit de VS werden 83% vaker geciteerd dan het wereldgemiddelde. Hoewel Europa leidde in het absolute aantal publicaties, bleef de citeerbaarheid op het niveau van het wereldgemiddelde. China verbeterde zijn citeerbaarheid aanzienlijk: in 2016 werden Chinese auteurs 44% vaker geciteerd dan in 2000.

Mobiele auteurs. Mobiele auteurs (die publiceren buiten hun thuisregio) vertoonden een hogere citeerbaarheid en productiviteit vergeleken met "sedentaire" auteurs. Van de drie regio's had China het grootste aandeel sedentaire auteurs (76%), gevolgd door Europa (52%) en de VS (38%).

AAAI-conferentie. Op de AAAI-conferentie van 2018 was ongeveer 70% van de ingediende en 67% van de geaccepteerde artikelen verbonden aan de VS of China. Hoewel China het grootste aantal artikelen indiende, hadden de VS en China nagenoeg evenveel geaccepteerde werken (268 respectievelijk 265). Het acceptatiepercentage voor de VS bedroeg 29%, voor China 21%.

Inschrijvingen voor cursussen

Amerikaanse universiteiten. De inschrijving voor inleidende ML-cursussen was in 2017 vijf keer hoger dan in 2012. Bij UC Berkeley bedroeg de groei 6,8 keer. De inschrijving voor inleidende AI-cursussen groeide 3,6 keer in dezelfde periode. Daarbij was 74–79% van de studenten in inleidende AI- en ML-cursussen aan Stanford en Berkeley man.

Internationale universiteiten. De gecombineerde inschrijving voor AI+ML-cursussen aan de Tsinghua University in 2017 was 16 keer hoger dan in 2010. Groei werd ook waargenomen aan de University of Edinburgh, USTC en SJTU (China), PUC (Chili) en andere instellingen.

Deelname aan conferenties

Grote conferenties. NeurIPS en ICML lieten de grootste groei zien: in 2018 was de bezoekersbezetting van NeurIPS 4,8 keer hoger dan in 2012, en die van ICML 6,8 keer. Dit weerspiegelde de aanhoudende interesse in Machine Learning.

Kleinere conferenties. De bezoekersbezetting van ICLR (International Conference on Learning Representations) was in 2018 20 keer hoger dan in 2012 — waarschijnlijk als gevolg van de groeiende interesse in deep learning en Reinforcement Learning.

Conferentie	Bezoekersbezetting (2018, ca.)	Groei sinds 2012
NeurIPS	~8.000	4,8x
CVPR	~6.500	2,5x
ICML	~5.000	6,8x
ICLR	~2.000	20x
IJCAI	~3.000	1,5x
AAAI	~3.500	2,0x

Inclusie-organisaties. Het aantal inschrijvingen voor de workshop Women in Machine Learning (WiML) groeide met 600% sinds 2014. Het aantal afgestudeerden van AI4ALL (een initiatief ter bevordering van diversiteit in AI) groeide met 900% sinds 2015.

Downloads van robotica-software

Unieke downloads van ROS-pakketten (Robot Operating System) van ROS.org namen met 567% toe sinds 2014. Het aantal paginaweergaven van ROS.org vanuit China was in 2017 18 keer hoger dan in 2012.

Genderdiversiteit in de academische wereld

Een analyse van AI-faculteiten aan zeven toonaangevende universiteiten wereldwijd toonde aan dat gemiddeld 80% van de AI-professoren man was. Tot de onderzochte instellingen behoorden UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford en ETH Zurich. Er werden geen significante regionale verschillen gevonden.

Sectie 2. Activiteitsvolume: Industrie

Startups en investeringen

Het aantal actieve, door durfkapitaal gesteunde AI-startups in de VS steeg met 113% van januari 2015 tot januari 2018, terwijl het totale aantal startups slechts met 28% groeide.

Durfkapitaalfinanciering van AI-startups in de VS steeg met 350% van 2013 tot 2017, terwijl de totale durfkapitaalfinanciering in dezelfde periode met 100% toenam.

Vacatures

Deep learning was de vaardigheid met de snelst groeiende vraag: het aantal vacatures waarvoor deep learning-vaardigheden vereist waren, steeg 34 keer van 2015 tot 2017. Machine Learning bleef de meest gevraagde vaardigheid in absolute omvang.

Genderverdeling. Gemiddeld waren mannen goed voor 71% van de sollicitantenpool voor AI-gerelateerde vacatures in de VS. De grootste genderdiversiteit werd waargenomen onder sollicitanten voor functies gerelateerd aan deep learning en robotica.

Octrooien

In 2014 was ongeveer 30% van de octrooien op het gebied van AI geregistreerd in de VS, gevolgd door Zuid-Korea en Japan (elk 16%). Zuid-Korea en Taiwan lieten de grootste groei zien: het aantal AI-octrooien in 2014 was bijna 5 keer groter dan in 2004.

AI-adoptie in bedrijven

Volgens een enquête van McKinsey & Company (2.135 respondenten) waren robotische procesautomatisering en Machine Learning de meest voorkomende AI-technologieën. Organisaties implementeerden AI doorgaans in die bedrijfsfuncties die de grootste opbrengst opleverden in hun sector: financiële bedrijven pasten AI actief toe in risicobeheer, automobielproducenten in de productie, retailers in marketing en verkoop.

Regio	Meest populaire AI-mogelijkheden (% respondenten)
Noord-Amerika	Procesautomatisering (23%), Machine Learning (23%)
Europa	Procesautomatisering (27%), Machine Learning (21%)
Opkomende markten (incl. China)	Computer vision (26%), procesautomatisering (23%)
India	Machine Learning (25%), procesautomatisering (30%)

Vermeldingen van AI in bedrijfsrapportages

Vermeldingen van "kunstmatige intelligentie" en "machine learning" in winstrapportages van bedrijven die genoteerd zijn aan de New York Stock Exchange, stegen sterk vanaf 2015. In de IT-sector leidde NVIDIA qua aantal AI-vermeldingen (93 vermeldingen in 2017), gevolgd door LivePerson (50) en Pegasystems (44). Qua ML-vermeldingen leidde Alphabet (57).

Installatie van industriële robots

China liet een toename van 500% zien in de jaarlijkse installaties van industriële robots van 2012 tot 2017. Zuid-Korea en Europa verhoogden hun installaties met respectievelijk 105% en 122%. Onder de kleinere markten liet Taiwan het grootste volume en de grootste groei zien.

Open-sourcesoftware

Een analyse van GitHub-repository-sterren toonde een aanzienlijke groei in populariteit van frameworks die worden ondersteund door grote bedrijven: TensorFlow (Google), PyTorch (Facebook), MXNet (Amazon). TensorFlow overtrof andere frameworks aanzienlijk in populariteit en bereikte meer dan 100.000 sterren in 2018.

Sectie 3. Activiteitsvolume: Publieke interesse

Toon van mediadekking

Artikelen met de term "kunstmatige intelligentie" werden minder neutraal en positiever: het aandeel positieve artikelen steeg van 12% in januari 2016 naar 30% in juli 2016 en bleef op dat niveau tot 2018.

Vermeldingen in overheidsdocumenten

Vermeldingen van de termen "kunstmatige intelligentie" en "machine learning" in de verslagen van het Amerikaanse Congres, de Canadese en Britse parlementen stegen sterk vanaf 2016. Opvallend is dat "machine learning" vóór 2016 nauwelijks voorkwam in parlementaire documenten.

Sectie 4. Technische prestaties

Computer vision: ImageNet

Nauwkeurigheid. De prestaties op ImageNet bleven toenemen, zelfs na het beëindigen van de officiële competitie in 2017. De AI Index volgde de voortgang aan de hand van resultaten op de validatieset van ImageNet 2012. De nauwkeurigheid van beeldclassificatie overtrof het menselijke niveau aanzienlijk (ongeveer 5% fouten).

Trainingssnelheid. De trainingstijd van een neuraal netwerk voor ImageNet-beeldclassificatie daalde van ongeveer 60 minuten (juni 2017) tot 3,7 minuten (november 2018) — een versnelling van 16 keer in anderhalf jaar. Dit weerspiegelde zowel algoritmische innovaties als investeringen in infrastructuur (hardware en software).

Datum	Trainingstijd ImageNet
Juni 2017	~60 minuten
November 2017	~30 minuten
November 2017	~15 minuten
Juli 2018	~6,6 minuten
November 2018	~3,7 minuten

Computer vision: COCO

Op de COCO-competitie (Common Objects in Context) voor objectsegmentatie steeg de hoogste gemiddelde nauwkeurigheid met 72% van 2015 tot 2018 (van 0,28 naar 0,48). De computer vision-gemeenschap verschoof van relatief eenvoudige taken (classificatie) naar complexere taken (objectlokalisatie tot op pixelniveau, semantische segmentatie).

Verwerking van natuurlijke taal: syntactische analyse

De F1-score voor syntactische analyse van zinnen (Penn Treebank) steeg met 9 procentpunten van 2003 tot 2018 (van ~86% naar ~95%). Syntactische analyse verschoof vrijwel volledig van methoden die vergelijkbaar zijn met het verwerken van programmeertalen naar methoden op basis van deep learning.

Machinevertaling

De BLEU-scores voor vertaling van Engels naar Duits in de WMT-competitie stegen 3,5 keer ten opzichte van 2008; voor vertaling van Duits naar Engels 2,5 keer. De vooruitgang werd gedreven door de Transformer-architectuur en efficiënter gebruik van gegevens.

Vraag-en-antwoordsystemen: ARC

Op de benchmark AI2 Reasoning Challenge (ARC), uitgebracht door het Allen Institute for AI in april 2018, verbeterde de prestatie op de Challenge Set (moeilijke vragen op het niveau van groepen 3–9 van Amerikaanse scholen) van 27% naar 42%, en op de Easy Set van 63% naar 69% in de periode van april tot november 2018.

Vraag-en-antwoordsystemen: GLUE

De GLUE-benchmark (General Language Understanding Evaluation), uitgebracht in mei 2018, was bedoeld voor het testen van systemen voor het begrip van natuurlijke taal op negen deeltaken. Ondanks dat de benchmark minder dan een half jaar bestond, had de prestatie al ongeveer de helft van de kloof gedicht tussen de eerste gepubliceerde basismaatstaf en het geschatte menselijke niveau (~90%). Het BERT-model van Google werd de nieuwe standaard — het werd acht keer geciteerd in de eerste maand na publicatie.

Sectie 5. Afgeleide statistieken

Dynamiek academie–industrie

Om de relatie tussen academische en industriële activiteit in AI te onderzoeken, vergeleken de auteurs drie genormaliseerde indicatoren: publicaties op Scopus, inschrijvingen voor AI/ML-cursussen aan Amerikaanse universiteiten en durfkapitaalinvesteringen in AI-startups. Alle drie de statistieken vertoonden groei vanaf 2010, maar durfkapitaalinvesteringen groeiden aanzienlijk sneller dan de rest.

AI Vibrancy Index

De Vibrancy Index combineerde drie statistieken (publicaties, inschrijvingen, durfkapitaalinvesteringen) tot één indicator, genormaliseerd naar 2010. In 2017 was de index ongeveer 7–9 keer groter dan de basiswaarde van 2010, voornamelijk door de groei van durfkapitaalfinanciering.

Sectie 6. Overheidsinitiatieven

Het rapport omvatte voor het eerst een overzicht van overheidsinitiatieven op het gebied van AI in drie regio's:

VS

In oktober 2016 stelde de Obama-administratie een nationale AI-strategie voor en publiceerde het eerste beleidsrapport over de voorbereiding op de toekomst van AI (Preparing for the Future of Artificial Intelligence). In mei 2018 organiseerde de Trump-administratie een AI-top en richtte het een Speciaal Comité voor Kunstmatige Intelligentie op. In september 2018 kondigde DARPA een investeringsplan van meer dan 2 miljard dollar aan voor het AI Next-programma. Particuliere bedrijven speelden een centrale rol: in 2017 investeerden Amazon en Alphabet respectievelijk 16,1 miljard en 13,9 miljard dollar in R&D — aanzienlijk meer dan het gecombineerde budget van NSF, DARPA en DOT (~5,3 miljard dollar).

Europa

In april 2018 ondertekenden EU-lidstaten de Verklaring inzake samenwerking op het gebied van AI, en stelde de Europese Commissie 1,5 miljard euro beschikbaar voor ondersteuning van AI-onderzoek in 2018–2020 (aanvullend op 2,6 miljard euro uit het Horizon 2020-programma). Het doel was om 20 miljard euro aan AI-investeringen aan te trekken over 10 jaar. Het Verenigd Koninkrijk publiceerde de AI Sector Deal met investeringen van 950 miljoen pond. Frankrijk bracht drie rapporten uit, waaronder de "Mission Villani", gewijd aan beleid, het voorkomen van braindrain en diversiteit in AI.

China

Sinds 2014 lanceerde de Chinese overheid een reeks nationale initiatieven met als doel een AI-markt van 14,7 miljard dollar te creëren tegen 2018 en China's wereldwijde leiderschap in AI te verzekeren tegen 2030. Het sleuteldocument was het "Plan voor de ontwikkeling van AI van de nieuwe generatie" (juli 2017), dat voorziet in het bereiken van het niveau van geavanceerde landen in 2020, grote doorbraken in 2025 en de status van wereldwijd innovatiecentrum voor AI in 2030.

Sectie 7. Prestaties op het niveau van menselijke capaciteiten

Het rapport zette de tijdlijn voort van gevallen waarbij AI het menselijke niveau bereikte of overtrof. In 2018 werden vier nieuwe prestaties toegevoegd:

Jaar	Prestatie	Beschrijving
1980	Othello	Het programma BILL (Ku-Fu Lee en S. Mahajan) verslaat de beste Amerikaanse speler; in 1997 verslaat Logistello de wereldkampioen
1995	Dammen	Het programma Chinook verslaat de wereldkampioen
1997	Schaken	IBM DeepBlue verslaat Garry Kasparov
2011	Jeopardy!	IBM Watson verslaat kampioenen Brad Rutter en Ken Jennings
2015	Atari	DeepMind bereikt het menselijke niveau in 49 Atari-spellen
2016	Go	AlphaGo verslaat Lee Sedol (4–1); AlphaGo Zero verslaat AlphaGo 100–0
2016	Objectdetectie (ImageNet)	Classificatiefout daalt van 28% (2010) naar minder dan 3% bij een menselijk niveau van ~5%
2017	Spraakherkenning (Switchboard)	Microsoft en IBM bereiken een niveau nabij menselijke nauwkeurigheid
2017	Poker	Libratus (CMU) verslaat vier professionele spelers in 120.000 partijen; DeepStack (Alberta) verslaat 11 professionals
2017	Classificatie van huidkanker	AI-systeem (Esteva et al., Nature) bereikt het niveau van 21 gecertificeerde dermatologen
2017	Ms. Pac-Man	Team Maluuba (Microsoft) bereikt de maximale score van 999.900 op Atari 2600
2018	Capture the Flag	DeepMind-agent bereikt menselijk niveau in een aangepaste versie van Quake III Arena CTF
2018	Dota 2	OpenAI Five verslaat amateurteams (met beperkingen), maar verliest van professionals
2018	Beoordeling van prostaatkanker	Google-systeem bereikt een algehele nauwkeurigheid van 70% tegenover 61% bij pathologen
2018	Vertaling Chinees–Engels	Microsoft-systeem bereikt menselijk niveau op de dataset newstest2017

De auteurs van het rapport benadrukten dat deze resultaten niet overschat mogen worden: de taken waren smal gespecialiseerd en de prestaties wezen niet op het vermogen van systemen tot generalisatie.

Sectie 8. Wat ontbreekt er? (What's Missing?)

Deze sectie presenteerde de meningen van drie experts over de verdere ontwikkeling van de index.

Francesca Rossi (IBM, Universiteit van Padua) stelde voor om statistieken toe te voegen voor common sense reasoning, diep begrip van natuurlijke taal, samenwerking tussen mens en machine (in plaats van tegenover elkaar), en de combinatie van Machine Learning met symbolische AI en causaal redeneren.

Rodney Brooks (MIT) wees op de beperkingen van de statistiek voor industriële robots, die vaak geen AI-componenten bevatten. Hij stelde voor robots met een AI-component bij te houden: drones (SLAM en andere algoritmen), huishoudelijke robots (Roomba) en potentiële sociale robots.

Toby Walsh (UNSW Sydney, TU Berlin) wees op de noodzaak van kwantitatieve statistieken voor het meten van groeiende overheids- en particuliere investeringen (Verenigd Koninkrijk — 1 miljard pond, Frankrijk — 1,5 miljard euro, Duitsland — 3 miljard euro, Alibaba — 15 miljard dollar), alsmede voor het volgen van militaire toepassingen van AI, waaronder autonome wapens.

Methodologie

Het rapport maakte gebruik van gegevens uit talrijke bronnen:

• Publicaties: Elsevier Scopus (~70 miljoen documenten, ~800 AI-trefwoorden), arXiv.org.
• Conferenties: AAAI, NeurIPS, ICML, CVPR, ICLR, IJCAI, ACL, ICRA, ICAPS, UAI, KR, AAMAS, WiML, AI4ALL.
• Cursussen: gegevens rechtstreeks van universiteiten (17 instellingen in 10 landen).
• Startups en investeringen: Sand Hill Econometrics (Dow Jones VentureSource), Crunchbase API.
• Vacatures: Monster.com, Gartner TalentNeuron.
• Octrooien: gecodeerd (IPC-codes: Cognition and meaning understanding, Human-interface technology).
• AI-adoptie: McKinsey & Company (enquête onder 2.135 respondenten).
• Bedrijfsrapportages: Prattle (tekstanalyse van winstrapportages via FactSet).
• Robotica: International Federation of Robotics (IFR), ROS.org.
• Media: TrendKite (toonanalyse van artikelen).
• Overheid: Congressional Record (VS), Hansards (Verenigd Koninkrijk en Canada), McKinsey Global Institute.
• Benchmarks: ImageNet (LSVRC), COCO, Penn Treebank, WMT (EuroMatrix), ARC (Allen Institute for AI), GLUE.

Auteursgroep

Het rapport werd opgesteld door het AI Index Steering Committee onder voorzitterschap van Yoav Shoham (Stanford University), met deelname van Raymond Perrault (SRI International), Erik Brynjolfsson (MIT), Jack Clark (OpenAI), James Manyika (McKinsey Global Institute), Juan Carlos Niebles (Stanford University), Terah Lyons (Partnership on AI), John Etchemendy (Stanford University) en Barbara Grosz (Harvard University). Projectmanager was Zoe Bauer. De AI Index is oorspronkelijk ontstaan binnen het project One Hundred Year Study on AI (AI100) en werd vervolgens ondergebracht bij het Stanford Institute for Human-Centered AI (HAI).

Context en betekenis

Het AI Index Report 2018 vormde een belangrijk moment in de ontwikkeling van systematische monitoring van AI-vooruitgang. Het documenteerde een aantal kantelpunten: de snelle ontwikkeling van deep learning en de dominantie ervan onder AI-benaderingen, de verschuiving van de computer vision-gemeenschap naar complexere taken na de "verzadiging" van ImageNet, de revolutionaire invloed van het BERT-model op de verwerking van natuurlijke taal, en de ongekende toename van industriële participatie in de ontwikkeling van geavanceerde AI-systemen. Het rapport documenteerde ook voor het eerst systematisch de "wedloop" tussen staten in de financiering en strategische planning van AI — een tendens die de ontwikkeling van de sector in de daaropvolgende jaren zou bepalen.

Referenties

• Stanford HAI — AI Index (alle rapporten): https://aiindex.stanford.edu/report/
• AI Index 2018 Report (volledige tekst, PDF): https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier Scopus — database van wetenschappelijke publicaties: https://www.scopus.com/
• Elsevier AI Resource Center: https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• arXiv.org — archief van wetenschappelijke preprints: https://arxiv.org/
• ImageNet (LSVRC): https://image-net.org/challenges/LSVRC/
• COCO — Common Objects in Context: https://cocodataset.org/
• GLUE Benchmark: https://gluebenchmark.com/
• ARC — AI2 Reasoning Challenge: https://allenai.org/data/arc
• WMT — Workshop on Machine Translation / EuroMatrix: http://www.statmt.org/
• McKinsey & Company — AI Adoption Survey: https://www.mckinsey.com/featured-insights/artificial-intelligence
• International Federation of Robotics: https://ifr.org/
• ROS.org — Robot Operating System: https://www.ros.org/
• Sand Hill Econometrics: https://www.sandhillecon.com/
• Partnership on AI: https://partnershiponai.org/
• Women in Machine Learning (WiML): https://wimlworkshop.org/
• AI4ALL: https://ai-4-all.org/
• Tim Dutton — Overview of National AI Strategies: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• NLP Progress — voortgangsregistratie in NLP: https://nlpprogress.com/

Literatuur

• Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). The AI Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier (2018). Artificial Intelligence: How knowledge is created, transferred, and used. https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://arxiv.org/abs/1804.07461
• Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. https://arxiv.org/abs/1803.05457
• Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639). https://doi.org/10.1038/nature21056
• Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676). https://doi.org/10.1038/nature24270
• Jaderberg, M. et al. (2018). Human-level performance in first-person multiplayer games with population-based deep reinforcement learning. https://arxiv.org/abs/1807.01281
• OpenAI (2018). OpenAI Five. https://openai.com/blog/openai-five/
• Hassan, H. et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. https://arxiv.org/abs/1803.05567
• McKinsey & Company (2018). Notes from the AI frontier: AI adoption advances, but foundational barriers remain. https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain
• International Federation of Robotics (2017). World Robotics Report 2017. https://ifr.org/worldrobotics/
• Dutton, T. (2018). An Overview of National AI Strategies. https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• State Council of the People's Republic of China (2017). New Generation Artificial Intelligence Development Plan. https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/
• European Commission (2018). Communication on Artificial Intelligence for Europe. https://ec.europa.eu/digital-single-market/en/artificial-intelligence
• Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115(3). https://doi.org/10.1007/s11263-015-0816-y
• He, K. et al. (2015). Deep Residual Learning for Image Recognition. https://arxiv.org/abs/1512.03385