The 2018 AI Index Report (CS)

AI Index Report 2018 — druhé výroční vydání zprávy AI Index, připravené Řídícím výborem AI Index při Stanfordské univerzitě v prosinci 2018. Posláním projektu AI Index je zajistit diskusi o umělé inteligenci objektivními daty. Zpráva z roku 2018 se od prvního vydání (2017) liší výrazným rozšířením globálního záběru: zatímco předchozí zpráva byla převážně zaměřena na severoamerickou problematiku, vydání z roku 2018 usiluje o začlenění dat z Evropy, Číny, Jižní Koreje, Japonska a dalších regionů světa. Zpráva sleduje, systematizuje a vizualizuje data související s AI, poskytuje informace pro politiky, výzkumníky, manažery, novináře a širokou veřejnost.

Struktura zprávy

Zpráva z roku 2018 se skládá ze čtyř hlavních částí:

1. Data: objem činnosti (Volume of Activity) — publikace, přihlášky na kurzy, účast na konferencích, stahování robotického softwaru, startupy a investice, pracovní místa, patenty, nasazení AI ve firmách, zmínky ve zprávách o výsledcích hospodaření, instalace robotů, projekty s otevřeným zdrojovým kódem, zájem veřejnosti.
2. Data: technický výkon (Technical Performance) — počítačové vidění, zpracování přirozeného jazyka, strojový překlad, systémy otázek a odpovědí.
3. Doplňující metriky (Other Measures) — odvozené ukazatele, vládní iniciativy, dosažení úrovně lidských schopností.
4. Příloha (Appendix) — úplný popis zdrojů, metodologií a nuancí.

Klíčové závěry zprávy

Autoři zprávy z roku 2018 formulovali několik hlavních tezí:

AI — globální jev

83 % článků o AI v databázi Scopus za rok 2017 bylo publikováno autory mimo USA. 28 % všech článků o AI připadalo na Evropu — nejvyšší ukazatel mezi všemi regiony světa. Počet studentů přihlášených na kurzy AI a Machine Learning rostl po celém světě, obzvláště výrazně na Univerzitě Tsinghua (Čína), kde celkový počet přihlášených na kurzy AI a ML v roce 2017 byl 16krát vyšší než v roce 2010.

Aktivita v oblasti AI roste téměř všude

Růst je patrný v publikacích, kurzech, konferencích, startupech, rizikovém financování, patentech a dalších metrikách. Technologický výkon se zlepšuje ve všech oblastech.

Machine Learning dominuje jako podobor AI

V roce 2017 se 56 % článků o AI na Scopusu řadilo do kategorie „Machine Learning a pravděpodobnostní uvažování" (oproti 28 % v roce 2010). Počet přihlášených na úvodní kurzy ML rostl rychleji než na kurzy AI jako celku. Konference NeurIPS a ICML věnované Machine Learningu vykazovaly největší nárůst návštěvnosti.

Genderová diverzita zůstává vážným problémem

V průměru 80 % profesorů AI na předních univerzitách (UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, ETH Zurich) byli muži. V průměru 71 % uchazečů o pracovní místa spojená s AI v USA byli muži.

Oddíl 1. Objem činnosti: Výzkum

Publikace

Počet článků o AI na platformě Scopus se od roku 1996 zvýšil 7krát, zatímco články z informatiky (Computer Science) vzrostly za stejné období 5krát. To svědčí o tom, že růst publikací o AI není způsoben pouze obecným zájmem o informatiku, ale má i vlastní dynamiku.

Regionální rozložení. Evropa stabilně zůstávala největším regionem z hlediska počtu publikací v oblasti AI: v roce 2017 bylo 28 % článků o AI na Scopusu spojeno s evropskými autory, za nimi následovaly Čína (25 %) a USA (17 %). Přitom počet publikací z Číny vzrostl v období 2007–2017 o 150 %.

Podkategorie. Největší růst byl zaznamenán v kategorii neuronových sítí: průměrné roční tempo růstu (CAGR) činilo 3 % v letech 2010–2014 a 37 % v letech 2014–2017. Články na platformě arXiv rovněž vykazovaly rychlý růst: počítačové vidění a rozpoznávání vzorů se stalo největší podkategorií AI na arXivu od roku 2014.

Sektorová příslušnost. Počet článků o AI spojených s čínskými státními organizacemi vzrostl o 400 % v období 2007–2017, zatímco firemní publikace z Číny vzrostly pouze o 73 %. V USA byl naopak podíl firemních publikací výrazně vyšší: v roce 2017 byl podíl firemních článků o AI v USA 6,6krát vyšší než v Číně a 4,1krát vyšší než v Evropě.

Citovanost. Autoři z USA byli citováni o 83 % častěji než světový průměr. Přestože Evropa vedla v absolutním počtu publikací, její ukazatel citovanosti zůstával na úrovni světového průměru. Čína výrazně zlepšila svou citovanost: v roce 2016 byli čínští autoři citováni o 44 % častěji než v roce 2000.

Mobilita autorů. Mobilní autoři (publikující mimo svůj domovský region) vykazovali vyšší citovanost a produktivitu ve srovnání s „usedlými" (sedentary) autory. Ze tří regionů měla Čína největší podíl usedlých autorů (76 %), za ní následovala Evropa (52 %) a USA (38 %).

Konference AAAI. Na konferenci AAAI 2018 bylo přibližně 70 % podaných a 67 % přijatých článků spojeno s USA nebo Čínou. Přestože Čína podala největší počet článků, USA a Čína měly téměř stejný počet přijatých prací (268 a 265). Míra přijetí pro USA činila 29 %, pro Čínu 21 %.

Přihlášky na kurzy

Americké univerzity. Počet přihlášených na úvodní kurzy ML v roce 2017 byl 5krát vyšší než v roce 2012. Na UC Berkeley byl nárůst 6,8krát. Počet přihlášených na úvodní kurzy AI vzrostl za stejné období 3,6krát. Přitom 74–79 % studentů na úvodních kurzech AI a ML na Stanfordu a Berkeley byli muži.

Mezinárodní univerzity. Celkový počet přihlášených na kurzy AI+ML na Univerzitě Tsinghua v roce 2017 byl 16krát vyšší než v roce 2010. Růst byl zaznamenán také na Edinburghské univerzitě, USTC a SJTU (Čína), PUC (Chile) a dalších vysokých školách.

Účast na konferencích

Velké konference. NeurIPS a ICML zaznamenaly největší nárůst: v roce 2018 byla návštěvnost NeurIPS 4,8krát vyšší než v roce 2012 a ICML 6,8krát. To odráželo přetrvávající zájem o Machine Learning.

Menší konference. Návštěvnost ICLR (International Conference on Learning Representations) v roce 2018 byla 20krát vyšší než v roce 2012 — pravděpodobně v důsledku rostoucího zájmu o hluboké učení a Reinforcement Learning.

Konference	Návštěvnost (2018, přibližně)	Nárůst od roku 2012
NeurIPS	~8 000	4,8x
CVPR	~6 500	2,5x
ICML	~5 000	6,8x
ICLR	~2 000	20x
IJCAI	~3 000	1,5x
AAAI	~3 500	2,0x

Organizace inkluze. Počet přihlášených na seminář Women in Machine Learning (WiML) vzrostl od roku 2014 o 600 %. Počet absolventů AI4ALL (iniciativa pro zvýšení diverzity v AI) vzrostl od roku 2015 o 900 %.

Stahování robotického softwaru

Unikátní stahování balíčků ROS (Robot Operating System) z webu ROS.org se od roku 2014 zvýšilo o 567 %. Počet zobrazení stránek ROS.org z Číny byl v roce 2017 18krát vyšší než v roce 2012.

Genderová diverzita v akademii

Analýza kateder AI na sedmi předních světových univerzitách ukázala, že v průměru 80 % profesorů AI byli muži. Mezi analyzovanými školami byly UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford a ETH Zurich. Výrazné rozdíly mezi regiony nebyly zjištěny.

Oddíl 2. Objem činnosti: Průmysl

Startupy a investice

Počet aktivních AI startupů v USA podporovaných rizikovým kapitálem se zvýšil o 113 % od ledna 2015 do ledna 2018, zatímco celkový počet startupů vzrostl pouze o 28 %.

Rizikové financování AI startupů v USA vzrostlo o 350 % od roku 2013 do roku 2017, zatímco celkové rizikové financování za stejné období vzrostlo o 100 %.

Pracovní místa

Hluboké učení (deep learning) bylo dovedností s nejrychlejším růstem poptávky: počet pracovních míst vyžadujících dovednosti v oblasti hlubokého učení se zvýšil 34krát od roku 2015 do roku 2017. Machine Learning zůstával nejvyhledávanější dovedností v absolutním objemu.

Genderové rozložení. V průměru tvořili muži 71 % skupiny uchazečů o pracovní místa spojená s AI v USA. Největší genderová diverzita byla zaznamenána mezi uchazeči o pozice spojené s hlubokým učením a robotikou.

Patenty

V roce 2014 bylo přibližně 30 % patentů v oblasti AI registrováno v USA, za nimiž následovaly Jižní Korea a Japonsko (po 16 %). Jižní Korea a Tchaj-wan vykázaly největší růst: počet AI patentů v roce 2014 byl téměř 5krát vyšší než v roce 2004.

Nasazení AI ve firmách

Podле průzkumu McKinsey & Company (2 135 respondentů) byly nejrozšířenějšími AI technologiemi robotická automatizace procesů a Machine Learning. Organizace zpravidla nasazovaly AI v těch obchodních funkcích, které přinášely největší přínos v jejich odvětví: finanční společnosti aktivně využívaly AI v řízení rizik, automobilové v oblasti výroby, maloobchod v marketingu a prodeji.

Region	Nejpopulárnější AI schopnosti (% respondentů)
Severní Amerika	Robotizace procesů (23 %), Machine Learning (23 %)
Evropa	Robotizace procesů (27 %), Machine Learning (21 %)
Rozvíjející se trhy (vč. Číny)	Počítačové vidění (26 %), robotizace procesů (23 %)
Indie	Machine Learning (25 %), robotizace procesů (30 %)

Zmínky AI ve firemních zprávách

Zmínky o „umělé inteligenci" a „Machine Learningu" ve zprávách o výsledcích hospodaření společností obchodovaných na Newyorské burze cenných papírů od roku 2015 prudce vzrostly. V IT sektoru se lídrem v počtu zmínek o AI stala NVIDIA (93 zmínek v roce 2017), za ní následovaly LivePerson (50) a Pegasystems (44). V počtu zmínek ML vedl Alphabet (57).

Instalace průmyslových robotů

Čína vykázala 500% nárůst ročních instalací průmyslových robotů od roku 2012 do roku 2017. Jižní Korea a Evropa zvýšily instalace o 105 % a 122 %. Mezi menšími trhy vykazoval Tchaj-wan největší objem a růst.

Otevřený software

Analýza hvězd (stars) repozitářů na GitHubu ukázala výrazný nárůst popularity frameworků podporovaných velkými společnostmi: TensorFlow (Google), PyTorch (Facebook), MXNet (Amazon). TensorFlow výrazně předstihoval ostatní frameworky v popularitě a do roku 2018 dosáhl více než 100 000 hvězd.

Oddíl 3. Objem činnosti: Zájem veřejnosti

Tón mediálního pokrytí

Články obsahující termín „umělá inteligence" se staly méně neutrálními a pozitivnějšími: podíl pozitivních článků vzrostl z 12 % v lednu 2016 na 30 % v červenci 2016 a zůstával na této úrovni do roku 2018.

Zmínky ve vládních dokumentech

Zmínky termínů „umělá inteligence" a „Machine Learning" ve stenogramech amerického Kongresu, kanadského a britského parlamentu od roku 2016 prudce vzrostly. Pozoruhodné je, že „Machine Learning" se v parlamentních dokumentech téměř nevyskytoval před rokem 2016.

Oddíl 4. Technický výkon

Počítačové vidění: ImageNet

Přesnost. Výkon na ImageNetu pokračoval v růstu i po skončení oficiální soutěže v roce 2017. AI Index sledoval pokrok podle výsledků na validační sadě dat ImageNet 2012. Přesnost klasifikace obrázků výrazně překročila lidskou úroveň (přibližně 5 % chyb).

Rychlost trénování. Čas trénování neuronové sítě pro klasifikaci obrázků ImageNet se zkrátil z přibližně 60 minut (červen 2017) na 3,7 minuty (listopad 2018) — zrychlení 16krát za půl druhého roku. To odráželo jak algoritmické inovace, tak investice do infrastruktury (hardware a software).

Datum	Čas trénování ImageNet
Červen 2017	~60 minut
Listopad 2017	~30 minut
Listopad 2017	~15 minut
Červenec 2018	~6,6 minuty
Listopad 2018	~3,7 minuty

Počítačové vidění: COCO

Na soutěži COCO (Common Objects in Context) v segmentaci objektů se nejvyšší průměrná přesnost zvýšila o 72 % od roku 2015 do roku 2018 (z 0,28 na 0,48). Komunita počítačového vidění přešla od relativně jednoduchých úloh (klasifikace) ke složitějším (lokalizace objektů s přesností na pixel, sémantická segmentace).

Zpracování přirozeného jazyka: parsování

Metrika F1 pro syntaktické parsování vět (Penn Treebank) se zvýšila o 9 procentních bodů od roku 2003 do roku 2018 (z ~86 % na ~95 %). Parsování téměř zcela přešlo od metod analogických parsování programovacích jazyků k metodám založeným na hlubokém učení.

Strojový překlad

Skóre BLEU pro překlad z angličtiny do němčiny na soutěži WMT vzrostlo 3,5krát ve srovnání s rokem 2008; pro překlad z němčiny do angličtiny 2,5krát. Pokrok byl způsoben architekturou Transformer a efektivnějším využíváním dat.

Systémy otázek a odpovědí: ARC

Na benchmarku AI2 Reasoning Challenge (ARC), vydaném Allen Institute for AI v dubnu 2018, se výkon na Challenge Set (obtížné otázky odpovídající 3.–9. třídě amerických škol) zlepšil z 27 % na 42 % a na Easy Set z 63 % na 69 % v období od dubna do listopadu 2018.

Systémy otázek a odpovědí: GLUE

Benchmark GLUE (General Language Understanding Evaluation), vydaný v květnu 2018, byl určen k testování systémů porozumění přirozenému jazyku na devíti dílčích úlohách. Přestože benchmark existoval méně než půl roku, výkon již překonal přibližně polovinu mezery mezi prvním zveřejněným základním ukazatelem a odhadovanou lidskou úrovní (~90 %). Model BERT od Googlu se stal novým standardem — byl citován osmkrát v průběhu prvního měsíce po vydání.

Oddíl 5. Odvozené metriky

Dynamika „akademie — průmysl"

Pro zkoumání vztahu mezi akademickou a průmyslovou aktivitou v AI autoři porovnali tři normalizované ukazatele: publikace na Scopusu, přihlášky na kurzy AI/ML na amerických univerzitách a rizikové investice do AI startupů. Všechny tři metriky vykazovaly růst od roku 2010, přičemž rizikové investice rostly výrazně rychleji než ostatní.

AI Vibrancy Index

AI Vibrancy Index agregoval tři metriky (publikace, přihlášky, rizikové investice) do jednoho ukazatele normalizovaného k roku 2010. Do roku 2017 index vzrostl přibližně 7–9krát ve vztahu k základní hodnotě z roku 2010, převážně v důsledku růstu rizikového financování.

Oddíl 6. Vládní iniciativy

Zpráva poprvé zahrnovala přehled vládních iniciativ v oblasti AI ve třech regionech:

USA

V říjnu 2016 navrhla Obamova administrativa národní strategii AI a zveřejnila první politickou zprávu o přípravě na budoucnost AI (Preparing for the Future of Artificial Intelligence). V květnu 2018 uspořádala Trumpova administrativa Summit o AI a zřídila Zvláštní výbor pro umělou inteligenci. V září 2018 DARPA oznámila plán investic přesahujících 2 miliardy dolarů do programu AI Next. Soukromé firmy hrály ústřední roli: v roce 2017 Amazon a Alphabet investovaly do R&D 16,1 miliard a 13,9 miliard dolarů — výrazně více než celkový rozpočet NSF, DARPA a DOT (~5,3 miliardy dolarů).

Evropa

V dubnu 2018 podepsaly členské státy EU Deklaraci o spolupráci v oblasti AI a Evropská komise vyčlenila 1,5 miliardy eur na podporu výzkumu AI v letech 2018–2020 (nad rámec 2,6 miliardy eur z programu Horizon 2020). Cílem bylo přilákat 20 miliard eur investic do AI za 10 let. Velká Británie zveřejnila AI Sector Deal s investicemi ve výši 950 milionů liber. Francie vydala tři zprávy, včetně „Mission Villani" věnované politice, prevenci odlivu mozků a diverzitě v AI.

Čína

Od roku 2014 spustila čínská vláda sérii národních iniciativ s cílem vytvořit trh AI o objemu 14,7 miliardy dolarů do roku 2018 a zajistit světové vedení Číny v AI do roku 2030. Klíčovým dokumentem byl „Plán rozvoje AI nové generace" (červenec 2017), který předpokládal dosažení úrovně vyspělých zemí do roku 2020, velké průlomy do roku 2025 a status světového centra inovací v AI do roku 2030.

Oddíl 7. Dosažení úrovně lidských schopností

Zpráva pokračovala v chronologii případů, kdy AI dosáhla nebo překonala lidskou úroveň. V roce 2018 byla přidána čtyři nová dosažení:

Rok	Dosažení	Popis
1980	Othello	Program BILL (Ku-Fu Li a S. Mahajan) poráží nejlepšího amerického hráče; v roce 1997 Logistello porazí mistra světa
1995	Dáma	Program Chinook poráží mistra světa
1997	Šachy	IBM DeepBlue poráží Garriho Kasparova
2011	Jeopardy!	IBM Watson poráží šampiony Brada Ruttera a Kena Jenningse
2015	Atari	DeepMind dosahuje lidské úrovně v 49 hrách Atari
2016	Go	AlphaGo poráží Lee Sedola (4–1); AlphaGo Zero poráží AlphaGo 100–0
2016	Detekce objektů (ImageNet)	Chyba klasifikace snížena z 28 % (2010) na méně než 3 % při lidské úrovni ~5 %
2017	Rozpoznávání řeči (Switchboard)	Microsoft a IBM dosahují úrovně blízké lidské přesnosti
2017	Poker	Libratus (CMU) poráží čtyři profesionální hráče ve 120 000 partiích; DeepStack (Alberta) poráží 11 profesionálů
2017	Klasifikace rakoviny kůže	AI systém (Esteva et al., Nature) dosahuje úrovně 21 certifikovaných dermatologů
2017	Ms. Pac-Man	Tým Maluuba (Microsoft) dosahuje maximálního skóre 999 900 na Atari 2600
2018	Capture the Flag	Agent DeepMind dosahuje lidské úrovně v upravené verzi Quake III Arena CTF
2018	Dota 2	OpenAI Five poráží amatérské týmy (s omezeními), ale podléhá profesionálům
2018	Grading rakoviny prostaty	Systém Google dosahuje celkové přesnosti 70 % oproti 61 % u patologů
2018	Překlad čínština — angličtina	Systém Microsoft dosahuje lidské úrovně na datové sadě newstest2017

Autoři zprávy zdůraznili, že tyto výsledky by neměly být přeceňovány: úlohy byly úzce specializované a dosažení nesvědčilo o schopnosti systémů ke zobecňování.

Oddíl 8. Co je třeba doplnit? (What's Missing?)

Oddíl představoval názory tří odborníků na směry rozvoje indexu.

Francesca Rossi (IBM, Padovská univerzita) navrhla přidat metriky pro zdravý rozum (common sense reasoning), hluboké porozumění přirozenému jazyku, spolupráci člověka a stroje (nikoli jejich protikladu), a také pro kombinování Machine Learningu se symbolickou AI a kauzálním uvažováním (causality).

Rodney Brooks (MIT) upozornil na omezenost metriky průmyslových robotů, které často neobsahují AI komponenty. Navrhl sledovat roboty s AI složkou: drony (SLAM a další algoritmy), domácí roboty (Roomba) a potenciální sociální roboty.

Toby Walsh (UNSW Sydney, TU Berlin) poukázal na nutnost kvantitativních metrik pro měření rostoucích státních a soukromých investic (Velká Británie — 1 miliarda liber, Francie — 1,5 miliardy eur, Německo — 3 miliardy eur, Alibaba — 15 miliard dolarů), a také pro sledování vojenského využití AI, včetně autonomních zbraní.

Metodologie

Zpráva využívala data z mnoha zdrojů:

• Publikace: Elsevier Scopus (~70 milionů dokumentů, ~800 klíčových slov AI), arXiv.org.
• Konference: AAAI, NeurIPS, ICML, CVPR, ICLR, IJCAI, ACL, ICRA, ICAPS, UAI, KR, AAMAS, WiML, AI4ALL.
• Kurzy: data přímo od univerzit (17 vysokých škol v 10 zemích).
• Startupy a investice: Sand Hill Econometrics (Dow Jones VentureSource), Crunchbase API.
• Pracovní místa: Monster.com, Gartner TalentNeuron.
• Patenty: amplified (IPC kódy: Cognition and meaning understanding, Human-interface technology).
• Nasazení AI: McKinsey & Company (průzkum 2 135 respondentů).
• Firemní zprávy: Prattle (analýza textů zpráv o výsledcích hospodaření z FactSet).
• Robotika: International Federation of Robotics (IFR), ROS.org.
• Média: TrendKite (analýza tónu článků).
• Vláda: Congressional Record (USA), Hansards (Velká Británie a Kanada), McKinsey Global Institute.
• Benchmarky: ImageNet (LSVRC), COCO, Penn Treebank, WMT (EuroMatrix), ARC (Allen Institute for AI), GLUE.

Autorský kolektiv

Zprávu připravil Řídící výbor AI Index pod předsednictvím Yoava Shohama (Yoav Shoham, Stanford University) za účasti Raymonda Perraulta (Raymond Perrault, SRI International), Erika Brynjolfssona (Erik Brynjolfsson, MIT), Jacka Clarka (Jack Clark, OpenAI), Jamese Manyiky (James Manyika, McKinsey Global Institute), Juana Carlose Nieblesea (Juan Carlos Niebles, Stanford University), Terah Lyonsové (Terah Lyons, Partnership on AI), Johna Etchemendiho (John Etchemendy, Stanford University) a Barbary Groszové (Barbara Grosz, Harvard University). Projektovou manažerkou byla Zoe Bauerová (Zoe Bauer). AI Index původně vznikl v rámci projektu One Hundred Year Study on AI (AI100) a následně byl umístěn na Stanfordském institutu HAI (Human-Centered AI).

Kontext a význam

AI Index Report 2018 se stal důležitou etapou ve vývoji systematického monitorování pokroku AI. Zaznamenal řadu přelomových momentů: rychlý rozvoj hlubokého učení a jeho dominance mezi přístupy k AI, přechod komunity počítačového vidění ke složitějším úlohám po „nasycení" ImageNetu, revoluční vliv modelu BERT na zpracování přirozeného jazyka, a také bezprecedentní nárůst účasti průmyslu na vývoji pokročilých AI systémů. Zpráva rovněž poprvé systematicky zdokumentovala „závod" mezi státy ve financování a strategickém plánování AI — trend, který bude určovat rozvoj odvětví v následujících letech.

Odkazy

• Stanford HAI — AI Index (všechny zprávy): https://aiindex.stanford.edu/report/
• AI Index 2018 Report (úplný text, PDF): https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier Scopus — databáze vědeckých publikací: https://www.scopus.com/
• Elsevier AI Resource Center: https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• arXiv.org — archiv vědeckých preprintů: https://arxiv.org/
• ImageNet (LSVRC): https://image-net.org/challenges/LSVRC/
• COCO — Common Objects in Context: https://cocodataset.org/
• GLUE Benchmark: https://gluebenchmark.com/
• ARC — AI2 Reasoning Challenge: https://allenai.org/data/arc
• WMT — Workshop on Machine Translation / EuroMatrix: http://www.statmt.org/
• McKinsey & Company — AI Adoption Survey: https://www.mckinsey.com/featured-insights/artificial-intelligence
• International Federation of Robotics: https://ifr.org/
• ROS.org — Robot Operating System: https://www.ros.org/
• Sand Hill Econometrics: https://www.sandhillecon.com/
• Partnership on AI: https://partnershiponai.org/
• Women in Machine Learning (WiML): https://wimlworkshop.org/
• AI4ALL: https://ai-4-all.org/
• Tim Dutton — Overview of National AI Strategies: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• NLP Progress — sledování pokroku v NLP: https://nlpprogress.com/

Literatura

• Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). The AI Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier (2018). Artificial Intelligence: How knowledge is created, transferred, and used. https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://arxiv.org/abs/1804.07461
• Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. https://arxiv.org/abs/1803.05457
• Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639). https://doi.org/10.1038/nature21056
• Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676). https://doi.org/10.1038/nature24270
• Jaderberg, M. et al. (2018). Human-level performance in first-person multiplayer games with population-based deep reinforcement learning. https://arxiv.org/abs/1807.01281
• OpenAI (2018). OpenAI Five. https://openai.com/blog/openai-five/
• Hassan, H. et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. https://arxiv.org/abs/1803.05567
• McKinsey & Company (2018). Notes from the AI frontier: AI adoption advances, but foundational barriers remain. https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain
• International Federation of Robotics (2017). World Robotics Report 2017. https://ifr.org/worldrobotics/
• Dutton, T. (2018). An Overview of National AI Strategies. https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• State Council of the People's Republic of China (2017). New Generation Artificial Intelligence Development Plan. https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/
• European Commission (2018). Communication on Artificial Intelligence for Europe. https://ec.europa.eu/digital-single-market/en/artificial-intelligence
• Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115(3). https://doi.org/10.1007/s11263-015-0816-y
• He, K. et al. (2015). Deep Residual Learning for Image Recognition. https://arxiv.org/abs/1512.03385