The 2018 AI Index Report (BG)

AI Index Report 2018 — второто годишно издание на доклада AI Index, изготвено от Управителния комитет на AI Index към Станфордския университет през декември 2018 година. Мисията на проекта AI Index е да осигури дискусията за изкуствения интелект с обективни данни. Докладът от 2018 година се отличава от първото издание (2017) със съществено разширяване на глобалния обхват: ако предишният доклад беше преди всичко ориентиран към северноамериканската проблематика, то изданието от 2018 година се стреми да включи данни от Европа, Китай, Южна Корея, Япония и други региони на света. Докладът проследява, систематизира и визуализира данни, свързани с ИИ, предоставяйки информация на политици, изследователи, ръководители, журналисти и широката общественост.

Структура на доклада

Докладът от 2018 година се състои от четири основни раздела:

1. Данни: обем на дейността (Volume of Activity) — публикации, записвания в курсове, участие в конференции, изтегляния на роботизиран софтуер, стартъпи и инвестиции, свободни работни места, патенти, внедряване на ИИ в компании, споменавания в доклади за приходи, инсталации на роботи, проекти с отворен код, обществен интерес.
2. Данни: техническа производителност (Technical Performance) — компютърно зрение, обработка на естествен език, машинен превод, въпросно-отговорни системи.
3. Допълнителни метрики (Other Measures) — производни показатели, правителствени инициативи, постижения на ниво човешки способности.
4. Приложение (Appendix) — пълно описание на източници, методологии и нюанси.

Ключови изводи на доклада

Авторите на доклада от 2018 година са формулирали няколко главни тезиса:

ИИ — глобално явление

83% от статиите по ИИ в базата данни Scopus за 2017 година са публикувани от автори извън САЩ. 28% от всички статии по ИИ се падат на Европа — най-високият показател сред всички региони на света. Записването на студенти в курсове по ИИ и Machine Learning нараства по целия свят, особено забележимо — в Университета Цинхуа (Китай), където съвкупното записване в курсове по ИИ и МО през 2017 година е 16 пъти по-голямо, отколкото през 2010 година.

Активността в сферата на ИИ нараства практически навсякъде

Растеж се наблюдава в публикациите, курсовете, конференциите, стартъпите, рисковото финансиране, патентите и други метрики. Технологичната производителност се подобрява във всички направления.

Machine Learning доминира като подобласт на ИИ

През 2017 година 56% от статиите по ИИ в Scopus се отнасят към категорията „Machine Learning и вероятностно разсъждение" (в сравнение с 28% през 2010 година). Записването във въвеждащи курсове по МО нараства по-бързо, отколкото в курсовете по ИИ като цяло. Конференциите NeurIPS и ICML, посветени на Machine Learning, демонстрират най-голям ръст на посещаемостта.

Половото разнообразие остава сериозен проблем

Средно 80% от професорите по ИИ в водещите университети (UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, ETH Zurich) са мъже. Средно 71% от кандидатите за свободни позиции, свързани с ИИ, в САЩ са мъже.

Раздел 1. Обем на дейността: Изследвания

Публикации

Броят на статиите по ИИ на платформата Scopus се е увеличил 7 пъти от 1996 година насам, докато статиите по информатика (Computer Science) са нараснали 5 пъти за същия период. Това свидетелства за това, че растежът на публикациите по ИИ е обусловен не само от общия интерес към информатиката, но и от самостоятелна динамика.

Регионално разпределение. Европа стабилно остава най-големият регион по брой публикации в областта на ИИ: през 2017 година 28% от статиите по ИИ в Scopus са свързани с европейски автори, следвани от Китай (25%) и САЩ (17%). При това броят на публикациите от Китай се е увеличил с 150% в периода от 2007 до 2017 година.

Подкатегории. Най-голям ръст се наблюдава в категорията на Neural Network: средногодишният темп на растеж (CAGR) е 3% в периода 2010–2014 и 37% в периода 2014–2017. Статиите на платформата arXiv също демонстрират стремителен растеж: компютърното зрение и разпознаването на образи стават най-голямата подкатегория на ИИ в arXiv от 2014 година насам.

Секторна принадлежност. Броят на статиите по ИИ, свързани с китайски държавни организации, се е увеличил с 400% в периода от 2007 до 2017 година, докато корпоративните публикации от Китай са нараснали само с 73%. В САЩ, напротив, делът на корпоративните публикации е значително по-висок: през 2017 година делът на корпоративните статии по ИИ в САЩ е 6,6 пъти по-голям, отколкото в Китай, и 4,1 пъти по-голям, отколкото в Европа.

Цитируемост. Авторите от САЩ се цитират с 83% по-често от средносветовия показател. Въпреки че Европа води по абсолютен брой публикации, нейният показател за цитируемост остава на ниво средносветовото. Китай значително е подобрил своята цитируемост: през 2016 година китайските автори се цитират с 44% по-често, отколкото през 2000 година.

Мобилност на авторите. Мобилните автори (публикуващи се извън своя домашен регион) демонстрират по-висока цитируемост и продуктивност в сравнение с „установените" (sedentary) автори. Сред трите региона Китай има най-голям дял на установени автори (76%), следван от Европа (52%) и САЩ (38%).

Конференция AAAI. На конференцията AAAI 2018 около 70% от подадените и 67% от приетите статии са свързани със САЩ или Китай. Въпреки че Китай е подал най-голям брой статии, САЩ и Китай имат почти еднакъв брой приети работи (268 и 265 съответно). Нивото на приемане за САЩ е 29%, за Китай — 21%.

Записване в курсове

Университети в САЩ. Записването във въвеждащи курсове по МО през 2017 година е 5 пъти по-високо, отколкото през 2012 година. В UC Berkeley растежът е 6,8 пъти. Записването във въвеждащи курсове по ИИ е нараснало 3,6 пъти за същия период. При това 74–79% от студентите във въвеждащите курсове по ИИ и МО в Stanford и Berkeley са мъже.

Международни университети. Съвкупното записване в курсовете ИИ+МО в Университета Цинхуа през 2017 година превишава показателя от 2010 година 16 пъти. Растеж се наблюдава също в Единбургския университет, USTC и SJTU (Китай), PUC (Чили) и други висши учебни заведения.

Участие в конференции

Големи конференции. NeurIPS и ICML демонстрират най-голям ръст: през 2018 година посещаемостта на NeurIPS е 4,8 пъти по-висока, отколкото през 2012 година, а на ICML — 6,8 пъти. Това отразява продължаващия интерес към Machine Learning.

Малки конференции. Посещаемостта на ICLR (International Conference on Learning Representations) през 2018 година е 20 пъти по-висока, отколкото през 2012 година — вероятно в резултат на нарастващия интерес към дълбокото обучение и Reinforcement Learning.

Конференция	Посещаемост (2018, приблизително)	Ръст от 2012 година
NeurIPS	~8 000	4,8x
CVPR	~6 500	2,5x
ICML	~5 000	6,8x
ICLR	~2 000	20x
IJCAI	~3 000	1,5x
AAAI	~3 500	2,0x

Организации за включване. Броят на регистрациите на семинара Women in Machine Learning (WiML) е нараснал с 600% от 2014 година. Броят на завършилите AI4ALL (инициатива за увеличаване на разнообразието в ИИ) е нараснал с 900% от 2015 година.

Изтегляния на роботизиран софтуер

Уникалните изтегляния на пакети ROS (Robot Operating System) от сайта ROS.org са нараснали с 567% от 2014 година. Броят на прегледите на страниците на ROS.org от Китай през 2017 година е 18 пъти по-висок, отколкото през 2012 година.

Полово разнообразие в академичните среди

Анализът на факултетите по ИИ в седем водещи университета в света показа, че средно 80% от професорите по ИИ са мъже. Сред учебните заведения са UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford и ETH Zurich. Значителни различия между регионите не са установени.

Раздел 2. Обем на дейността: Индустрия

Стартъпи и инвестиции

Броят на активните ИИ стартъпи в САЩ, подкрепени от рисков капитал, се е увеличил с 113% от януари 2015 до януари 2018 година, докато общият брой на стартъпите е нараснал само с 28%.

Рисковото финансиране на ИИ стартъпи в САЩ се е увеличило с 350% от 2013 до 2017 година, докато общото рисково финансиране е нараснало с 100% за същия период.

Свободни работни места

Дълбокото обучение (deep learning) е умение с най-бърз ръст на търсенето: броят на свободните позиции, изискващи умения по deep learning, се е увеличил 34 пъти от 2015 до 2017 година. Machine Learning остава най-търсеното умение по абсолютен обем.

Полово разпределение. Средно мъжете съставляват 71% от пула на кандидатите за свободни позиции, свързани с ИИ, в САЩ. Най-голямо полово разнообразие се наблюдава сред кандидатите за позиции, свързани с deep learning и роботика.

Патенти

През 2014 година около 30% от патентите в областта на ИИ са регистрирани в САЩ, следвани от Южна Корея и Япония (по 16%). Южна Корея и Тайван демонстрират най-голям ръст: броят на ИИ патентите през 2014 година е почти 5 пъти по-голям, отколкото през 2004 година.

Внедряване на ИИ в компании

Според данните от проучването на McKinsey & Company (2 135 респондента), най-разпространените ИИ технологии са роботизирана автоматизация на процеси и Machine Learning. Организациите като правило внедряват ИИ в онези бизнес функции, които носят най-голяма възвращаемост в тяхната индустрия: финансовите компании активно прилагат ИИ в управлението на рисковете, автомобилните — в производството, търговията на дребно — в маркетинга и продажбите.

Регион	Най-популярни ИИ възможности (% респонденти)
Северна Америка	Роботизация на процеси (23%), Machine Learning (23%)
Европа	Роботизация на процеси (27%), Machine Learning (21%)
Развиващи се пазари (вкл. Китай)	Компютърно зрение (26%), роботизация на процеси (23%)
Индия	Machine Learning (25%), роботизация на процеси (30%)

Споменавания на ИИ в корпоративни доклади

Споменаванията на „изкуствен интелект" и „машинно обучение" в докладите за приходи на компании, търгувани на Нюйоркската фондова борса, рязко са нараснали от 2015 година. В IT сектора лидер по брой споменавания на ИИ стана NVIDIA (93 споменавания през 2017 година), следвана от LivePerson (50) и Pegasystems (44). По брой споменавания на МО лидира Alphabet (57).

Инсталации на промишлени роботи

Китай демонстрира 500-процентно увеличение на годишните инсталации на промишлени роботи от 2012 до 2017 година. Южна Корея и Европа са увеличили инсталациите с 105% и 122% съответно. Сред по-малките пазари Тайван показва най-голям обем и ръст.

Отворен софтуер

Анализът на звездите (stars) на GitHub хранилищата показва значителен ръст на популярността на framework-ите, поддържани от големи компании: TensorFlow (Google), PyTorch (Facebook), MXNet (Amazon). TensorFlow значително изпреварва останалите framework-и по популярност, достигайки над 100 000 звезди до 2018 година.

Раздел 3. Обем на дейността: Обществен интерес

Тоналност на медийното отразяване

Статиите, съдържащи термина „изкуствен интелект", стават по-малко неутрални и по-позитивни: делът на позитивните статии се е увеличил от 12% през януари 2016 година до 30% през юли 2016 година и е оставал на това ниво до 2018 година.

Споменавания в правителствени документи

Споменаванията на термините „изкуствен интелект" и „машинно обучение" в стенограмите на Конгреса на САЩ, парламентите на Канада и Великобритания рязко са нараснали от 2016 година. Забележително е, че „машинното обучение" почти не е споменавано в парламентарните документи преди 2016 година.

Раздел 4. Техническа производителност

Компютърно зрение: ImageNet

Точност. Производителността на ImageNet продължава да нараства дори след приключването на официалното състезание през 2017 година. AI Index проследява напредъка по резултатите на валидационния dataset на ImageNet 2012. Точността на класификацията на изображения значително надминава човешкото ниво (около 5% грешки).

Скорост на обучение. Времето за обучение на Neural Network за класификация на изображения ImageNet е намаляло от около 60 минути (юни 2017 година) до 3,7 минути (ноември 2018 година) — ускоряване от 16 пъти за година и половина. Това отразява както алгоритмични иновации, така и инвестиции в инфраструктура (хардуер и софтуер).

Дата	Време за обучение ImageNet
Юни 2017	~60 минути
Ноември 2017	~30 минути
Ноември 2017	~15 минути
Юли 2018	~6,6 минути
Ноември 2018	~3,7 минути

Компютърно зрение: COCO

На конкурса COCO (Common Objects in Context) по сегментация на обекти най-високата средна точност се е увеличила с 72% от 2015 до 2018 година (от 0,28 до 0,48). Общността на компютърното зрение е преминала от сравнително прости задачи (класификация) към по-сложни (локализация на обекти с точност до пиксел, семантична сегментация).

Обработка на естествен език: парсинг

Метриката F1 за синтактичен парсинг на изречения (Penn Treebank) се е увеличила с 9 процентни пункта от 2003 до 2018 година (от ~86% до ~95%). Парсингът практически изцяло е преминал от методи, аналогични на парсинга на езици за програмиране, към методи на базата на deep learning.

Машинен превод

Резултатите BLEU за превод от английски на немски на конкурса WMT са нараснали 3,5 пъти в сравнение с 2008 година; за превод от немски на английски — 2,5 пъти. Напредъкът е обусловен от архитектурата Transformer и по-ефективното използване на данни.

Въпросно-отговорни системи: ARC

На benchmark-а AI2 Reasoning Challenge (ARC), публикуван от Allen Institute for AI през април 2018 година, производителността на Challenge Set (трудни въпроси от ниво 3–9 клас на американските училища) се е подобрила от 27% до 42%, а на Easy Set — от 63% до 69% за периода от април до ноември 2018 година.

Въпросно-отговорни системи: GLUE

Бенчмаркът GLUE (General Language Understanding Evaluation), публикуван през май 2018 година, е предназначен за тестване на системи за разбиране на естествен език по девет подзадачи. Въпреки че benchmark-ът е съществувал по-малко от половин година, производителността вече е намалила около половината от разликата между първия публикуван базов показател и приблизителното ниво на човека (~90%). Моделът BERT на Google се превръща в нов стандарт — цитирал е се осем пъти в първия месец след излизането.

Раздел 5. Производни метрики

Динамика „академия — индустрия"

За изучаване на взаимовръзката между академичната и промишлената активност в ИИ авторите са съпоставили три нормализирани показателя: публикации в Scopus, записвания в курсове по ИИ/МО в университети на САЩ и рискови инвестиции в ИИ стартъпи. И трите метрики демонстрират ръст от 2010 година, но рисковите инвестиции нарастват значително по-бързо от останалите.

Индекс на жизненост на ИИ (AI Vibrancy Index)

Индексът на жизненост агрегира три метрики (публикации, записвания, рискови инвестиции) в единен показател, нормализиран към 2010 година. До 2017 година индексът е нараснал приблизително 7–9 пъти спрямо базовата стойност от 2010 година, предимно за сметка на ръста на рисковото финансиране.

Раздел 6. Правителствени инициативи

Докладът за първи път включва преглед на правителствените инициативи в сферата на ИИ по три региона:

САЩ

През октомври 2016 година администрацията на Обама предлага национална стратегия за ИИ и публикува първия политически доклад за подготовката за бъдещето на ИИ (Preparing for the Future of Artificial Intelligence). През май 2018 година администрацията на Тръмп провежда Среща на върха по ИИ и създава Специален комитет по изкуствен интелект. През септември 2018 година DARPA обявява план за инвестиции над 2 млрд. долара в програмата AI Next. Частните компании играят централна роля: през 2017 година Amazon и Alphabet инвестират в R&D съответно 16,1 млрд. и 13,9 млрд. долара — значително повече от съвкупния бюджет на NSF, DARPA и DOT (~5,3 млрд. долара).

Европа

През април 2018 година държавите членки на ЕС подписват Декларация за сътрудничество в областта на ИИ, а Европейската комисия отделя 1,5 млрд. евро за подкрепа на изследванията в областта на ИИ за периода 2018–2020 (допълнително към 2,6 млрд. евро от програмата Horizon 2020). Целта е привличане на 20 млрд. евро инвестиции в ИИ за 10 години. Великобритания публикува AI Sector Deal с инвестиции от 950 млн. лири. Франция издава три доклада, включително „Mission Villani", посветен на политиката, предотвратяването на изтичане на мозъци и разнообразието в ИИ.

Китай

От 2014 година китайското правителство е стартирало поредица от национални инициативи с цел създаване на пазар на ИИ с обем 14,7 млрд. долара до 2018 година и осигуряване на световното лидерство на Китай в ИИ до 2030 година. Ключов документ е „Планът за развитие на ИИ от ново поколение" (юли 2017 година), предвиждащ достигане на нивото на напредналите страни до 2020 година, големи пробиви до 2025 година и статут на световен център на иновациите в ИИ до 2030 година.

Раздел 7. Постижения на ниво човешки способности

Докладът продължава хронологията на случаите, когато ИИ достига или надминава човешкото ниво. През 2018 година са добавени четири нови постижения:

Година	Постижение	Описание
1980	Othello	Програмата BILL (Ку-Фу Ли и С. Махаджан) побеждава най-добрия американски играч; през 1997 година Logistello ще победи световния шампион
1995	Дама	Програмата Chinook побеждава световния шампион
1997	Шах	IBM DeepBlue побеждава Гари Каспаров
2011	Jeopardy!	IBM Watson побеждава шампионите Брад Ратър и Кен Дженингс
2015	Atari	DeepMind достига човешкото ниво в 49 игри Atari
2016	Go	AlphaGo побеждава Ли Сьодол (4–1); AlphaGo Zero побеждава AlphaGo 100–0
2016	Разпознаване на обекти (ImageNet)	Грешката при класификацията е намалена от 28% (2010) до под 3% при човешко ниво ~5%
2017	Разпознаване на реч (Switchboard)	Microsoft и IBM достигат ниво, близко до човешката точност
2017	Покер	Libratus (CMU) побеждава четирима професионални играчи в 120 000 партии; DeepStack (Алберта) побеждава 11 професионалисти
2017	Класификация на рак на кожата	ИИ система (Esteva et al., Nature) достига нивото на 21 сертифицирани дерматолози
2017	Ms. Pac-Man	Екипът Maluuba (Microsoft) достига максимален резултат от 999 900 на Atari 2600
2018	Capture the Flag	Агентът на DeepMind достига човешкото ниво в модифицирана версия на Quake III Arena CTF
2018	Dota 2	OpenAI Five побеждава любителски отбори (с ограничения), но отстъпва на професионалистите
2018	Оценяване на рак на простатата	Системата на Google достига обща точност от 70% срещу 61% при патолозите
2018	Превод китайски — английски	Системата на Microsoft достига човешкото ниво на dataset-а newstest2017

Авторите на доклада подчертават, че тези резултати не трябва да се надценяват: задачите са тясноспециализирани и постиженията не свидетелстват за способността на системите към обобщение.

Раздел 8. Какво липсва? (What's Missing?)

Разделът представя мненията на трима експерти за насоките на развитие на индекса.

Франческа Роси (IBM, Падуански университет) предлага добавяне на метрики за здравия разум (common sense reasoning), дълбокото разбиране на естествен език, сътрудничеството между човека и машината (а не противопоставяне), както и комбинирането на Machine Learning със символен ИИ и причинно-следственото заключение (causality).

Родни Брукс (MIT) обръща внимание на ограничеността на метриката за промишлени роботи, в които нерядко няма ИИ компоненти. Той предлага да се проследяват роботи с ИИ съставка: дронове (SLAM и други алгоритми), домашни роботи (Roomba) и потенциални социални роботи.

Тоби Уолш (UNSW Sydney, TU Berlin) посочва необходимостта от количествени метрики за измерване на нарастващите държавни и частни инвестиции (Великобритания — 1 млрд. лири, Франция — 1,5 млрд. евро, Германия — 3 млрд. евро, Alibaba — 15 млрд. долара), а също и за проследяване на военното приложение на ИИ, включително автономните оръжия.

Методология

Докладът използва данни от множество източници:

• Публикации: Elsevier Scopus (~70 млн. документа, ~800 ключови думи за ИИ), arXiv.org.
• Конференции: AAAI, NeurIPS, ICML, CVPR, ICLR, IJCAI, ACL, ICRA, ICAPS, UAI, KR, AAMAS, WiML, AI4ALL.
• Курсове: данни непосредствено от университети (17 висши учебни заведения в 10 страни).
• Стартъпи и инвестиции: Sand Hill Econometrics (Dow Jones VentureSource), Crunchbase API.
• Свободни работни места: Monster.com, Gartner TalentNeuron.
• Патенти: amplified (IPC кодове: Cognition and meaning understanding, Human-interface technology).
• Внедряване на ИИ: McKinsey & Company (проучване на 2 135 респондента).
• Корпоративни доклади: Prattle (анализ на текстове на доклади за приходи с FactSet).
• Роботика: International Federation of Robotics (IFR), ROS.org.
• Медии: TrendKite (анализ на тоналността на статии).
• Правителство: Congressional Record (САЩ), Hansards (Великобритания и Канада), McKinsey Global Institute.
• Benchmark-и: ImageNet (LSVRC), COCO, Penn Treebank, WMT (EuroMatrix), ARC (Allen Institute for AI), GLUE.

Авторски колектив

Докладът е изготвен от Управителния комитет на AI Index под председателството на Йоав Шохам (Yoav Shoham, Stanford University) с участието на Реймънд Перо (Raymond Perrault, SRI International), Ерик Бринйолфсон (Erik Brynjolfsson, MIT), Джак Кларк (Jack Clark, OpenAI), Джеймс Манийка (James Manyika, McKinsey Global Institute), Хуан Карлос Ниблес (Juan Carlos Niebles, Stanford University), Тера Лайънс (Terah Lyons, Partnership on AI), Джон Ечеменди (John Etchemendy, Stanford University) и Барбара Грос (Barbara Grosz, Harvard University). Проектен мениджър е Зоуи Бауър (Zoe Bauer). AI Index първоначално е възникнал в рамките на проекта One Hundred Year Study on AI (AI100) и впоследствие е настанен в Станфордския институт HAI (Human-Centered AI).

Контекст и значение

AI Index Report 2018 бележи важен етап в развитието на систематичния мониторинг на напредъка на ИИ. Той фиксира редица повратни моменти: стремителното развитие на deep learning и неговото доминиране сред подходите към ИИ, преходът на общността на компютърното зрение към по-сложни задачи след „насищането" на ImageNet, революционното влияние на модела BERT върху обработката на естествен език, а също и безпрецедентният ръст на участието на индустрията в разработката на напреднали ИИ системи. Докладът също за първи път системно документира „надпреварата" между държавите във финансирането и стратегическото планиране на ИИ — тенденция, която ще определя развитието на индустрията в следващите години.

Препратки

• Stanford HAI — AI Index (всички доклади): https://aiindex.stanford.edu/report/
• AI Index 2018 Report (пълен текст, PDF): https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier Scopus — база данни на научни публикации: https://www.scopus.com/
• Elsevier AI Resource Center: https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• arXiv.org — архив на научни препринти: https://arxiv.org/
• ImageNet (LSVRC): https://image-net.org/challenges/LSVRC/
• COCO — Common Objects in Context: https://cocodataset.org/
• GLUE Benchmark: https://gluebenchmark.com/
• ARC — AI2 Reasoning Challenge: https://allenai.org/data/arc
• WMT — Workshop on Machine Translation / EuroMatrix: http://www.statmt.org/
• McKinsey & Company — AI Adoption Survey: https://www.mckinsey.com/featured-insights/artificial-intelligence
• International Federation of Robotics: https://ifr.org/
• ROS.org — Robot Operating System: https://www.ros.org/
• Sand Hill Econometrics: https://www.sandhillecon.com/
• Partnership on AI: https://partnershiponai.org/
• Women in Machine Learning (WiML): https://wimlworkshop.org/
• AI4ALL: https://ai-4-all.org/
• Tim Dutton — Overview of National AI Strategies: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• NLP Progress — проследяване на напредъка в NLP: https://nlpprogress.com/

Литература

• Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). The AI Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier (2018). Artificial Intelligence: How knowledge is created, transferred, and used. https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://arxiv.org/abs/1804.07461
• Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. https://arxiv.org/abs/1803.05457
• Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639). https://doi.org/10.1038/nature21056
• Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676). https://doi.org/10.1038/nature24270
• Jaderberg, M. et al. (2018). Human-level performance in first-person multiplayer games with population-based deep reinforcement learning. https://arxiv.org/abs/1807.01281
• OpenAI (2018). OpenAI Five. https://openai.com/blog/openai-five/
• Hassan, H. et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. https://arxiv.org/abs/1803.05567
• McKinsey & Company (2018). Notes from the AI frontier: AI adoption advances, but foundational barriers remain. https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain
• International Federation of Robotics (2017). World Robotics Report 2017. https://ifr.org/worldrobotics/
• Dutton, T. (2018). An Overview of National AI Strategies. https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• State Council of the People's Republic of China (2017). New Generation Artificial Intelligence Development Plan. https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/
• European Commission (2018). Communication on Artificial Intelligence for Europe. https://ec.europa.eu/digital-single-market/en/artificial-intelligence
• Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115(3). https://doi.org/10.1007/s11263-015-0816-y
• He, K. et al. (2015). Deep Residual Learning for Image Recognition. https://arxiv.org/abs/1512.03385