The 2019 AI Index Report (BG)

From Systems analysis Wiki
Jump to navigation Jump to search

AI Index Report 2019 — второто пълноформатно годишно издание на доклада AI Index, изготвено от Станфордския институт за човекоцентриран изкуствен интелект (Stanford HAI)[1]. Докладът от 2019 година проследява три пъти повече набори от данни в сравнение с изданието от 2018 година и обхваща девет тематични глави: от научни изследвания и разработки до национални стратегии и глобалната динамика на ИИ. Изданието съдържа актуализирани данни по всички аспекти на изкуствения интелект — технически постижения, икономика, образование, обществено възприятие и социални последици — и представя два нови интерактивни инструмента: Global AI Vibrancy Tool (vibrancy.aiindex.org), позволяващ сравнение на държави по 34 индикатора, и AI Index arXiv Monitor (arxiv.aiindex.org), осигуряващ пълнотекстово търсене в препринти в областта на ИИ. AI Index е независима инициатива към Станфордския институт HAI, замислена в рамките на проекта „Столетно изследване на ИИ" (AI100)[1].

Контекст и цели

Мисията на AI Index е да предоставя обективни, щателно проверени данни за развитието на изкуствения интелект на политици, изследователи, ръководители, журналисти и широката общественост[1]. Докладът от 2019 година излезе в момент на бърз ръст на интереса към ИИ от страна на правителства, корпорации и общество и се стремеше да разсее разпространени митове — по-специално представата, че развитието на ИИ се свежда до съперничество между САЩ и Китай. Данните от доклада демонстрират, че локални центрове за върхови постижения в областта на ИИ се формират по целия свят: Финландия се откроява в образованието в сферата на ИИ, Индия показва високо проникване на ИИ умения, Сингапур разполага с добре организирана държавна подкрепа, а Израел води по частни инвестиции в ИИ стартъпи на глава от населението[1].

Структура на доклада

Докладът от 2019 година се състои от девет тематични глави[1]:

  1. Научни изследвания и разработки (Research and Development) — библиометрични данни, публикации, патенти, полово разнообразие в изследванията в областта на ИИ.
  2. Конференции (Conferences) — посещаемост, статистика на статиите на AAAI, организации за разнообразие, етика на конференциите.
  3. Техническа производителност (Technical Performance) — benchmark-ове по компютърно зрение, обработка на език, разсъждения, изчислителни мощности.
  4. Икономика (The Economy) — работни места, инвестиции, корпоративно внедряване, роботизация.
  5. Образование (Education) — онлайн обучение, университетски програми, PhD специализации, отлив на преподаватели.
  6. Автономни системи (Autonomous Systems) — безпилотни автомобили, автономно въоръжение.
  7. Обществено възприятие (Public Perception) — централни банки, парламенти, корпоративни доклади, медии.
  8. Социални аспекти (Societal Considerations) — етични принципи, ИИ и устойчиво развитие на ООН.
  9. Национални стратегии и глобална динамика на ИИ (National Strategies and Global AI Vibrancy) — национални стратегии, инструмент за сравнение на държави.

Ключови изводи на доклада

1. Ръст на обема на публикациите

За периода от 1998 до 2018 година обемът на рецензираните публикации в областта на ИИ нарасна с повече от 300%. До 2018 година статиите по ИИ съставляваха 3% от журналните публикации и 9% от конференционните статии в базата данни Scopus[2]. Китай до 2018 година се изравни с Европа по брой журнални и конференционни публикации по ИИ, изпреварвайки САЩ още през 2006 година. При това индексът на цитиране (FWCI) на публикациите от САЩ все още надвишаваше китайския с около 50%[1].

2. Рекордна посещаемост на конференции

Посещаемостта на най-големите ИИ конференции продължи да расте значително. Конференцията NeurIPS през 2019 година очакваше 13 500 участника — ръст от 41% спрямо 2018 година и над 800% спрямо 2012 година. Конференциите AAAI и CVPR демонстрираха годишен ръст на посещаемостта от около 30%[1].

3. Стремителен технически прогрес

Времето за обучение на модел за класификация на изображения върху облачна инфраструктура намаля от около три часа през октомври 2017 година до около 88 секунди през юли 2019 година; цената на обучението падна по аналогичен начин. По benchmark-овете SuperGLUE и SQuAD 2.0 напредъкът беше особено бърз, но при задачи, изискващи разсъждения (например AI2 Reasoning Challenge), и задачи за обучение на ниво концепции (Omniglot Challenge), резултатите оставаха по-ниски[3][1].

4. Експоненциален ръст на изчисленията

До 2012 година ръстът на изчисленията за ИИ съответстваше на закона на Мур — удвояване на всеки две години. След 2012 година изчисленията се удвояваха на всеки 3,4 месеца, което доведе до увеличение от над 300 000 пъти за шест години[4].

5. Глобален ръст на наемането в сферата на ИИ

Сингапур, Бразилия, Австралия, Канада и Индия показаха най-бърз ръст на наемането в сферата на ИИ за периода 2015–2019 година. В САЩ делът на свободните работни места, свързани с ИИ, нарасна от 0,26% от общия брой свободни места през 2010 година до 1,32% през октомври 2019 година, като най-голямото търсене беше за специалисти по Machine Learning (0,51%)[5][6].

6. Частните инвестиции надхвърлиха $70 млрд

През 2019 година глобалните частни инвестиции в ИИ надхвърлиха 70 млрд. долара, включително над 37 млрд. инвестиции в стартъпи, 34 млрд. в сделки M&A, около 5 млрд. в IPO и около 2 млрд. в миноритарни дялове. От 2010 до 2018 година финансирането на ИИ стартъпи нарасна от 1,3 млрд. до 40,4 млрд. долара при среден годишен ръст над 48%. Автономните превозни средства получиха най-голям дял от инвестициите (7,7 млрд.), следвани от фармацевтиката и терапията на рак (4,7 млрд.) и разпознаването на лица (4,7 млрд.)[7].

7. Нарастващо внедряване на ИИ в бизнеса

Според данни от проучване на McKinsey & Company (2 360 респондента), 58% от големите компании използваха ИИ в поне една функция или бизнес звено през 2019 година в сравнение с 47% през 2018 година. При това само 19% от организациите предприемаха стъпки за намаляване на рисковете, свързани с обяснимостта на алгоритмите, и само 13% — за противодействие на пристрастност и дискриминация[8].

8. ИИ — най-популярната специализация за PhD

ИИ се превърна в най-популярната специализация сред докторантите по компютърни науки в Северна Америка: през 2018 година над 21% от завършилите PhD по изчислителни науки се специализираха в ИИ и Machine Learning. Делът на завършилите PhD в областта на ИИ, преминаващи в индустрията, нарасна от 21% през 2004 година до над 60% през 2018 година[9].

9. Отлив на преподаватели по ИИ от академията

Напускането на преподаватели по ИИ от академията към индустрията се ускори: над 40 напускания през 2018 година в сравнение с 15 през 2012 година и нула през 2004 година. Най-големи загуби понесоха Университетът Карнеги-Мелон, Университетът на Вашингтон и Калифорнийският университет в Бъркли[10].

10. Нарастващо внимание към етиката на ИИ

Справедливостта, интерпретируемостта и обяснимостта бяха определени като най-често споменаваните етични предизвикателства в 59 документа с принципи на етичен ИИ. От над 3 600 световни новинарски статии за етиката и ИИ (средата на 2018 — средата на 2019) доминиращите теми бяха рамкови принципи и насоки за етично използване на ИИ (32%), поверителност на данните (14%), разпознаване на лица (13%), алгоритмична пристрастност (11%) и ролята на големите технологични компании (11%)[11].

Глава 1. Научни изследвания и разработки

Главата анализира тенденциите в публикациите по данни на Elsevier Scopus, препринти в arXiv, Microsoft Academic Graph (MAG), както и патентната активност, популярността на програмните framework-ове в GitHub и половото разнообразие сред изследователите в областта на ИИ[1].

Публикации

Европа оставаше най-големият издател на статии по ИИ, достигайки над 27% от публикациите в Scopus до 2018 година. Делът на Китай нарасна от 10% през 2000 година до 28% през 2018 година. В САЩ относително висок дял съставляваха корпоративните публикации: през 2018 година броят на корпоративните ИИ статии в САЩ надвишаваше китайските с повече от седем пъти[2].

В arXiv общият брой статии по ИИ за периода 2010–2019 година се увеличи над двадесет пъти. Компютърното зрение (CV) беше най-голямата подкатегория от 2014 година, но през 2019 година Machine Learning се превърна във водеща категория. Подкатегорията „Computation & Language" нарасна почти шестдесет пъти от 2010 година[12].

Цитиране

Над 32% от световните цитирания на журнални статии по ИИ се падаха наИзточна Азия, над 40% от цитиранията на конференционни статии — на Северна Америка. В патентната сфера Северна Америка акумулира над 60% от световната цитационна активност по ИИ патенти за периода 2014–2018 година[13].

Патенти

Над 51% от световните ИИ патенти се отнасяха до Северна Америка. САЩ публикуваха три пъти повече ИИ патенти от следващата страна — Япония. Над 94% от ИИ патентите бяха подадени в страни с високо ниво на доходи[13].

GitHub Stars

Забележима тенденция беше доминирането на framework-ове, поддържани от корпорации: TensorFlow (Google) и PyTorch (Facebook). Некорпоративните framework-ове — scikit-learn и Caffe — продължаваха да растат, но с по-бавен темп[1].

Полово разнообразие в изследванията

Над 41% от ИИ статиите от Нидерландия и над 39% от Дания имаха поне един съавтор-жена. В Япония и Сингапур този показател беше само 10% и 16% съответно. Много западноевропейски страни, както и Аржентина, Канада и Иран показваха относително високо присъствие на жени в ИИ изследванията[14].

Глава 2. Конференции

Посещаемост

NeurIPS през 2019 година очакваше 13 500 участника (ръст от 800% спрямо 2012 година). ICLR нарасна 15 пъти спрямо 2014 година. Семинарът Women in Machine Learning (WiML) увеличи броя на участниците с 738% спрямо 2014 година, а програмата AI4ALL — с 2 000% спрямо 2015 година[1].

Статистика на AAAI

На конференцията AAAI 2019 Китай представи най-голям брой подадени и приети статии. Над 68% от заявките бяха от докторанти. Израел имаше най-висок процент на приемане (24%), следван от Германия (23%), Канада (22%), САЩ и Сингапур (по 20%). Machine Learning, NLP и компютърното зрение оставаха трите водещи тематики[1].

Етика на конференциите

Общият брой статии с ключови думи, свързани с етиката, на водещите ИИ конференции оставаше малък дял от общия брой, но бързо нарастваше. Анализът обхвана 110 108 статии, включително 59 352 конференционни и 50 756 журнални[15].

Глава 3. Техническа производителност

Главата проследява техническия прогрес в задачите за компютърно зрение, обработка на естествен език, разсъждения, машинен превод и изчислителни мощности[1].

Компютърно зрение

ImageNet. Първият метод, надминал човешката точност на ImageNet, беше публикуван през 2015 година. До 2019 година прогресът продължаваше: трите най-успешни метода използваха допълнителни данни за обучение. Конкурсът ImageNet беше прекратен през 2017 година, но dataset-ът оставаше ключов benchmark[16].

Време и цена на обучение. Според данните на проекта DAWNBench (Stanford), времето за обучение на модел за класификация на изображения до точност 93%+ (top-5) върху облачна инфраструктура намаля от над 3 часа (октомври 2017) до ~88 секунди (юли 2019). Цената на обучението падна от $2 323 (октомври 2017, ResNet) до ~$12 (септември 2018, ResNet на GCP с Cloud TPU)[3].

Генериране на изображения. Прогресът в генерирането на изображения (CIFAR-10) се измерваше с помощта на метриката FID (Fréchet Inception Distance): по-ниската оценка корелира с по-добро качество на генериране[1].

Семантична сегментация. Прогресът се измерваше по метриката mean IoU на dataset-а Cityscapes — задача, важна за системите за автопилотиране[1].

Обработка на естествен език

GLUE. Benchmark-ът General Language Understanding Evaluation, пуснат през май 2018 година, тества системи по девет задачи за обработка на текст. Въпреки че benchmark-ът беше едва малко над година стар, резултатите на системите надминаха нивото на неекспертните оценители през юни 2019 година. Моделите RoBERTa (Facebook) и T5 (Google) продължаваха да подобряват показателите[17].

SuperGLUE. По-сложен benchmark, стартиран през май 2019 година. В рамките на пет месеца след стартирането моделът T5 (Google) почти достигна човешкото базово ниво от 89,8, набирайки 88,9 точки[18].

SQuAD. На benchmark-а Stanford Question Answering Dataset F1-оценката за SQuAD 1.1 нарасна от 67 (август 2016) до 95 (май 2019). Прогресът при SQuAD 2.0 беше дори по-бърз: от 62 (май 2018) до 90 (юни 2019). Времето за обучение на модел за отговори на въпроси до F1 ≥ 75 на SQuAD 1.0 намаля от над 7 часа (октомври 2017) до по-малко от 19 минути (март 2019)[19].

Разсъждения. На ARC Challenge Set (Allen Institute for AI) най-добрият резултат беше 67,7% (септември 2019). На ARC-Easy — 85,4%. Задачите, изискващи разсъждения, оставаха значително по-трудни за ИИ системите[20].

Машинен превод

Броят на търговски достъпните системи за машинен превод с предобучени модели нарасна от 8 (2017) до над 24 (2019). Най-голям прогрес в качеството беше отбелязан за двойките китайски–английски, английски–немски и руски–английски[21].

Omniglot Challenge

За три години беше отбелязан забележителен прогрес в класификацията с един пример (one-shot), но при останалите четири задачи за обучение на концепции (генериране на примери, парсинг, генериране на нови концепции) прогресът беше ограничен. Байесовото програмно обучение (BPL) все още превъзхождаше невронните подходи в оригиналното задание[22].

Изчислителни мощности

Анализът на OpenAI показа структурна разлика: до 2012 година обемът на изчисленията за ИИ се удвояваше на всеки две години (закон на Мур); след 2012 година — на всеки 3,4 месеца. От 2012 година този показател нарасна над 300 000 пъти[4].

Постижения на човешко ниво

Докладът актуализира хронологията на постиженията на ИИ, добавяйки два нови резултата към вече документираните (Othello — 1980, дама — 1995, шах — 1997, Jeopardy! — 2011, Atari — 2015, ImageNet — 2016, Go — 2016, покер — 2017, Ms. Pac-Man — 2017, StarCraft II — 2019):

Година Постижение
2018 AlphaFold (DeepMind) — предсказване на 3D структурата на протеини с безпрецедентна точност
2019 AlphaStar (DeepMind) — победа над топ-професионалист в StarCraft II
2019 Откриване на диабетна ретинопатия с точност на ниво специалист

Глава 4. Икономика

Работни места и наемане

Индексът за наемане на ИИ специалисти (LinkedIn) показа, че Сингапур, Бразилия, Австралия, Канада и Индия водеха по темпове на ръст на наемането в периода 2015–2019 година. В САЩ щатът Вашингтон имаше най-голямо относително търсене на ИИ позиции (почти 1,4% от общия брой свободни места), следван от Калифорния (1,3%) и Масачузетс (1,3%). По абсолютен брой водеше Калифорния с над 93 000 ИИ позиции[5].

Най-голямо проникване на ИИ умения се наблюдаваше в секторите на ИТ услуги (2,3% от свободните места), професионалните и научни услуги (над 2%), финансите и застраховането (1,3%) и преработващата промишленост (1,1%)[6].

Според данните на LinkedIn, Индия демонстрираше проникване на ИИ умения 2,6 пъти над световното средно. Интересна картина се наблюдаваше в половия разрез: мъжете съобщаваха за ИИ умения в по-голям брой професии от жените във всички страни от извадката[6].

Инвестиции

Финансирането на ИИ стартъпи растеше със среден годишен темп над 48% (2010–2018). До ноември 2019 година обемът на инвестициите възлизаше на $37,4 млрд. (спрямо $40,4 млрд. за цялата 2018 година). Между 2014 и 2019 година бяха осъществени 15 798 инвестиции със средна стойност около $8,6 млн.[7].

Подушевият показател за инвестиции в ИИ беше най-висок при Израел, следван от Сингапур и Исландия. Стартъпите от Китай получаваха значително повече инвестиции на компания: $34,1 млн. — с 201% повече от САЩ и с 296% повече от световното средно[7].

Секторно най-големи инвестиции бяха насочени към автономни превозни средства ($7,7 млрд., 9,9% от общия обем), фармацевтика и терапия на рак ($4,7 млрд.), разпознаване на лица ($4,7 млрд.), видеосъдържание ($3,6 млрд.) и откриване на измами ($3,1 млрд.). Най-бързо растящите направления бяха роботизирана автоматизация на процесите, управление на веригите за доставки и промишлена автоматизация[7].

Държавни инвестиции (САЩ)

Федералното правителство на САЩ планираше да инвестира $4,98 млрд. в ИИ изследвания през финансовата 2020 година. Министерството на отбраната (DoD) — $4,0 млрд., включително $506 млн. чрез DARPA, $221 млн. за проекта Maven и $209 млн. за Joint AI Center (JAIC). Разходите на федералните агенции за договори по ИИ нараснаха с ~70%: от $429 млн. през 2017 година до $728 млн. през 2018 година[23].

Корпоративно внедряване

58% от големите компании съобщаваха за използване на ИИ в поне една функция (ръст от 47% през 2018). 30% от респондентите отбелязваха внедряване на ИИ в няколко звена (21% през 2018). Най-често внедряваните ИИ възможности: роботизирана автоматизация на процесите, компютърно зрение и Machine Learning. Киберсигурността беше рискът, с който организациите най-често се справяха (48%), докато рисковете от обяснимост (19%) и справедливост (13%) се адресираха значително по-рядко[8].

Промишлена роботизация

През 2018 година глобалните инсталации на промишлени роботи нараснаха с 6% — до 422 271 единици на стойност $16,5 млрд. Оперативният парк от роботи възлизаше на 2 439 543 единици. Петте най-големи пазара — Китай, Япония, САЩ, Южна Корея и Германия — акумулираха 74% от глобалните инсталации. Китай оставаше световен лидер (36%), инсталирайки 154 032 единици[24].

Глава 5. Образование

Онлайн обучение

Coursera, обслужвайки над 45 млн. учащи и предлагайки над 3 700 курса, съставя класация на 60 страни по ИИ умения (Global Skills Index). Южна Азия и Източна Азия демонстрираха най-голям дял на записвания в курсове по ИИ и свързани компетенции. В Udacity курсът „Introduction to Machine Learning" набра над 125 000 общи записвания[25].

Университетски програми

Записванията за уводни курсове по ИИ в Станфорд нараснаха пет пъти (2012–2018). За курса „Introduction to Machine Learning" в Университета на Илинойс (UIUC) — дванадесет пъти (2010–2018). На международно ниво Университетът на Торонто имаше най-голям брой записани студенти, следван от Висшето училище по икономика (Русия) и Университета Цинхуа (Китай)[1].

В Европа бяха идентифицирани 2 054 програми, обхващащи областта на ИИ, като преобладаващото мнозинство бяха на магистърско ниво. 197 европейски университета предлагаха 406 специализирани магистърски програми по ИИ[26].

PhD специализации и отлив към индустрията

ИИ стана най-популярната PhD специализация по компютърни науки: над 21% през 2018 година. Делът на завършилите PhD, преминаващи към индустрията, се утрои: от 21% през 2004 година до 62% през 2018 година. Над 60% от новите PhD по ИИ в САЩ и Канада бяха чуждестранни студенти (под 40% през 2010 година); само ~10% напускаха САЩ след дипломирането[9].

Трите университета с най-големи загуби на ИИ преподаватели: Карнеги-Мелон (17 щатни преподаватели), Университетът на Вашингтон (11) и Бъркли. Сред канадските университети най-много загуби Университетът на Торонто (9 преподаватели). Делът на жените сред завършилите PhD по ИИ оставаше стабилен на ниво ~20% от 2010 до 2018 година[10].

Глава 6. Автономни системи

Безпилотни автомобили

Не по-малко от 25 страни имаха градове, тестващи автономни превозни средства (АПС). В щата Калифорния от 2015 до 2018 година броят на тестващите компании и общият брой АПС нараснаха седем пъти. През 2018 година над 50 компании и 500 АПС изминаха над 2 млн. мили. Не по-малко от 41 щата и окръг Колумбия разглеждаха законодателство, свързано с АПС[27].

Честотата на произшествията с АПС в Калифорния през 2018 година беше 22,44 на милион мили — около 5,5 пъти по-висока от коригирания показател за обикновените водачи. В повечето произшествия автомобил с човек-водач удряше отзад спряло или движещо се направо АПС в дневно време. Повечето повреди бяха незначителни[27].

Автономно въоръжение

Според експертно проучване на Стокхолмския международен институт за изследване на мира (SIPRI), не по-малко от 89 страни имаха автоматични системи за противовъздушна отбрана. Системи за активна защита се разработваха и произвеждаха само от девет страни. Данните обхващаха периода 1950–2017 година[28].

Глава 7. Обществено възприятие

Централни банки

Комуникациите на централните банки демонстрираха нарастващ интерес към ИИ. Банката на Англия, Банката на Япония и Федералният резерв споменаваха ИИ по-често от останалите. Характерът на публикациите се измести от аналитични документи към изявления[1].

Парламентарна и правителствена активност

Наблюдаваше се над десетократно увеличение на законодателната активност, свързана с ИИ, в Конгреса на САЩ в периода 2017–2018 година. В стенограмите на Конгреса 2019 година се оказа годината с най-голям брой споменавания на ИИ. Сходни тенденции бяха отбелязани в парламентите на Канада и Великобритания[23].

Корпорации

Делът на отчетите за приходите (earnings calls) на 3 000 публични компании в САЩ, съдържащи споменавания на ИИ, нарасна от 0,01% (2010) до 0,42% (2018). Финансовият сектор водеше по брой споменавания[1].

Медии и уеб търсене

Според данните на Google Trends, терминът „machine learning" изпреварваше другите свързани термини в търсенията в САЩ. Според данните на GDELT Project, от новинарските статии, свързани с ИИ, 17,7% засягаха влиянието върху заетостта, 2,4% — алгоритмичната пристрастност и само 0,99% — „роботи-убийци"[29].

Глава 8. Социални аспекти

Етични принципи

PricewaterhouseCoopers анализира 59 документа с принципи на етичен ИИ от асоциации и консорциуми, правителства, технологични компании, аналитични центрове и научни организации. Дванадесет етични предизвикателства бяха открояени най-често: отчетност, безопасност, човешки контрол, надеждност и защита, справедливост, разнообразие и приобщаване, устойчивост, прозрачност, интерпретируемост и обяснимост, многостранен диалог, законност и съответствие, поверителност на данните[11].

Справедливостта, интерпретируемостта/обяснимостта и прозрачността се споменаваха най-често. При технологичните компании справедливостта беше посочена в 100% от framework-овете, при аналитичните центрове — справедливост и човешки контрол (съответно 100% и 88%)[11].

ИИ и Целите за устойчиво развитие на ООН

McKinsey Global Institute идентифицира около 160 приложения на ИИ за обществено благо, потенциално подкрепящи всичките 17 Цели за устойчиво развитие (ЦУР) на ООН. ИИ можеше да адресира около половината от 169 целеви показателя на ЦУР. Най-голям брой приложения съответстваха на ЦУР 3 (здраве) и ЦУР 16 (мирни и приобщаващи общества). Обаче за мащабно внедряване на ИИ в интерес на устойчивото развитие оставаха съществени бариери: наличност на данни, изчислителни мощности, кадри и организационна готовност[30].

Глава 9. Национални стратегии и глобална динамика на ИИ

Национални стратегии

Броят на официалните стратегически документи по ИИ непрекъснато нарастваше. PwC, използвайки NLP анализ на 37 документа, установи, че академичното партньорство се споменаваше в 94% от документите, ИИ изследванията и разработките — в 48%, управлението на ИИ — в 42%. Защитата на потребителите и справедливостта се споменаваха най-рядко (2%)[11].

Инструмент Global AI Vibrancy

Представеният за първи път инструмент обхващаше 28 страни по 34 метрики, групирани в три стълба: научни изследвания и разработки (21 метрики), икономика (10 метрики) и приобщаване (5 метрики). Инструментът позволяваше на потребителите да настройват тегловите коефициенти и да провеждат както междудържавни, така и вътрешнодържавни сравнения[1].

Държавни профили

Докладът включваше подробни държавни профили за Бразилия, Китай, Франция, Германия, Индия, Нидерландия, Сингапур и САЩ, както и преглед на многостранната регионална политика в областта на ИИ[1].

Значими резултати по benchmark-ове от 2019 година

Benchmark Най-добър резултат (2019) Човешко ниво Прогрес
ImageNet (Top-1) ~88% ~95% (един анотатор) Постоянно подобрение с допълнителни данни
GLUE Надминато не-експертно ниво (юни 2019) 87,1 (не-експерт) RoBERTa, T5
SuperGLUE 88,9 (T5, Google) 89,8 Достигнато за 5 месеца след стартирането на benchmark-а
SQuAD 1.1 (F1) 95 ~91 Надминато човешкото ниво
SQuAD 2.0 (F1) 90 ~89 Практически на ниво човек
ARC Challenge 67,7% — Задачите за разсъждения остават трудни
VQA 75,28% ~80% Ръст от 2,85 п.п. за година

Методология

Докладът използва данни от множество източници[1]:

  • Публикации: Elsevier Scopus, arXiv (NESTA), Microsoft Academic Graph (MAG).
  • Benchmark-ове: Papers With Code, DAWNBench/MLPerf, класации на GLUE, SuperGLUE, SQuAD, ARC, VQA, ActivityNet.
  • Конференции: данни за регистрация от NeurIPS, ICML, ICLR, AAAI, CVPR, WiML, AI4ALL, RightsCon.
  • Пазар на труда: LinkedIn Economic Graph, Burning Glass Technologies, Indeed.
  • Инвестиции: CAPIQ, Crunchbase, Quid.
  • Корпоративна активност: McKinsey Global Survey, International Federation of Robotics.
  • Държавни разходи: Bloomberg Government.
  • Обществено възприятие: Google Trends, GDELT Project, Prattle (централни банки), Hansard (парламенти).
  • Етика и стратегии: PricewaterhouseCoopers (NAISR), Harvard, LexisNexis.
  • Образование: CRA Taulbee Survey, Coursera, Udacity, Joint Research Centre (EC).
  • Автономни системи: California DMV, Bloomberg Philanthropies, SIPRI, NCSL.

Авторски колектив

Докладът е подготвен от Ръководния комитет на AI Index при координацията на Реймънд Перо (Raymond Perrault, SRI International) и под председателството на Йоав Шохам (Yoav Shoham, Станфордски университет). В състава на комитета влизаха: Ерик Бринйолфсон (MIT), Джак Кларк (OpenAI), Джон Ечменди (Станфорд), Барбара Грос (Харвард), Тера Лайънс (Partnership on AI), Джеймс Маника (McKinsey Global Institute) и Хуан Карлос Ниблес (Станфорд). Ръководител на проекта и главен редактор беше Саураб Мишра (Станфордски университет). Данни предоставиха над 20 организации-партньори[1].

Препратки

Литература

Бележки

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 Perrault, R., Shoham, Y., Brynjolfsson, E., Clark, J., Etchemendy, J., Grosz, B., Lyons, T., Manyika, J., Mishra, S., Niebles, J.C. (2019). The AI Index 2019 Annual Report. AI Index Steering Committee, Human-Centered AI Institute, Stanford University. https://aiindex.stanford.edu/report/
  2. ↑ 2.0 2.1 Elsevier Scopus. Data on AI publications 1998–2018. https://www.scopus.com/
  3. ↑ 3.0 3.1 Coleman, C. et al. Stanford DAWNBench: An End-to-End Deep Learning Benchmark and Competition. https://dawn.cs.stanford.edu/benchmark/
  4. ↑ 4.0 4.1 Amodei, D., Hernandez, D. (2018). AI and Compute. OpenAI. https://openai.com/blog/ai-and-compute
  5. ↑ 5.0 5.1 Burning Glass Technologies. AI Job Posting Data 2010–2019. https://www.burning-glass.com/
  6. ↑ 6.0 6.1 6.2 LinkedIn Economic Graph. AI Hiring Index and Skill Penetration Data. https://economicgraph.linkedin.com/
  7. ↑ 7.0 7.1 7.2 7.3 Quid. Global AI Startup Investment Data. CAPIQ, Crunchbase. https://quid.com/
  8. ↑ 8.0 8.1 McKinsey & Company (2019). Global AI Survey: AI proves its worth, but few scale impact. https://www.mckinsey.com/capabilities/quantumblack/our-insights/global-ai-survey-ai-proves-its-worth-but-few-scale-impact
  9. ↑ 9.0 9.1 Computing Research Association. Taulbee Survey 2018. https://cra.org/resources/taulbee-survey/
  10. ↑ 10.0 10.1 Gofman, M., Jin, Z. (2019). Artificial Intelligence, Human Capital, and Innovation. University of Rochester Working Paper. http://www.aibraindrain.org
  11. ↑ 11.0 11.1 11.2 11.3 PricewaterhouseCoopers (2019). National AI Strategy Radar and Ethical AI Principles Analysis. https://www.pwc.com/
  12. ↑ arXiv. AI papers statistics 2010–2019. NESTA analysis. https://arxiv.org/
  13. ↑ 13.0 13.1 Wang, K., Shen, I., Dong, Y. Microsoft Academic Graph Data 2019. https://academic.microsoft.com/
  14. ↑ Stathoulopoulos, K., Mateos-Garcia, J. (2019). Women in AI Research. NESTA. https://www.nesta.org.uk/
  15. ↑ Prates, M., Avelar, P., Lamb, L. (2019). Ethics analysis in AI conferences. Federal University of Rio Grande do Sul.
  16. ↑ Russakovsky, O. et al. ImageNet Large Scale Visual Recognition Challenge. https://www.image-net.org/
  17. ↑ Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://gluebenchmark.com/
  18. ↑ Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://super.gluebenchmark.com/
  19. ↑ Rajpurkar, P. et al. (2018). Know What You Don't Know: Unanswerable Questions for SQuAD. https://rajpurkar.github.io/SQuAD-explorer/
  20. ↑ Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC. Allen Institute for AI. https://allenai.org/data/arc
  21. ↑ Savenkov, K. Intento Machine Translation Quality Evaluation. https://inten.to/
  22. ↑ Lake, B. (2019). Omniglot Challenge: 3-year progress report. New York University.
  23. ↑ 23.0 23.1 Bloomberg Government (2019). Federal AI R&D Budget Analysis.
  24. ↑ International Federation of Robotics (2019). World Robotics Report 2019. https://ifr.org/worldrobotics/
  25. ↑ Coursera (2019). Global Skills Index. https://www.coursera.org/gsi
  26. ↑ Joint Research Centre, European Commission (2019). Academic offer and demand for advanced profiles in the EU.
  27. ↑ 27.0 27.1 California Department of Motor Vehicles (2019). Autonomous Vehicle Disengagement and Collision Reports. https://www.dmv.ca.gov/portal/vehicle-industry-services/autonomous-vehicles/
  28. ↑ Boulanin, V., Verbruggen, M. (2019). Mapping the Development of Autonomy in Weapon Systems. SIPRI. https://www.sipri.org/
  29. ↑ GDELT Project. Global AI News Coverage Data 2017–2019. https://www.gdeltproject.org/
  30. ↑ McKinsey Global Institute (2019). Notes from the AI frontier: Applying AI for social good. https://www.mckinsey.com/mgi/overview
Retrieved from "https://systems-analysis.info/int/index.php?title=The_2019_AI_Index_Report_(BG)&oldid=7950"