The 2017 AI Index Report (CS)

From Systems analysis Wiki
Jump to navigation Jump to search

AI Index Report 2017 — první (inaugurační) výroční zpráva projektu AI Index, zveřejněná v listopadu 2017[1]. Projekt byl vytvořen v rámci iniciativy One Hundred Year Study on AI (AI100) při Stanfordské univerzitě a představuje otevřený nekomerční projekt sledující aktivitu a pokrok v oblasti umělé inteligence. Zpráva z roku 2017 byla prvním pokusem o systematické agregování a vizualizaci dat o stavu UI, zahrnující objem aktivit v akademické sféře a průmyslu, technický výkon systémů UI, odvozené metriky a pokrok směrem k lidské úrovni. Autoři zdůrazňují, že bez relevantních dat o stavu technologií UI společnost „letí naslepo" v diskusích a rozhodováních spojených s umělou inteligencí[1].

Předpoklady a cíle

V roce 2017 se umělá inteligence dostala do popředí globálního diskurzu a přitahovala pozornost odborníků, průmyslových lídrů, politiků i široké veřejnosti. Oblast UI se rozvíjela tak rychle, že i experti měli potíže s porozuměním a sledováním pokroku. AI Index byl navržen jako nástroj pro informovanou diskusi o UI, založenou na datech, nikoli na domněnkách či anekdotických svědectvích[1].

Myšlenka projektu vznikla během diskusí Stálého výboru AI100 v roce 2015[2]. Zpráva agreguje jak volně dostupná data z internetu, tak původní data a odvozuje nové metriky z kombinací stávajících časových řad. Veškerá data použitá pro tvorbu zprávy jsou zveřejněna v otevřeném přístupu na webu aiindex.org[1].

Struktura zprávy

Zpráva z roku 2017 se skládá ze čtyř hlavních datových oddílů a několika diskusních sekcí[1]:

  1. Objem aktivit (Volume of Activity) — metriky „kolik": publikace, přijetí na kurzy, návštěvnost konferencí, startupy, financování, volná pracovní místa, import robotů, software s otevřeným kódem, veřejný zájem.
  2. Technický výkon (Technical Performance) — metriky „jak dobře": počítačové vidění, zpracování přirozeného jazyka, rozpoznávání řeči, dokazování vět, řešení SAT úloh.
  3. Odvozené metriky (Derivative Measures) — vzájemné vztahy mezi trendy, dynamika „akademie — průmysl", index životaschopnosti UI (AI Vibrancy Index).
  4. Na cestě k lidské úrovni? (Towards Human-Level Performance?) — katalog úspěchů, v nichž se UI přiblížila lidské úrovni nebo ji překonala.
  5. Co chybí? (What's Missing?) — uznání omezení zprávy a směrů budoucí práce.
  6. Expertní fórum (Expert Forum) — komentáře předních odborníků v oblasti UI.

Objem aktivit

Akademické publikace

Počet vědeckých článků o UI publikovaných a indexovaných v databázi Scopus (nakladatelství Elsevier) s klíčovým slovem „Artificial Intelligence" v předmětové oblasti „Computer Science" vzrostl více než 9násobně od roku 1996[3]. Pro srovnání: celkový počet publikací v oblasti informatiky za stejné období vzrostl přibližně 6násobně, což svědčí o tom, že růst publikací o UI není způsoben pouhým rozšířením zájmu o informatiku obecně, ale právě narůstajícím zájmem o umělou inteligenci[1].

V době sestavení zprávy databáze Scopus obsahovala více než 200 000 článků z oblasti informatiky s klíčovým slovem „Artificial Intelligence" a téměř 5 milionů článků z informatiky celkově z celkového objemu přibližně 70 milionů indexovaných dokumentů[3].

Přijímání na studijní kurzy

Nábor studentů na úvodní kurzy umělé inteligence a Machine Learning vykazoval rychlý růst. Na Stanfordské univerzitě se nábor na úvodní kurz UI zvýšil 11násobně od roku 1996[1]. Machine Learning (ML) jako podoblast UI byl vyčleněn zvlášť kvůli obzvláště rychlému růstu náboru a klíčové roli ML technik v nedávných úspěších UI.

Podobné tendence byly pozorovány i na dalších předních univerzitách: University of California Berkeley, Carnegie Mellon University, Georgia Institute of Technology, University of Illinois Urbana-Champaign, Massachusetts Institute of Technology a University of Washington[1]. Autoři zprávy poznamenávají, že tato data představují pouze úzký výsek krajiny vysokoškolského vzdělávání a nemusí být reprezentativní pro širší okruh vzdělávacích institucí.

Návštěvnost konferencí

Data o návštěvnosti předních UI konferencí (AAAI, AAMAS, ACL, CP, CVPR, ECAI, ICAPS, ICRA, ICLR, ICML, IJCAI, IROS, KR, NIPS, UAI) potvrdila posun výzkumného zaměření od symbolického uvažování k Machine Learning a Deep Learning[1]. Konference o Machine Learning (NIPS, ICML, ICLR) vykazovaly nejvýznamnější nárůst návštěvnosti, zatímco konference o symbolických metodách (KR, CP, ICAPS) si udržovaly stabilní, avšak skromnější komunitu, která nadále dosahuje trvalého pokroku[1].

Startupy v oblasti UI

Počet aktivních amerických startupů vyvíjejících systémy UI s rizikovým financováním vzrostl 14násobně od roku 2000[4][5]. Pro identifikaci UI společností byly použity kategorie Crunchbase (Artificial Intelligence, Machine Learning, Natural Language Processing, Computer Vision, Facial Recognition, Image Recognition, Speech Recognition, Semantic Search, Semantic Web, Text Analytics, Virtual Assistant, Visual Search, Predictive Analytics, Intelligent System) s následnou křížovou kontrolou podle databáze VentureSource[1].

Rizikové financování

Objem ročních rizikových investic do amerických startupů v oblasti UI vzrostl 6násobně od roku 2000[5]. Data pokrývají všechny fáze financování a byla agregována společností Sand Hill Econometrics na základě databáze VentureSource[1].

Trh práce

Data dvou největších platforem online pracovních nabídek — Indeed.com a Monster.com — prokázala výrazný růst poptávky po odbornících v oblasti UI[6][7].

Indeed.com: Podíl volných pracovních míst vyžadujících dovednosti v oblasti UI na platformě v USA vzrostl 4,5násobně od roku 2013[6]. Podobně rychlý růst byl zaznamenán v Kanadě a Velké Británii, i když svou absolutní velikostí jejich trhy tvořily respektive 5 % a 27 % amerického trhu[1].

Monster.com: Analýza absolutního počtu UI pracovních nabídek v členění podle požadovaných dovedností (Machine Learning, počítačové vidění, zpracování přirozeného jazyka aj.) rovněž potvrdila trvalý růst. Jedna pracovní nabídka mohla zároveň vyžadovat několik dovedností[7].

Import robotů

Data z výroční zprávy World Robotics Report, připravené Mezinárodní federací robotiky (IFR), prokázala trvalý růst importu průmyslových robotů jak do Severní Ameriky, tak v celosvětovém měřítku[8]. Autoři zprávy poznamenávají, že neexistuje jednoduchý způsob, jak určit, jaké procento robotů využívá software klasifikovaný jako „UI", a do jaké míry vývoj v oblasti UI přispívá k růstu používání průmyslových robotů[1].

Open-source software

Zájem vývojářů o UI frameworky na platformě GitHub vykazoval výrazný nárůst. Počet hvězdiček (Stars) pro hlavní balíčky Machine Learning a Deep Learning — TensorFlow, Scikit-Learn, Keras, PyTorch, Caffe, MXNet, CNTK a Theano — rychle rostl[9]. TensorFlow od Googlu a Scikit-Learn byly vyčleněny jako nejpopulárnější balíčky, přičemž trendy podle počtu hvězdiček a forků (Forks) byly prakticky totožné[1].

Veřejný zájem: vyznění médií

Analýza vyznění publikací v populárních médiích obsahujících termín „Artificial Intelligence" na základě dat služby TrendKite ukázala dynamiku poměru pozitivních a negativních článků[10]. Klasifikátor TrendKite rozděloval anglicky psané články (s výjimkou tiskových zpráv, finančních zpráv a nekrologů) do kategorií „pozitivní", „negativní" a „neutrální"[1].

Technický výkon

Oddíl technického výkonu sleduje pokrok UI systémů v úlohách počítačového vidění, zpracování přirozeného jazyka, rozpoznávání řeči, dokazování vět a řešení SAT úloh[1].

Počítačové vidění

Detekce objektů (Object Detection)

Na soutěži Large Scale Visual Recognition Challenge (LSVRC) na základě datové sady ImageNet míra chyb při rozpoznávání obrázků poklesla z 28,5 % na méně než 2,5 % v období od 2010 do 2017[11]. Pro srovnání: úroveň lidské chyby je odhadována přibližně na 5 %[12], to znamená, že k roku 2017 UI systémy již podstatně překonaly lidskou úroveň na tomto benchmarku. Soutěž ImageNet skončila v roce 2017[1].

Vizuální odpovídání na otázky (Visual Question Answering)

Na datové sadě VQA 1.0 — úloze generování otevřených odpovědí na otázky o obrázcích — UI systémy vykazovaly trvalý pokrok[13]. Autoři poznamenávali, že datová sada VQA 1.0 již byla nahrazena VQA 2.0, a nebylo jasné, jaká pozornost bude původní verzi věnována[1].

Zpracování přirozeného jazyka

Syntaktická analýza (Parsing)

Na standardní testovací sadě — sekci 23 korpusu Wall Street Journal z Penn Treebank — automatické parsery vykazovaly trvalý nárůst metriky F1[14]. Výsledky byly zaznamenány jak pro věty kratší než 40 slov, tak pro celou sadu vět[1].

Strojový překlad (Machine Translation)

Na každoroční soutěži Workshop on Machine Translation (WMT) v úloze překladu zpráv mezi anglickým a německým jazykem nejlepší systémy vykazovaly celkový vzestupný trend podle metriky BLEU[15]. Metrika BLEU — automatická metoda porovnávání strojového překladu s několika překlady provedenými lidmi — představuje modifikovanou verzi přesnosti (precision) s hodnotami od 0 do 1. Ačkoli BLEU koreluje s expertními hodnoceními kvality překladu, nelze ji použít pro srovnání mezi korpusy a srovnání mezi systémy může být zavádějící[1].

V roce 2017 skóre BLEU výrazně pokleslo oproti roku 2016 (ačkoli zůstalo nad úrovní roku 2015), což pravděpodobně vysvětlují vlastnosti testovací sady, nikoli skutečný pokles kvality systémů strojového překladu[15].

Odpovídání na otázky (Question Answering)

Na datové sadě Stanford Question Answering Dataset (SQuAD) — více než 500 článků a 100 000 párů „otázka-odpověď" — UI systémy vykazovaly rychlý nárůst metriky Exact Match (EM), měřící procento odpovědí přesně shodujících se s referenčními[16]. Úroveň lidského výkonu na SQuAD činila 82,3 %[1]. Skóre na SQuAD rychle rostlo od vytvoření datové sady v červnu 2016.

Rozpoznávání řeči

Na standardní datové sadě Switchboard Hub5'00 — úloze rozpoznávání řeči z telefonních hovorů — Microsoft a IBM v roce 2017 dosáhly výkonu blízkého „lidské paritě"[17]. Metrika Word Error Rate (WER) — počet chyb (záměn, vypuštění a vložení slov) normalizovaný délkou věty — klesala po mnoho let. Existovaly neshody ohledně přesné úrovně lidské chyby: uváděly se hodnoty 5,1 % a 5,9 %, a dokonce nižší než 5 %. Ve zprávě byl použit práh 5,1 %[1].

Autoři vyjadřovali obavy, že dlouhodobé používání datové sady Switchboard může vést k výraznému přeučení UI systémů na konkrétních datech[1].

Dokazování vět

Na sadě úloh Thousands of Problems for Theorem Provers (TPTP) byla sledována průměrná „traktabilita" (tractability) — podíl moderních automatických dokazovačů vět (ATP), schopných vyřešit danou úlohu[18]. Analyzována byla podmnožina úloh, které nebyly aktualizovány od verze TPTP v5.0.0 (2010). Metrika má specifickou vlastnost: vznik nových výkonných ATP systémů, které dobře řeší nové úlohy, ale špatně si vedou s úlohami, které řeší jiné systémy, může vést ke snížení průměrné traktability[1].

Řešení SAT úloh

Na průmyslových instancích úloh ze soutěže SAT Competition byl zaznamenán nárůst procenta vyřešených úloh[19]. Výzkumníci Holger Hoos a Kevin Leyton-Brown testovali 69 řešičů na 1076 instancích úloh předložených na soutěži od roku 2007, přičemž spustili všechny řešiče na stejném hardwaru pro správné srovnání[1]. Autoři poznamenávali, že část zlepšení může odrážet inženýrské výsledky, nikoli algoritmické průlomy[1].

Odvozené metriky

Dynamika „akademie — průmysl"

Pro zkoumání vzájemného vztahu mezi aktivitou UI v akademii a průmyslu byly vybrány tři reprezentativní metriky: počet publikací o UI, celkový nábor na úvodní kurzy UI a ML na Stanfordu a objem rizikových investic do UI startupů. Všechny metriky byly normalizovány vůči roku 2000[1].

Analýza ukázala, že zpočátku akademická aktivita (publikace a nábor na kurzy) zajišťovala trvalý pokrok. Přibližně od roku 2010 začali investoři věnovat pozornost oboru a do roku 2013 se stali hnací silou prudkého nárůstu celkové aktivity. Poté akademie dohnala „nadšení" průmyslu[1].

Index životaschopnosti UI (AI Vibrancy Index)

AI Vibrancy Index — experimentální složená metrika agregující normalizované ukazatele publikací, náboru na kurzy a rizikových investic pro kvantitativní hodnocení „životaschopnosti" UI jako oboru[1]. Index byl vypočten jako průměr normalizovaných metrik v čase a vykazoval prudký nárůst odrážející současné zvýšení všech tří složek. Autoři vyjádřili naději, že podobné odvozené metriky vzbudí zájem o další analýzu dat AI Index[1].

Na cestě k lidské úrovni

Zpráva katalogizovala věrohodné případy, v nichž počítačové systémy dosáhly lidské úrovně výkonu nebo ji překonaly, přičemž je doprovázela řadou důležitých výhrad[1].

Klíčová omezení srovnání: stroje často překonávají lidi v úzce specializovaných úlohách, ale výkon může prudce klesat při sebemenší modifikaci podmínek. Například člověk čtoucí čínské znaky pravděpodobně rozumí i čínské řeči, ví něco o čínské kultuře a může doporučit jídla v čínské restauraci. Pro UI by každá z těchto úloh vyžadovala zcela samostatný systém[1].

Milníky úspěchů

Úspěch Rok Popis
Othello 1980. léta / 1997 V roce 1989 program BILL (Kai-Fu Lee, Sanjoy Mahajan) porazil nejsilnějšího amerického hráče Briana Roseho (56–8). V roce 1997 program Logistello vyhrál všechny partie zápasu z šesti her s úřadujícím mistrem světa[1].
Dáma 1995 Program Chinook porazil úřadujícího mistra světa. První programy pro hru v dámu se samovýukou vytvářel Arthur Samuel od roku 1952[1].
Šachy 1997 IBM Deep Blue porazil mistra světa Garriho Kasparova. Někteří vědci v 50. letech 20. století předpovídali, že počítač porazí mistra světa do roku 1967[20]. Do roku 2017 šachové programy na chytrých telefonech hrály na úrovni velmistra[1].
Jeopardy! 2011 Systém IBM Watson porazil bývalé vítěze televizní soutěže Brada Ruttera a Kena Jenningse a získal hlavní cenu 1 milion dolarů[1].
Hry Atari 2015 Tým Google DeepMind použil systém Reinforcement Learning pro výuku hry v 49 hrách Atari, přičemž dosáhl lidské úrovně ve většině z nich (např. Breakout), ačkoli některé hry (např. Montezuma's Revenge) zůstávaly nedosažitelné[21].
Detekce objektů (ImageNet) 2016 Míra chyb automatické klasifikace obrázků ImageNet poklesla z 28 % (2010) na méně než 3 % při lidské úrovni přibližně 5 %[12].
Go 2016–2017 AlphaGo (Google DeepMind) porazil Lee Sedola 4–1 v březnu 2016, poté AlphaGo Master porazil Ke Jieho v březnu 2017. V říjnu 2017 AlphaGo Zero porazil původní AlphaGo se skóre 100–0[22][23].
Klasifikace rakoviny kůže 2017 UI systém trénovaný na 129 450 klinických snímcích 2 032 onemocnění prokázal úroveň kompetence v klasifikaci rakoviny kůže srovnatelnou s 21 certifikovanými dermatology[24].
Rozpoznávání řeči (Switchboard) 2017 Microsoft a IBM dosáhly výkonu blízkého „lidské paritě" v úloze rozpoznávání řeči na datové sadě Switchboard[17].
Poker 2017 Program Libratus (CMU) porazil čtyři špičkové hráče v turnaji ze 120 000 partií Texas Hold'em s neomezenými sázkami. Program DeepStack (Univerzita v Albertě) prokázal statistickou významnost svého převyšování nad 11 profesionály ve více než 3 000 partiích každý[25].
Ms. Pac-Man 2017 Tým Maluuba (získaný Microsoftem) vytvořil UI systém, který dosáhl maximálního výsledku 999 900 bodů na Atari 2600[1].

Co ve zprávě chybí

Autoři otevřeně přiznali řadu podstatných omezení inaugurační zprávy[1]:

Technický výkon

Nebylo pokryto mnoho důležitých technických oblastí: dialogové systémy (pro které chyběly standardizované benchmarky), plánování, kontinuální řízení v robotice, zdravý rozum (common sense reasoning), doporučovací systémy, standardizované testování. Autoři varovali, že sledování pokroku probíhá obvykle v oblastech s dobrými výsledky, což vytváří optimistický posun v hodnocení stavu UI[1].

Mezinárodní záběr

Zpráva byla uznána jako přehnaně americky orientovaná, navzdory výrazné aktivitě v oblasti UI v jiných zemích. Úroveň investic a aktivity v Číně byla označena za „pozoruhodnou", ale přesahující rámec inaugurační zprávy[1].

Různorodost a inkluzivita

Zpráva neobsahovala členění dat podle pohlaví, rasy, genderu, etnické příslušnosti, sexuální orientace ani jiných charakteristik. Autoři přiznali, že otázky o tom, kdo se účastní diskusí o UI a kdo má moc ovlivňovat budoucí výzkum a nasazení UI, úzce souvisejí s dynamikou moci v technologickém a rizikovém průmyslu a se širšími systémovými silami diskriminace[1].

Státní a firemní investice

Data o rizikovém financování pokrývala pouze USA a představovala velmi malou část celkových investic do výzkumu a vývoje v oblasti UI. Data o státních a firemních investicích chyběla[1].

Vliv na konkrétní odvětví

Metriky vlivu UI na zdravotnictví, automobilový průmysl, finance, vzdělávání a další vertikály nebyly uvedeny[1].

Snižování společenských rizik

Otázky bezpečnosti UI, předvídatelnosti, spravedlnosti algoritmů, soukromí a etických důsledků automatizace nebyly osvětleny[1].

Expertní fórum

Zpráva zahrnovala komentáře předních odborníků zastupujících akademii, průmysl, vládu a média[1].

Barbara Grosz (Harvard)

Barbara Grosz zdůraznila důležitost vývoje metrik, které zohledňují nejen výkon UI systémů v izolaci, ale i kvalitu interakce UI s lidmi a vliv UI systémů na lidi jak individuálně, tak ve společnosti. Upozornila na mezeru ve zprávě: oddíl o zpracování přirozeného jazyka pokrýval parsování, strojový překlad a vyhledávání odpovědí, ale nezahrnoval dialogové systémy, které vyžadují zohlednění mentálního stavu partnera v konverzaci. Grosz také vyzvala ke sledování podílu kurzů o UI zahrnujících etické aspekty a počtu společností, které si kladou otázku, zda vůbec by daný UI systém měl být vytvořen[1].

Eric Horvitz (Microsoft)

Eric Horvitz označil zveřejnění inaugurační zprávy za zásadní krok ve zapojení širší komunity do dialogu. Ocenil hodnotu oddílu odvozených metrik a AI Vibrancy Index a navrhl jejich validaci prostřednictvím srovnání s daty o náboru, složení a odměňování UI talentů v korporacích. Horvitz obzvlášť zdůraznil důležitost sledování pokroku v oblasti zdravého rozumu (common sense reasoning), „který projevuje i malé dítě", ale zůstává mimo dosah současných UI technologií[2].

Kai-Fu Lee (Sinovation Ventures)

Kai-Fu Lee zaplnil mezeru zprávy v mezinárodním záběru a předložil přehled stavu UI v Číně. Poznamenal, že Čína má třikrát více mobilních telefonů a uživatelů internetu než USA nebo Indie, přičemž propast v objemech generovaných dat výrazně překračuje faktor tři: Číňané provádějí mobilní platby 50krát častěji než Američané, objem dovozu jídla je 10krát větší a společnost Didi již začala integrovat data se systémy řízení dopravy. Lee uvedl jako příklad čínský startup Face++, který obsadil první místo ve třech soutěžích v počítačovém vidění, porazil Google, Microsoft, Facebook a CMU. Poukázal na plán Státní rady ČLR z července 2017 stát se do roku 2030 světovým centrem inovací v UI a předpověděl, že americko-čínská duopole v UI je nejen nevyhnutelná, ale již nastala[1].

Andrew Ng (Coursera, Stanford)

Andrew Ng charakterizoval UI jako „novou elektřinu", která transformuje mnoho odvětví. Popsal posloupnost transformace podoblastí UI prostřednictvím Deep Learning: nejprve rozpoznávání řeči, poté počítačové vidění, poté NLP (což vede k rozkvětu chatbotů) a dále robotika (nové výrobní možnosti). Ng zdůraznil, že země s rozumnější politikou v oblasti UI budou postupovat rychleji, zatímco země se špatně promyšlenými opatřeními riskují zaostání[1].

Daniela Rus (MIT)

Daniela Rus představila optimistický pohled na UI jako vektor pozitivních změn: od boje se změnou klimatu a demokratizace vzdělávání po autonomní vozidla a personalizovanou zdravotní péči. Zdůraznila, že navzdory rozšířenému přesvědčení UI povede k uspokojivějším, nikoli méně početným pracovním místům, protože nárůst produktivity díky UI a robotice osvobodí lidi od monotónních úkolů[1].

Sebastian Thrun (Stanford, Udacity)

Sebastian Thrun provedl historickou paralelu: před vynálezem parního stroje byla většina lidí zemědělci, definovanými fyzickou silou. Stroje proměnily zemědělce v „nadlidi" — jeden americký zemědělec živí 155 lidí a méně než 2 % obyvatel USA pracuje v zemědělství. Obdobně, UI se dokáže naučit vzorce naší opakující se práce a pomoci nám stát se „nadlidmi". Thrun předpověděl nastání éry bezprecedentní lidské tvořivosti, ale varoval před nutností stát se „žákem na celý život" a přizpůsobovat se změnám[1].

Michael Wooldridge (Oxford)

Michael Wooldridge položil ústřední otázku: existuje „bublina UI" a praskne (podobně jako bublina dot-com z let 1996–2001) nebo se pomalu vyfoukne? Jeho hlavní obavou byla nová „zima UI" vyvolaná zklamáním po masivních spekulativních investicích. Vyjádřil však opatrný optimismus: na rozdíl od předchozích cyklů, pod současnou bublinou existuje skutečná podstata — UI systémy vykazují trvalý pokrok a velké společnosti se naučily produktivně využívat UI techniky. Wooldridge také nastolil otázku měření pokroku směrem k obecné UI (General AI), přičemž poznamenal, že ani on, ani nikdo jiný neví, jak to měřit[1].

Megan Smith a Susan Altchek

Bývá technická ředitelka USA Megan Smith a Susan Altchek (Služba styku s nevládními organizacemi při OSN) zdůraznily prvořadou důležitost různorodosti a inkluzivity. Poukázaly na to, že z diskuse a projektových týmů je vyloučena většina lidstva v důsledku „masového vědomého i nevědomého předsudku, výrazných diskriminačních kulturních vzorců a naučeného chování systémového vylučování". Autorky se odvolaly na řadu klíčových iniciativ: Algorithmic Justice League, petici do OSN o UI ve zbraních, hnutí CS for All, iniciativu AI4All[1].

Metodologie

Zpráva využívala data z mnoha zdrojů[1]:

  • Publikace: Elsevier Scopus — databáze téměř 70 milionů dokumentů; dotazy s klíčovým slovem „Artificial Intelligence" v předmětové oblasti „Computer Science" pro období od roku 1996[3].
  • Nábor na kurzy: Záznamy univerzit — UC Berkeley, Carnegie Mellon, Georgia Tech, UIUC, MIT, Stanford, University of Washington[1].
  • Návštěvnost konferencí: Data od organizátorů 15 konferencí (AAAI, AAMAS, ACL, CP, CVPR, ECAI, ICAPS, ICRA, ICLR, ICML, IJCAI, IROS, KR, NIPS, UAI)[1].
  • Startupy a financování: Crunchbase (API pro identifikaci společností podle kategorií), VentureSource (data o rizikovém financování), Sand Hill Econometrics (agregace)[4][5].
  • Trh práce: Indeed.com (podíl UI pracovních nabídek podle zemí), Monster.com / CEB TalentNeuron (absolutní počet pracovních nabídek podle dovedností)[6][7].
  • Import robotů: International Federation of Robotics, World Robotics Report[8].
  • GitHub: GitHub Archive prostřednictvím Google BigQuery — počítání událostí WatchEvent pro repozitáře UI frameworků[9].
  • Vyznění médií: TrendKite — klasifikace anglicky psaných článků s filtrováním tiskových zpráv, finančních zpráv a nekrologů[10].
  • Benchmarky: LSVRC ImageNet, VQA 1.0, Penn Treebank, WMT / EuroMatrix, SQuAD, Switchboard Hub5'00, TPTP, SAT Competition[1].

Vedení a autorský kolektiv

Projekt AI Index 2017 byl připraven pod vedením řídícího výboru[1]:

  • Yoav Shoham (Stanfordská univerzita) — předseda
  • Raymond Perrault (SRI International)
  • Erik Brynjolfsson (MIT)
  • Jack Clark (OpenAI)
  • Calvin LeGassick — manažer projektu

Poradní výbor zahrnoval Michaela Bowlinga, Ernesta Davise, Julii Hirschberg, Erica Horvitze, Karen Levy, Alana MacWortha, Toma Mitchella, Sandy Pentlanda, Chrise Réa, Danielu Rus, Sebastiana Thruna, Hala Variana a Tobyho Walshe[1].

Mezi organizace partnery patřily: Allen Institute for Artificial Intelligence, Crunchbase, Electronic Frontier Foundation, Elsevier, EuroMatrix, Google Brain, Indeed.com, Monster.com, Sand Hill Econometrics, Sinovation Ventures, TrendKite, VentureSource. Počáteční financování poskytly Google, Microsoft a Bytedance (Toutiao), avšak AI Index zdůrazňuje svou nezávislost a uvádí, že nemusí nutně odrážet názory těchto organizací[1].

Historický význam

Inaugurační zpráva AI Index z roku 2017 položila základ pro následnou sérii výročních zpráv, které postupem času výrazně rozšířily svůj záběr — od počátečních čtyř oddílů až po devět tematických kapitol ve zprávě z roku 2024. Mnohé mezery upřímně přiznané v sekci „What's Missing" zprávy z roku 2017 byly postupně adresovány: mezinárodní záběr (počínaje zprávou z roku 2018), data o různorodosti, státních investicích, vlivu na vertikály a také odpovědná UI a regulace[26]. Projekt AI Index následně přešel pod záštitu Stanfordského institutu HAI (Human-Centered Artificial Intelligence), který byl založen v roce 2019[1].

Odkazy

Literatura

Poznámky

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 1.60 AI Index Steering Committee (2017). AI Index 2017 Annual Report. https://aiindex.stanford.edu/2017-report/
  2. ↑ 2.0 2.1 Horvitz, E. (2017). Commentary in AI Index 2017 Annual Report. https://aiindex.stanford.edu/2017-report/
  3. ↑ 3.0 3.1 3.2 Elsevier Scopus Database (2017). https://www.scopus.com/
  4. ↑ 4.0 4.1 Crunchbase (2017). AI-related startup data. https://www.crunchbase.com/
  5. ↑ 5.0 5.1 5.2 VentureSource / Sand Hill Econometrics (2017). Venture-backed AI company data.
  6. ↑ 6.0 6.1 6.2 Indeed.com (2017). AI job growth data. https://www.indeed.com/
  7. ↑ 7.0 7.1 7.2 Monster.com / CEB TalentNeuron (2017). AI job openings data. https://www.monster.com/
  8. ↑ 8.0 8.1 International Federation of Robotics (2017). World Robotics Report. https://ifr.org/worldrobotics/
  9. ↑ 9.0 9.1 GitHub Archive / Google BigQuery (2017). GitHub AI project statistics. https://www.gharchive.org/
  10. ↑ 10.0 10.1 TrendKite (2017). Media sentiment analysis data. https://www.trendkite.com/
  11. ↑ LSVRC ImageNet Competition (2010–2017). http://www.image-net.org/challenges/LSVRC/
  12. ↑ 12.0 12.1 Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision. https://arxiv.org/abs/1409.0575
  13. ↑ VQA Dataset (2017). http://www.visualqa.org/
  14. ↑ Marcus, M. et al. (1993). Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, 19(2). https://catalog.ldc.upenn.edu/LDC99T42
  15. ↑ 15.0 15.1 Conference on Machine Translation / EuroMatrix (2017). WMT News Translation Task. http://www.statmt.org/wmt17/
  16. ↑ Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. https://arxiv.org/abs/1606.05250
  17. ↑ 17.0 17.1 Electronic Frontier Foundation (2017). AI Progress Metrics. https://www.eff.org/ai/metrics
  18. ↑ Sutcliffe, G. (2017). The TPTP Problem Library. http://www.tptp.org/
  19. ↑ SAT Competition (2017). http://www.satcompetition.org/
  20. ↑ Campbell, M. et al. (2002). Deep Blue. Artificial Intelligence, 134(1–2). https://doi.org/10.1016/S0004-3702(01)00129-1
  21. ↑ Mnih, V. et al. (2015). Human-level control through deep reinforcement learning. Nature, 518. https://doi.org/10.1038/nature14236
  22. ↑ Silver, D. et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529. https://doi.org/10.1038/nature16961
  23. ↑ Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550. https://doi.org/10.1038/nature24270
  24. ↑ Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542. https://doi.org/10.1038/nature21056
  25. ↑ Brown, N. & Sandholm, T. (2017). Superhuman AI for heads-up no-limit poker: Libratus beats top professionals. Science, 359(6374). https://doi.org/10.1126/science.aao1733
  26. ↑ Stanford HAI (2024). Artificial Intelligence Index Report 2024. https://aiindex.stanford.edu/report/
Retrieved from "https://systems-analysis.info/int/index.php?title=The_2017_AI_Index_Report_(CS)&oldid=7912"