The 2018 AI Index Report (RO)

AI Index Report 2018 — a doua ediție anuală a raportului AI Index, elaborată de Comitetul Director AI Index de la Universitatea Stanford în decembrie 2018. Misiunea proiectului AI Index este de a asigura că dezbaterile despre inteligența artificială se bazează pe date obiective. Raportul din 2018 se distinge față de prima ediție (2017) printr-o extindere semnificativă a acoperirii globale: dacă raportul anterior era orientat preponderent spre problematica nord-americană, ediția din 2018 urmărește să includă date din Europa, China, Coreea de Sud, Japonia și alte regiuni ale lumii. Raportul urmărește, sistematizează și vizualizează datele legate de IA, oferind informații factorilor de decizie politică, cercetătorilor, managerilor, jurnaliștilor și publicului larg.

Structura raportului

Raportul din 2018 este compus din patru secțiuni principale:

1. Date: volumul activității (Volume of Activity) — publicații, înscrieri la cursuri, participare la conferințe, descărcări de software de robotică, startup-uri și investiții, locuri de muncă, brevete, adoptarea IA în companii, mențiuni în rapoartele de profit, instalări de roboți, proiecte cu sursă deschisă, interes public.
2. Date: performanță tehnică (Technical Performance) — vedere artificială, procesarea limbajului natural, traducere automată, sisteme de întrebări și răspunsuri.
3. Metrici suplimentare (Other Measures) — indicatori derivați, inițiative guvernamentale, realizări la nivelul capacităților umane.
4. Anexă (Appendix) — descrierea completă a surselor, metodologiilor și nuanțelor.

Concluzii cheie ale raportului

Autorii raportului din 2018 au formulat câteva teze principale:

IA — un fenomen global

83% din articolele despre IA din baza de date Scopus din 2017 au fost publicate de autori din afara SUA. 28% din toate articolele despre IA reveneau Europei — cel mai mare indicator dintre toate regiunile lumii. Înscrierea studenților la cursuri de IA și Machine Learning a crescut în întreaga lume, în mod deosebit de vizibil la Universitatea Tsinghua (China), unde înscrierea cumulată la cursuri de IA și ML în 2017 era de 16 ori mai mare decât în 2010.

Activitatea în domeniul IA crește aproape pretutindeni

Creșterea se observă în publicații, cursuri, conferințe, startup-uri, finanțare cu capital de risc, brevete și alte metrici. Performanța tehnologică se îmbunătățește în toate direcțiile.

Machine Learning domină ca subdomeniu al IA

În 2017, 56% din articolele despre IA de pe Scopus aparțineau categoriei „Machine Learning și raționament probabilist" (față de 28% în 2010). Înscrierea la cursuri introductive de ML creștea mai rapid decât la cursurile de IA în general. Conferințele NeurIPS și ICML, dedicate Machine Learning, înregistrau cea mai mare creștere a participării.

Diversitatea de gen rămâne o problemă serioasă

În medie, 80% din profesorii de IA din universitățile de top (UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, ETH Zurich) erau bărbați. În medie, 71% din candidații la locurile de muncă legate de IA din SUA erau bărbați.

Secțiunea 1. Volumul activității: Cercetare

Publicații

Numărul articolelor despre IA pe platforma Scopus a crescut de 7 ori față de 1996, în timp ce articolele din Computer Science au crescut de 5 ori în același interval. Aceasta demonstrează că creșterea publicațiilor despre IA nu este determinată doar de interesul general față de informatică, ci și de o dinamică independentă.

Distribuția regională. Europa a rămas în mod constant cea mai mare regiune după numărul de publicații în domeniul IA: în 2017, 28% din articolele despre IA de pe Scopus erau asociate cu autori europeni, urmați de China (25%) și SUA (17%). Totodată, numărul publicațiilor din China a crescut cu 150% în perioada 2007–2017.

Subcategorii. Cea mai mare creștere s-a înregistrat în categoria rețelelor neuronale: rata medie anuală de creștere (CAGR) era de 3% în 2010–2014 și de 37% în 2014–2017. Articolele de pe platforma arXiv au înregistrat, de asemenea, o creștere rapidă: vedere artificială și recunoașterea pattern-urilor au devenit cea mai mare subcategorie de IA pe arXiv începând din 2014.

Apartenența sectorială. Numărul articolelor despre IA asociate cu organizații de stat chineze a crescut cu 400% în perioada 2007–2017, în timp ce publicațiile corporative din China au crescut cu doar 73%. În SUA, dimpotrivă, ponderea publicațiilor corporative era semnificativ mai mare: în 2017, proporția articolelor corporative despre IA din SUA era de 6,6 ori mai mare decât în China și de 4,1 ori mai mare decât în Europa.

Citabilitate. Autorii din SUA erau citați cu 83% mai frecvent față de media mondială. Deși Europa conducea după numărul absolut de publicații, indicatorul său de citabilitate rămânea la nivelul mediei mondiale. China și-a îmbunătățit semnificativ citabilitatea: în 2016, autorii chinezi erau citați cu 44% mai frecvent decât în 2000.

Mobilitatea autorilor. Autorii mobili (care publică în afara regiunii lor de origine) prezentau o citabilitate și o productivitate mai ridicate în comparație cu autorii „sedentari" (sedentary). Dintre cele trei regiuni, China avea cea mai mare pondere de autori sedentari (76%), urmată de Europa (52%) și SUA (38%).

Conferința AAAI. La conferința AAAI 2018, aproximativ 70% din articolele depuse și 67% din cele acceptate erau asociate cu SUA sau China. Deși China a depus cel mai mare număr de articole, SUA și China aveau un număr aproape egal de lucrări acceptate (268 și, respectiv, 265). Rata de acceptare pentru SUA a fost de 29%, pentru China — 21%.

Înscrieri la cursuri

Universități din SUA. Înscrierea la cursuri introductive de ML în 2017 era de 5 ori mai mare decât în 2012. La UC Berkeley creșterea a fost de 6,8 ori. Înscrierea la cursuri introductive de IA a crescut de 3,6 ori în același interval. Totodată, 74–79% din studenții de la cursurile introductive de IA și ML de la Stanford și Berkeley erau bărbați.

Universități internaționale. Înscrierea cumulată la cursuri de IA+ML la Universitatea Tsinghua în 2017 depășea de 16 ori indicatorul din 2010. Creștere s-a înregistrat și la Universitatea din Edinburgh, USTC și SJTU (China), PUC (Chile) și alte instituții de învățământ superior.

Participarea la conferințe

Conferințe mari. NeurIPS și ICML au înregistrat cea mai mare creștere: în 2018, participarea la NeurIPS era de 4,8 ori mai mare față de 2012, iar la ICML — de 6,8 ori. Aceasta reflecta interesul continuu față de Machine Learning.

Conferințe mici. Participarea la ICLR (International Conference on Learning Representations) în 2018 era de 20 de ori mai mare față de 2012 — probabil ca urmare a interesului crescând față de deep learning și Reinforcement Learning.

Conferință	Participare (2018, aprox.)	Creștere față de 2012
NeurIPS	~8 000	4,8x
CVPR	~6 500	2,5x
ICML	~5 000	6,8x
ICLR	~2 000	20x
IJCAI	~3 000	1,5x
AAAI	~3 500	2,0x

Organizații pentru incluziune. Numărul înscrierilor la seminarul Women in Machine Learning (WiML) a crescut cu 600% față de 2014. Numărul absolvenților AI4ALL (inițiativă pentru creșterea diversității în IA) a crescut cu 900% față de 2015.

Descărcări de software de robotică

Descărcările unice de pachete ROS (Robot Operating System) de pe ROS.org au crescut cu 567% față de 2014. Numărul vizualizărilor paginilor ROS.org din China în 2017 era de 18 ori mai mare față de 2012.

Diversitatea de gen în mediul academic

Analiza facultăților de IA din șapte universități de top din lume a arătat că, în medie, 80% din profesorii de IA erau bărbați. Printre instituțiile analizate se numărau UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford și ETH Zurich. Nu s-au constatat diferențe semnificative între regiuni.

Secțiunea 2. Volumul activității: Industria

Startup-uri și investiții

Numărul startup-urilor active de IA din SUA susținute de capital de risc a crescut cu 113% din ianuarie 2015 până în ianuarie 2018, în timp ce numărul total al startup-urilor a crescut cu doar 28%.

Finanțarea cu capital de risc a startup-urilor de IA din SUA a crescut cu 350% din 2013 până în 2017, în timp ce finanțarea totală cu capital de risc a crescut cu 100% în același interval.

Locuri de muncă

Deep learning era competența cu cea mai rapidă creștere a cererii: numărul locurilor de muncă care necesitau competențe de deep learning a crescut de 34 de ori din 2015 până în 2017. Machine Learning rămânea cea mai solicitată competență după volumul absolut.

Distribuția de gen. În medie, bărbații reprezentau 71% din grupul candidaților la locurile de muncă legate de IA din SUA. Cea mai mare diversitate de gen se observa în rândul candidaților la poziții legate de deep learning și robotică.

Brevete

În 2014, aproximativ 30% din brevetele din domeniul IA erau înregistrate în SUA, urmate de Coreea de Sud și Japonia (câte 16%). Coreea de Sud și Taiwan au înregistrat cea mai mare creștere: numărul brevetelor de IA în 2014 era de aproape 5 ori mai mare față de 2004.

Adoptarea IA în companii

Conform datelor unui sondaj McKinsey & Company (2 135 de respondenți), cele mai răspândite tehnologii de IA erau automatizarea robotică a proceselor și Machine Learning. Organizațiile tindeau să adopte IA în acele funcții de business care aduceau cel mai mare randament în sectorul lor: companiile financiare aplicau activ IA în gestionarea riscurilor, cele din industria auto — în producție, retailul — în marketing și vânzări.

Regiune	Cele mai populare capacități de IA (% respondenți)
America de Nord	Automatizarea proceselor (23%), Machine Learning (23%)
Europa	Automatizarea proceselor (27%), Machine Learning (21%)
Piețe emergente (incl. China)	Vedere artificială (26%), automatizarea proceselor (23%)
India	Machine Learning (25%), automatizarea proceselor (30%)

Mențiuni ale IA în rapoartele corporative

Mențiunile „inteligenței artificiale" și „Machine Learning" în rapoartele de profit ale companiilor listate la Bursa de Valori din New York au crescut brusc începând din 2015. În sectorul IT, liderul după numărul de mențiuni ale IA a fost NVIDIA (93 de mențiuni în 2017), urmată de LivePerson (50) și Pegasystems (44). La numărul de mențiuni ale ML conducea Alphabet (57).

Instalarea roboților industriali

China a înregistrat o creștere de 500% a instalărilor anuale de roboți industriali din 2012 până în 2017. Coreea de Sud și Europa și-au majorat instalările cu 105% și, respectiv, 122%. Dintre piețele mai mici, Taiwan a înregistrat cel mai mare volum și cea mai mare creștere.

Software cu sursă deschisă

Analiza stelelor (stars) din depozitele GitHub a relevat o creștere semnificativă a popularității framework-urilor susținute de companii mari: TensorFlow (Google), PyTorch (Facebook), MXNet (Amazon). TensorFlow depășea considerabil celelalte framework-uri ca popularitate, atingând peste 100 000 de stele până în 2018.

Secțiunea 3. Volumul activității: Interes public

Tonalitatea acoperirii media

Articolele care conțineau termenul „inteligență artificială" au devenit mai puțin neutre și mai pozitive: ponderea articolelor pozitive a crescut de la 12% în ianuarie 2016 la 30% în iulie 2016 și a rămas la acest nivel până în 2018.

Mențiuni în documentele guvernamentale

Mențiunile termenilor „inteligență artificială" și „Machine Learning" în stenogramele Congresului SUA, ale parlamentelor Canadei și Marii Britanii au crescut brusc începând din 2016. Este de remarcat că „Machine Learning" abia dacă era menționat în documentele parlamentare înainte de 2016.

Secțiunea 4. Performanță tehnică

Vedere artificială: ImageNet

Precizie. Performanța pe ImageNet a continuat să crească chiar și după încheierea competiției oficiale în 2017. AI Index a urmărit progresul pe baza rezultatelor obținute pe setul de validare ImageNet 2012. Precizia clasificării imaginilor a depășit semnificativ nivelul uman (aproximativ 5% erori).

Viteza de antrenament. Timpul de antrenare a rețelei neuronale pentru clasificarea imaginilor ImageNet s-a redus de la aproximativ 60 de minute (iunie 2017) la 3,7 minute (noiembrie 2018) — o accelerare de 16 ori în decurs de un an și jumătate. Aceasta reflecta atât inovațiile algoritmice, cât și investițiile în infrastructură (hardware și software).

Dată	Timp de antrenament ImageNet
Iunie 2017	~60 minute
Noiembrie 2017	~30 minute
Noiembrie 2017	~15 minute
Iulie 2018	~6,6 minute
Noiembrie 2018	~3,7 minute

Vedere artificială: COCO

La competiția COCO (Common Objects in Context) pentru segmentarea obiectelor, cea mai înaltă precizie medie a crescut cu 72% din 2015 până în 2018 (de la 0,28 la 0,48). Comunitatea de vedere artificială a trecut de la sarcini relativ simple (clasificare) la sarcini mai complexe (localizarea obiectelor cu precizie până la nivel de pixel, segmentare semantică).

Procesarea limbajului natural: parsare

Metrica F1 pentru parsarea sintactică a propozițiilor (Penn Treebank) a crescut cu 9 puncte procentuale din 2003 până în 2018 (de la ~86% la ~95%). Parsarea a trecut aproape complet de la metode similare parsării limbajelor de programare la metode bazate pe deep learning.

Traducere automată

Scorurile BLEU pentru traducerea din engleză în germană la competiția WMT au crescut de 3,5 ori față de 2008; pentru traducerea din germană în engleză — de 2,5 ori. Progresul a fost determinat de arhitectura Transformer și de utilizarea mai eficientă a datelor.

Sisteme de întrebări și răspunsuri: ARC

La benchmark-ul AI2 Reasoning Challenge (ARC), lansat de Allen Institute for AI în aprilie 2018, performanța pe Challenge Set (întrebări dificile de nivel clasele 3–9 din școlile americane) s-a îmbunătățit de la 27% la 42%, iar pe Easy Set — de la 63% la 69% în perioada aprilie–noiembrie 2018.

Sisteme de întrebări și răspunsuri: GLUE

Benchmark-ul GLUE (General Language Understanding Evaluation), lansat în mai 2018, era destinat testării sistemelor de înțelegere a limbajului natural pe nouă subtask-uri. Deși benchmark-ul exista de mai puțin de jumătate de an, performanța redusese deja aproximativ jumătate din decalajul dintre primul indicator de referință publicat și nivelul estimat al omului (~90%). Modelul BERT de la Google a devenit noul standard — era citat de opt ori în prima lună de la lansare.

Secțiunea 5. Metrici derivate

Dinamica „academie — industrie\"

Pentru a studia relația dintre activitatea academică și cea industrială în IA, autorii au comparat trei indicatori normalizați: publicații pe Scopus, înscrieri la cursuri de IA/ML în universitățile din SUA și investiții cu capital de risc în startup-uri de IA. Toate cele trei metrici înregistrau creștere începând din 2010, însă investițiile cu capital de risc creșteau semnificativ mai rapid decât celelalte.

Indicele de vitalitate al IA (AI Vibrancy Index)

Indicele de vitalitate agrega trei metrici (publicații, înscrieri, investiții cu capital de risc) într-un indicator unic, normalizat față de 2010. Până în 2017, indicele crescuse de aproximativ 7–9 ori față de valoarea de bază din 2010, preponderent datorită creșterii finanțării cu capital de risc.

Secțiunea 6. Inițiative guvernamentale

Raportul a inclus pentru prima dată o trecere în revistă a inițiativelor guvernamentale în domeniul IA pentru trei regiuni:

SUA

În octombrie 2016, administrația Obama a propus o strategie națională pentru IA și a publicat primul raport de politică privind pregătirea pentru viitorul IA (Preparing for the Future of Artificial Intelligence). În mai 2018, administrația Trump a organizat un Summit privind IA și a creat un Comitet Special pentru Inteligență Artificială. În septembrie 2018, DARPA a anunțat un plan de investiții de peste 2 miliarde de dolari în programul AI Next. Companiile private jucau un rol central: în 2017, Amazon și Alphabet au investit în R&D 16,1 miliarde și, respectiv, 13,9 miliarde de dolari — semnificativ mai mult decât bugetul cumulat al NSF, DARPA și DOT (~5,3 miliarde de dolari).

Europa

În aprilie 2018, statele membre ale UE au semnat Declarația de cooperare în domeniul IA, iar Comisia Europeană a alocat 1,5 miliarde de euro pentru sprijinirea cercetării în IA în 2018–2020 (suplimentar față de 2,6 miliarde de euro din programul Horizon 2020). Obiectivul era atragerea a 20 de miliarde de euro de investiții în IA pe parcursul a 10 ani. Marea Britanie a publicat AI Sector Deal cu investiții de 950 de milioane de lire sterline. Franța a publicat trei rapoarte, inclusiv „Mission Villani", dedicat politicilor, prevenirii exodului de creiere și diversității în IA.

China

Începând din 2014, guvernul chinez a lansat o serie de inițiative naționale cu scopul de a crea o piață de IA de 14,7 miliarde de dolari până în 2018 și de a asigura poziția de lider mondial al Chinei în IA până în 2030. Documentul cheie a fost „Planul de dezvoltare a IA de nouă generație" (iulie 2017), care prevede atingerea nivelului țărilor avansate până în 2020, progrese majore până în 2025 și statutul de centru mondial al inovației în IA până în 2030.

Secțiunea 7. Realizări la nivelul capacităților umane

Raportul a continuat cronologia cazurilor în care IA a atins sau a depășit nivelul uman. În 2018 au fost adăugate patru noi realizări:

An	Realizare	Descriere
1980	Othello	Programul BILL (Ku-Fu Lee și S. Mahajan) înfrânge cel mai bun jucător american; în 1997, Logistello va învinge campionul mondial
1995	Dame	Programul Chinook înfrânge campionul mondial
1997	Șah	IBM DeepBlue îl înfrânge pe Garry Kasparov
2011	Jeopardy!	IBM Watson îi înfrânge pe campionii Brad Rutter și Ken Jennings
2015	Atari	DeepMind atinge nivelul uman în 49 de jocuri Atari
2016	Go	AlphaGo îl înfrânge pe Lee Sedol (4–1); AlphaGo Zero îl înfrânge pe AlphaGo cu 100–0
2016	Detecție de obiecte (ImageNet)	Eroarea de clasificare redusă de la 28% (2010) la mai puțin de 3%, față de nivelul uman de ~5%
2017	Recunoașterea vorbirii (Switchboard)	Microsoft și IBM ating un nivel apropiat de precizia umană
2017	Poker	Libratus (CMU) înfrânge patru jucători profesioniști în 120 000 de partide; DeepStack (Alberta) înfrânge 11 profesioniști
2017	Clasificarea cancerului de piele	Sistemul de IA (Esteva et al., Nature) atinge nivelul a 21 de dermatologi certificați
2017	Ms. Pac-Man	Echipa Maluuba (Microsoft) atinge scorul maxim de 999 900 pe Atari 2600
2018	Capture the Flag	Agentul DeepMind atinge nivelul uman în versiunea modificată Quake III Arena CTF
2018	Dota 2	OpenAI Five înfrânge echipe de amatori (cu restricții), dar cedează în fața profesioniștilor
2018	Gradarea cancerului de prostată	Sistemul Google atinge o precizie generală de 70% față de 61% a patologilor
2018	Traducere chineză — engleză	Sistemul Microsoft atinge nivelul uman pe setul de date newstest2017

Autorii raportului au subliniat că aceste rezultate nu trebuie supraevaluate: sarcinile erau de specialitate restrânsă, iar realizările nu demonstrau capacitatea sistemelor de a generaliza.

Secțiunea 8. Ce lipsește? (What's Missing?)

Secțiunea prezenta opiniile a trei experți cu privire la direcțiile de dezvoltare ale indexului.

Francesca Rossi (IBM, Universitatea din Padova) a propus adăugarea de metrici pentru raționamentul bazat pe simț comun (common sense reasoning), înțelegerea profundă a limbajului natural, colaborarea om-mașină (nu opoziția), precum și pentru combinarea Machine Learning cu IA simbolică și raționamentul cauzal (causality).

Rodney Brooks (MIT) a atras atenția asupra limitelor metricii roboților industriali, care de cele mai multe ori nu conțin componente de IA. El a propus urmărirea roboților cu componentă de IA: drone (SLAM și alți algoritmi), roboți casnici (Roomba) și potențiali roboți sociali.

Toby Walsh (UNSW Sydney, TU Berlin) a indicat necesitatea unor metrici cantitative pentru măsurarea investițiilor publice și private în creștere (Marea Britanie — 1 miliard de lire sterline, Franța — 1,5 miliarde de euro, Germania — 3 miliarde de euro, Alibaba — 15 miliarde de dolari), precum și pentru urmărirea utilizărilor militare ale IA, inclusiv a armelor autonome.

Metodologie

Raportul a utilizat date din numeroase surse:

• Publicații: Elsevier Scopus (~70 milioane de documente, ~800 de cuvinte cheie de IA), arXiv.org.
• Conferințe: AAAI, NeurIPS, ICML, CVPR, ICLR, IJCAI, ACL, ICRA, ICAPS, UAI, KR, AAMAS, WiML, AI4ALL.
• Cursuri: date direct de la universități (17 instituții din 10 țări).
• Startup-uri și investiții: Sand Hill Econometrics (Dow Jones VentureSource), Crunchbase API.
• Locuri de muncă: Monster.com, Gartner TalentNeuron.
• Brevete: amplified (coduri IPC: Cognition and meaning understanding, Human-interface technology).
• Adoptarea IA: McKinsey & Company (sondaj cu 2 135 de respondenți).
• Rapoarte corporative: Prattle (analiza textelor rapoartelor de profit cu FactSet).
• Robotică: International Federation of Robotics (IFR), ROS.org.
• Media: TrendKite (analiza tonalității articolelor).
• Guvern: Congressional Record (SUA), Hansards (Marea Britanie și Canada), McKinsey Global Institute.
• Benchmark-uri: ImageNet (LSVRC), COCO, Penn Treebank, WMT (EuroMatrix), ARC (Allen Institute for AI), GLUE.

Colectivul de autori

Raportul a fost elaborat de Comitetul Director AI Index sub conducerea lui Yoav Shoham (Yoav Shoham, Stanford University) cu participarea lui Raymond Perrault (Raymond Perrault, SRI International), lui Erik Brynjolfsson (Erik Brynjolfsson, MIT), lui Jack Clark (Jack Clark, OpenAI), lui James Manyika (James Manyika, McKinsey Global Institute), lui Juan Carlos Niebles (Juan Carlos Niebles, Stanford University), lui Terah Lyons (Terah Lyons, Partnership on AI), lui John Etchemendy (John Etchemendy, Stanford University) și lui Barbara Grosz (Barbara Grosz, Harvard University). Manager de proiect a fost Zoe Bauer (Zoe Bauer). AI Index a luat naștere inițial în cadrul proiectului One Hundred Year Study on AI (AI100) și ulterior a fost găzduit de Institutul Stanford HAI (Human-Centered AI).

Context și semnificație

AI Index Report 2018 a reprezentat o etapă importantă în dezvoltarea monitorizării sistematice a progresului IA. A documentat o serie de momente de cotitură: dezvoltarea rapidă a deep learning și dominanța sa în rândul abordărilor de IA, tranziția comunității de vedere artificială spre sarcini mai complexe după „saturarea" ImageNet, influența revoluționară a modelului BERT asupra procesării limbajului natural, precum și creșterea fără precedent a participării industriei la dezvoltarea sistemelor de IA de ultimă generație. Raportul a documentat, de asemenea, pentru prima dată în mod sistematic „cursa" dintre state în finanțarea și planificarea strategică a IA — o tendință care va defini evoluția domeniului în anii următori.

Referințe

• Stanford HAI — AI Index (toate rapoartele): https://aiindex.stanford.edu/report/
• AI Index 2018 Report (text integral, PDF): https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier Scopus — baza de date a publicațiilor științifice: https://www.scopus.com/
• Elsevier AI Resource Center: https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• arXiv.org — arhivă de preprinturi științifice: https://arxiv.org/
• ImageNet (LSVRC): https://image-net.org/challenges/LSVRC/
• COCO — Common Objects in Context: https://cocodataset.org/
• GLUE Benchmark: https://gluebenchmark.com/
• ARC — AI2 Reasoning Challenge: https://allenai.org/data/arc
• WMT — Workshop on Machine Translation / EuroMatrix: http://www.statmt.org/
• McKinsey & Company — AI Adoption Survey: https://www.mckinsey.com/featured-insights/artificial-intelligence
• International Federation of Robotics: https://ifr.org/
• ROS.org — Robot Operating System: https://www.ros.org/
• Sand Hill Econometrics: https://www.sandhillecon.com/
• Partnership on AI: https://partnershiponai.org/
• Women in Machine Learning (WiML): https://wimlworkshop.org/
• AI4ALL: https://ai-4-all.org/
• Tim Dutton — Overview of National AI Strategies: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• NLP Progress — urmărirea progresului în NLP: https://nlpprogress.com/

Bibliografie

• Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). The AI Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf
• Elsevier (2018). Artificial Intelligence: How knowledge is created, transferred, and used. https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts
• Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://arxiv.org/abs/1804.07461
• Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. https://arxiv.org/abs/1803.05457
• Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639). https://doi.org/10.1038/nature21056
• Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676). https://doi.org/10.1038/nature24270
• Jaderberg, M. et al. (2018). Human-level performance in first-person multiplayer games with population-based deep reinforcement learning. https://arxiv.org/abs/1807.01281
• OpenAI (2018). OpenAI Five. https://openai.com/blog/openai-five/
• Hassan, H. et al. (2018). Achieving Human Parity on Automatic Chinese to English News Translation. https://arxiv.org/abs/1803.05567
• McKinsey & Company (2018). Notes from the AI frontier: AI adoption advances, but foundational barriers remain. https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain
• International Federation of Robotics (2017). World Robotics Report 2017. https://ifr.org/worldrobotics/
• Dutton, T. (2018). An Overview of National AI Strategies. https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd
• State Council of the People's Republic of China (2017). New Generation Artificial Intelligence Development Plan. https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/
• European Commission (2018). Communication on Artificial Intelligence for Europe. https://ec.europa.eu/digital-single-market/en/artificial-intelligence
• Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115(3). https://doi.org/10.1007/s11263-015-0816-y
• He, K. et al. (2015). Deep Residual Learning for Image Recognition. https://arxiv.org/abs/1512.03385