The 2017 AI Index Report (IT)

AI Index Report 2017 — il primo (inaugurale) rapporto annuale del progetto AI Index, pubblicato nel novembre 2017. Il progetto è stato creato nell'ambito dell'iniziativa One Hundred Year Study on AI (AI100) presso la Stanford University e rappresenta un progetto aperto e senza scopo di lucro per il monitoraggio dell'attività e dei progressi nel campo dell'intelligenza artificiale. Il rapporto 2017 ha costituito il primo tentativo di aggregare e visualizzare sistematicamente i dati sullo stato dell'IA, coprendo i volumi di attività in ambito accademico e industriale, le prestazioni tecniche dei sistemi di IA, le metriche derivate e i progressi verso il livello umano. Gli autori sottolineano che, senza dati rilevanti sullo stato delle tecnologie di IA, la società «vola alla cieca» nelle discussioni e nelle decisioni legate all'intelligenza artificiale.

Presupposti e obiettivi

Entro il 2017, l'intelligenza artificiale era emersa in primo piano nel discorso globale, attirando l'attenzione di professionisti, leader industriali, politici e del grande pubblico. Il campo dell'IA si sviluppava così rapidamente che persino gli esperti faticavano a comprenderne e monitorarne i progressi. AI Index è stato concepito come uno strumento per una conversazione informata sull'IA, basata sui dati piuttosto che su congetture o prove aneddotiche.

L'idea del progetto è emersa nel corso delle discussioni del Comitato Permanente AI100 nel 2015. Il rapporto aggrega sia dati liberamente disponibili su Internet sia dati originali, ed estrae nuove metriche da combinazioni di serie esistenti. Tutti i dati utilizzati per generare il rapporto sono pubblicati in accesso aperto sul sito aiindex.org.

Struttura del rapporto

Il rapporto 2017 è composto da quattro sezioni principali di dati e diverse sezioni di discussione:

1. Volume di attività (Volume of Activity) — metriche del «quanto»: pubblicazioni, iscrizioni ai corsi, presenze alle conferenze, startup, finanziamenti, offerte di lavoro, importazione di robot, software open source, interesse pubblico.
2. Prestazioni tecniche (Technical Performance) — metriche del «quanto bene»: computer vision, elaborazione del linguaggio naturale, riconoscimento vocale, dimostrazione di teoremi, risoluzione di problemi SAT.
3. Metriche derivate (Derivative Measures) — interrelazioni tra i trend, dinamica «accademia — industria», indice di vitalità dell'IA (AI Vibrancy Index).
4. Verso il livello umano? (Towards Human-Level Performance?) — catalogo di risultati in cui l'IA si è avvicinata al livello umano o lo ha superato.
5. Cosa manca? (What's Missing?) — riconoscimento dei limiti del rapporto e delle direzioni di lavoro future.
6. Forum degli esperti (Expert Forum) — commenti dei principali esperti nel campo dell'IA.

Volume di attività

Pubblicazioni accademiche

Il numero di articoli scientifici sull'IA, pubblicati e indicizzati nel database Scopus (editore Elsevier) con la parola chiave «Artificial Intelligence» nel campo disciplinare «Computer Science», è cresciuto di oltre 9 volte dal 1996. A titolo di confronto: il numero totale di pubblicazioni nel campo dell'informatica nello stesso periodo è aumentato di circa 6 volte, il che dimostra che la crescita delle pubblicazioni sull'IA non è semplicemente riconducibile a un ampliamento dell'interesse per l'informatica in generale, ma riflette una crescente attenzione specifica verso l'intelligenza artificiale.

Al momento della redazione del rapporto, il database Scopus conteneva più di 200 000 articoli nel campo dell'informatica con la parola chiave «Artificial Intelligence» e quasi 5 milioni di articoli di informatica in generale, su un totale di circa 70 milioni di documenti indicizzati.

Iscrizioni ai corsi universitari

Le iscrizioni degli studenti ai corsi introduttivi di intelligenza artificiale e Machine Learning mostravano una crescita rapida. Alla Stanford University, le iscrizioni al corso introduttivo di IA sono aumentate di 11 volte dal 1996. Il Machine Learning (ML) come sottodominio dell'IA è stato trattato separatamente a causa di una crescita particolarmente rapida delle iscrizioni e del ruolo critico delle tecniche di ML nei recenti progressi dell'IA.

Tendenze analoghe sono state osservate in altre università leader: University of California Berkeley, Carnegie Mellon University, Georgia Institute of Technology, University of Illinois at Urbana-Champaign, Massachusetts Institute of Technology e University of Washington. Gli autori del rapporto sottolineano che questi dati rappresentano solo una piccola fetta del panorama dell'istruzione superiore e non sono necessariamente rappresentativi di un insieme più ampio di istituti.

Presenze alle conferenze

I dati sulle presenze alle principali conferenze sull'IA (AAAI, AAMAS, ACL, CP, CVPR, ECAI, ICAPS, ICRA, ICLR, ICML, IJCAI, IROS, KR, NIPS, UAI) hanno confermato uno spostamento del focus della ricerca dal ragionamento simbolico al Machine Learning e al deep learning. Le conferenze sul Machine Learning (NIPS, ICML, ICLR) mostravano la crescita più significativa delle presenze, mentre le conferenze sui metodi simbolici (KR, CP, ICAPS) mantenevano una comunità stabile ma più ridotta, che continuava a conseguire progressi costanti.

Startup nel settore dell'IA

Il numero di startup americane attive che sviluppano sistemi di IA con finanziamenti venture capital è aumentato di 14 volte dal 2000. Per l'identificazione delle aziende di IA sono state utilizzate le categorie di Crunchbase (Artificial Intelligence, Machine Learning, Natural Language Processing, Computer Vision, Facial Recognition, Image Recognition, Speech Recognition, Semantic Search, Semantic Web, Text Analytics, Virtual Assistant, Visual Search, Predictive Analytics, Intelligent System) con successiva verifica incrociata tramite il database VentureSource.

Finanziamenti venture capital

Il volume degli investimenti venture capital annui nelle startup americane nel campo dell'IA è cresciuto di 6 volte dal 2000. I dati coprono tutte le fasi di finanziamento e sono stati aggregati dalla società Sand Hill Econometrics sulla base del database VentureSource.

Mercato del lavoro

I dati delle due principali piattaforme di offerte di lavoro online — Indeed.com e Monster.com — hanno mostrato una crescita significativa della domanda di specialisti nel campo dell'IA.

Indeed.com: La quota di offerte di lavoro che richiedono competenze nel campo dell'IA sulla piattaforma negli Stati Uniti è cresciuta di 4,5 volte dal 2013. Una crescita rapida analoga è stata osservata in Canada e nel Regno Unito, sebbene per dimensioni assolute i loro mercati rappresentassero rispettivamente il 5% e il 27% di quello americano.

Monster.com: L'analisi del numero assoluto di offerte di lavoro nell'IA suddivise per competenze richieste (Machine Learning, computer vision, elaborazione del linguaggio naturale e altri) ha confermato anch'essa una crescita costante. Una singola offerta di lavoro poteva richiedere simultaneamente più competenze.

Importazione di robot

I dati del rapporto annuale World Robotics Report, redatto dalla Federazione Internazionale di Robotica (IFR), hanno mostrato una crescita costante delle importazioni di robot industriali sia in Nord America sia su scala mondiale. Gli autori del rapporto osservano che non esiste un metodo semplice per determinare quale percentuale di robot utilizzi software classificabile come «IA» e in quale misura i progressi nel campo dell'IA contribuiscano alla crescita dell'utilizzo di robot industriali.

Software open source

L'interesse degli sviluppatori per i framework di IA sulla piattaforma GitHub ha mostrato una crescita significativa. Il numero di stelle (Stars) per i principali pacchetti di Machine Learning e deep learning — TensorFlow, Scikit-Learn, Keras, PyTorch, Caffe, MXNet, CNTK e Theano — aumentava rapidamente. TensorFlow di Google e Scikit-Learn sono stati individuati come i pacchetti più popolari, con trend di stelle e fork (Forks) quasi identici.

Interesse pubblico: analisi del sentiment nei media

L'analisi del sentiment delle pubblicazioni nei media popolari contenenti il termine «Artificial Intelligence», basata sui dati del servizio TrendKite, ha mostrato la dinamica del rapporto tra articoli positivi e negativi. Il classificatore TrendKite distribuiva gli articoli in lingua inglese (escludendo comunicati stampa, notizie finanziarie e necrologi) nelle categorie «positivi», «negativi» e «neutri».

Prestazioni tecniche

La sezione sulle prestazioni tecniche monitora i progressi dei sistemi di IA nei compiti di computer vision, elaborazione del linguaggio naturale, riconoscimento vocale, dimostrazione di teoremi e risoluzione di problemi SAT.

Computer vision

Rilevamento di oggetti (Object Detection)

Nella competizione Large Scale Visual Recognition Challenge (LSVRC) basata sul dataset ImageNet, il tasso di errore nel riconoscimento delle immagini è sceso dal 28,5% a meno del 2,5% nel periodo dal 2010 al 2017. A titolo di confronto: il livello di errore umano è stimato intorno al 5%, ovvero entro il 2017 i sistemi di IA avevano già superato significativamente il livello umano su questo benchmark. La competizione ImageNet si è conclusa nel 2017.

Risposta visiva alle domande (Visual Question Answering)

Sul dataset VQA 1.0 — un compito di formulazione di risposte aperte a domande su immagini — i sistemi di IA mostravano progressi costanti. Gli autori osservavano che il dataset VQA 1.0 era già stato soppiantato da VQA 2.0 e non era chiaro quanta ulteriore attenzione sarebbe stata dedicata alla versione originale.

Elaborazione del linguaggio naturale

Analisi sintattica (Parsing)

Sul set di test standard — la sezione 23 del corpus Wall Street Journal del Penn Treebank — i parser automatici mostravano una crescita costante della metrica F1. I risultati erano registrati sia per le frasi di lunghezza inferiore a 40 parole, sia per il set completo di frasi.

Traduzione automatica (Machine Translation)

Nella competizione annuale Workshop on Machine Translation (WMT) per il compito di traduzione di notizie tra l'inglese e il tedesco, i migliori sistemi mostravano un trend generale ascendente nella metrica BLEU. La metrica BLEU — un metodo automatico per confrontare la traduzione automatica con più traduzioni realizzate da esseri umani — rappresenta una versione modificata della precisione (precision) con valori da 0 a 1. Sebbene BLEU sia correlata alle valutazioni degli esperti sulla qualità della traduzione, non può essere utilizzata per confronti tra corpora e il confronto tra sistemi può risultare fuorviante.

Nel 2017 i punteggi BLEU sono scesi notevolmente rispetto al 2016 (pur rimanendo superiori al livello del 2015), il che è probabilmente spiegabile dalle caratteristiche del set di test piuttosto che da un reale calo della qualità dei sistemi di traduzione automatica.

Risposta alle domande (Question Answering)

Sul dataset Stanford Question Answering Dataset (SQuAD) — oltre 500 articoli e 100 000 coppie «domanda-risposta» — i sistemi di IA mostravano una rapida crescita della metrica Exact Match (EM), che misura la percentuale di risposte che corrispondono esattamente alle risposte di riferimento. Il livello di prestazione umana su SQuAD era pari all'82,3%. I punteggi su SQuAD crescevano rapidamente dal momento della creazione del dataset nel giugno 2016.

Riconoscimento vocale

Sul dataset standard Switchboard Hub5'00 — un compito di riconoscimento vocale da conversazioni telefoniche — Microsoft e IBM nel 2017 hanno raggiunto prestazioni vicine alla «parità umana». La metrica Word Error Rate (WER) — il numero di errori (sostituzioni, cancellazioni e inserimenti di parole), normalizzato per la lunghezza della frase — si è ridotta nel corso degli anni. Esistevano divergenze riguardo all'esatto livello di errore umano: venivano citati valori del 5,1% e del 5,9%, e persino inferiori al 5%. Nel rapporto è stata utilizzata la soglia del 5,1%.

Gli autori esprimevano preoccupazione per il fatto che il prolungato utilizzo del dataset Switchboard potrebbe portare a un significativo overfitting dei sistemi di IA su dati specifici.

Dimostrazione di teoremi

Sul set di problemi Thousands of Problems for Theorem Provers (TPTP) veniva monitorata la «trattabilità» (tractability) media — la quota di dimostratori automatici di teoremi (ATP) moderni in grado di risolvere il problema. Veniva analizzato il sottoinsieme di problemi non aggiornati dalla versione TPTP v5.0.0 (2010). La metrica presenta una peculiarità: la comparsa di nuovi potenti sistemi ATP, che risolvono bene nuovi problemi ma faticano con quelli che altri sistemi risolvono, può portare a una diminuzione della trattabilità media.

Risoluzione di problemi SAT

Sulle istanze industriali di problemi tratti dalla SAT Competition veniva registrata la crescita della percentuale di problemi risolti. I ricercatori Holger Hoos e Kevin Leyton-Brown hanno testato 69 solutori su 1076 istanze di problemi presentate alla competizione dal 2007, eseguendo tutti i solutori sullo stesso hardware per un confronto corretto. Gli autori osservavano che parte dei miglioramenti poteva riflettere progressi ingegneristici piuttosto che avanzamenti algoritmici.

Metriche derivate

Dinamica «accademia — industria»

Per studiare la relazione tra l'attività di IA nell'accademia e nell'industria sono state scelte tre metriche rappresentative: il numero di pubblicazioni sull'IA, le iscrizioni totali ai corsi introduttivi di IA e ML a Stanford e il volume degli investimenti venture capital nelle startup di IA. Tutte le metriche sono state normalizzate rispetto all'anno 2000.

L'analisi ha mostrato che inizialmente l'attività accademica (pubblicazioni e iscrizioni ai corsi) garantiva progressi costanti. Intorno al 2010 gli investitori hanno cominciato a prestare attenzione al settore, e verso il 2013 erano diventati la forza trainante di un brusco aumento dell'attività complessiva. Dopodiché l'accademia ha recuperato «l'entusiasmo» dell'industria.

Indice di vitalità dell'IA (AI Vibrancy Index)

L'AI Vibrancy Index è una metrica composita sperimentale che aggrega indicatori normalizzati di pubblicazioni, iscrizioni ai corsi e investimenti venture capital per quantificare la «vitalità» dell'IA come campo. L'indice veniva calcolato come media delle metriche normalizzate nel tempo e mostrava una crescita brusca, che rifletteva l'aumento simultaneo di tutte e tre le componenti. Gli autori hanno espresso la speranza che tali metriche derivate suscitino interesse per ulteriori analisi dei dati AI Index.

Verso il livello umano

Il rapporto ha catalogato casi credibili in cui i sistemi informatici hanno raggiunto o superato il livello di prestazione umana, corredandoli di una serie di importanti avvertenze.

Limiti chiave del confronto: le macchine spesso superano gli esseri umani in compiti altamente specializzati, ma le prestazioni possono calare drasticamente alla minima modifica delle condizioni. Ad esempio, una persona che legge i caratteri cinesi probabilmente comprende anche il cinese parlato, sa qualcosa della cultura cinese e può consigliare piatti in un ristorante cinese. Per l'IA, ciascuno di questi compiti richiederebbe un sistema completamente separato.

Tappe fondamentali dei risultati

Risultato	Anno	Descrizione
Othello	anni '80 / 1997	Nel 1989 il programma BILL (Kai-Fu Lee, Sanjoy Mahajan) sconfisse il più forte giocatore americano Brian Rose (56–8). Nel 1997 il programma Logistello vinse tutte le partite del match di sei giochi contro il campione del mondo in carica.
Dama	1995	Il programma Chinook sconfisse il campione del mondo in carica. I primi programmi per la dama con autoapprendimento furono sviluppati da Arthur Samuel a partire dal 1952.
Scacchi	1997	IBM Deep Blue sconfisse il campione del mondo Garry Kasparov. Alcuni scienziati negli anni '50 prevedevano che un computer avrebbe battuto il campione del mondo entro il 1967. Entro il 2017 i programmi di scacchi sugli smartphone giocavano a livello di grande maestro.
Jeopardy!	2011	Il sistema IBM Watson sconfisse gli ex vincitori del programma televisivo Brad Rutter e Ken Jennings, aggiudicandosi il premio principale di 1 milione di dollari.
Giochi Atari	2015	Il team di Google DeepMind utilizzò un sistema di Reinforcement Learning per addestrare il gioco in 49 giochi Atari, raggiungendo il livello umano nella maggior parte di essi (ad esempio Breakout), sebbene alcuni giochi (ad esempio Montezuma's Revenge) rimanessero fuori portata.
Rilevamento di oggetti (ImageNet)	2016	Il tasso di errore nella classificazione automatica delle immagini ImageNet è sceso dal 28% (2010) a meno del 3%, a fronte di un livello umano di circa il 5%.
Go	2016–2017	AlphaGo (Google DeepMind) sconfisse Lee Sedol 4–1 nel marzo 2016, poi AlphaGo Master sconfisse Ke Jie nel marzo 2017. Nell'ottobre 2017 AlphaGo Zero sconfisse l'AlphaGo originale con il punteggio di 100–0.
Classificazione del cancro della pelle	2017	Un sistema di IA addestrato su 129 450 immagini cliniche di 2 032 malattie ha dimostrato un livello di competenza nella classificazione del cancro della pelle paragonabile a quello di 21 dermatologi certificati.
Riconoscimento vocale (Switchboard)	2017	Microsoft e IBM hanno raggiunto prestazioni vicine alla «parità umana» nel compito di riconoscimento vocale sul dataset Switchboard.
Poker	2017	Il programma Libratus (CMU) sconfisse quattro top player in un torneo di 120 000 mani di Texas Hold'em senza limite di puntate. Il programma DeepStack (University of Alberta) ha dimostrato la significatività statistica della propria superiorità su 11 professionisti in oltre 3 000 mani ciascuno.
Ms. Pac-Man	2017	Il team di Maluuba (acquisita da Microsoft) ha creato un sistema di IA che ha raggiunto il punteggio massimo di 999 900 punti su Atari 2600.

Cosa manca nel rapporto

Gli autori hanno riconosciuto apertamente una serie di limitazioni significative del rapporto inaugurale:

Prestazioni tecniche

Non sono state coperte molte importanti aree tecniche: i sistemi di dialogo (per i quali mancavano benchmark standardizzati), la pianificazione, il controllo continuo in robotica, il ragionamento di senso comune (common sense reasoning), i sistemi di raccomandazione, i test standardizzati. Gli autori avvertivano che il monitoraggio dei progressi viene solitamente condotto nelle aree con buoni risultati, il che crea uno slittamento ottimistico nella valutazione dello stato dell'IA.

Copertura internazionale

Il rapporto è stato riconosciuto come eccessivamente americanocentrico, nonostante la significativa attività nel campo dell'IA in altri paesi. Il livello degli investimenti e dell'attività in Cina è definito «sorprendente», ma al di là dell'ambito del rapporto inaugurale.

Diversità e inclusività

Il rapporto non conteneva la suddivisione dei dati per sesso, razza, genere, etnia, orientamento sessuale o altre caratteristiche. Gli autori hanno riconosciuto che le questioni su chi partecipa alle conversazioni sull'IA e chi detiene il potere di influenzare la ricerca futura e il deployment dell'IA sono strettamente legate alle dinamiche di potere nelle industrie tecnologiche e del venture capital, nonché a forze sistemiche di discriminazione più ampie.

Investimenti pubblici e aziendali

I dati sui finanziamenti venture capital coprivano solo gli Stati Uniti e rappresentavano una quota molto piccola degli investimenti totali in ricerca e sviluppo nel campo dell'IA. I dati sugli investimenti pubblici e aziendali erano assenti.

Impatto sui singoli settori

Le metriche dell'impatto dell'IA sulla sanità, sull'industria automobilistica, sulla finanza, sull'istruzione e su altri settori verticali non erano rappresentate.

Riduzione dei rischi sociali

Le questioni di sicurezza dell'IA, prevedibilità, equità degli algoritmi, riservatezza e conseguenze etiche dell'automazione non sono state trattate.

Forum degli esperti

Il rapporto includeva i commenti dei principali esperti provenienti da accademia, industria, governo e media.

Barbara Grosz (Harvard)

Barbara Grosz ha sottolineato l'importanza di sviluppare metriche che tengano conto non solo delle prestazioni dei sistemi di IA nel vuoto, ma anche della qualità dell'interazione dell'IA con le persone e dell'impatto dei sistemi di IA sugli esseri umani sia individualmente che nella società. Ha segnalato una lacuna nel rapporto: la sezione sull'elaborazione del linguaggio naturale copriva il parsing, la traduzione automatica e la ricerca di risposte, ma non includeva i sistemi di dialogo, che richiedono di tener conto dello stato mentale dell'interlocutore. Grosz ha anche invitato a monitorare la quota di corsi di IA che includono aspetti etici e il numero di aziende che si chiedono se valga la pena creare o meno un determinato sistema di IA.

Eric Horvitz (Microsoft)

Eric Horvitz ha definito la pubblicazione del rapporto inaugurale un passo cruciale nel coinvolgimento di una comunità più ampia nel dialogo. Ha sottolineato il valore della sezione delle metriche derivate e dell'AI Vibrancy Index, proponendo di validarle confrontandole con i dati sulle assunzioni, la composizione e la retribuzione dei talenti nell'IA nelle grandi aziende. Horvitz ha sottolineato in particolare l'importanza di monitorare i progressi nel campo del common sense reasoning, «che dimostra anche un bambino piccolo», ma che rimane al di là della portata delle tecnologie di IA attuali.

Kai-Fu Lee (Sinovation Ventures)

Kai-Fu Lee ha colmato la lacuna del rapporto nella copertura internazionale, presentando una panoramica dello stato dell'IA in Cina. Ha osservato che la Cina ha tre volte più telefoni cellulari e utenti Internet rispetto agli Stati Uniti o all'India, e che il divario nei volumi di dati generati supera di molto il fattore tre: i cinesi effettuano pagamenti mobili 50 volte più frequentemente degli americani, il volume della consegna di cibo è 10 volte superiore e l'azienda Didi aveva già iniziato a integrare i dati con i sistemi di gestione del traffico. Lee ha citato come esempio la startup cinese Face++, classificatasi al primo posto in tre competizioni di computer vision, superando Google, Microsoft, Facebook e CMU. Ha indicato il piano del Consiglio di Stato cinese del luglio 2017 per diventare il centro mondiale dell'innovazione nell'IA entro il 2030 e ha previsto che la duopolio americano-cinese nell'IA non è solo inevitabile, ma è già arrivata.

Andrew Ng (Coursera, Stanford)

Andrew Ng ha definito l'IA come «la nuova elettricità», che trasforma numerosi settori. Ha descritto la sequenza di trasformazione dei sottodomini dell'IA attraverso il deep learning: prima il riconoscimento vocale, poi la computer vision, poi l'NLP (che porta alla proliferazione dei chatbot), e successivamente la robotica (nuove possibilità produttive). Ng ha sottolineato che i paesi con politiche più razionali nel campo dell'IA progrediranno più rapidamente, mentre i paesi con misure poco ponderate rischiano di restare indietro.

Daniela Rus (MIT)

Daniela Rus ha presentato una visione ottimistica dell'IA come vettore di cambiamenti positivi: dalla lotta al cambiamento climatico alla democratizzazione dell'istruzione, fino alle auto autonome e all'assistenza sanitaria personalizzata. Ha sottolineato che, contrariamente a quanto comunemente si crede, l'IA porterà a posti di lavoro più soddisfacenti, non meno numerosi, poiché la crescita della produttività grazie all'IA e alla robotica libererà le persone dai compiti monotoni.

Sebastian Thrun (Stanford, Udacity)

Sebastian Thrun ha tracciato un parallelo storico: prima dell'invenzione del motore a vapore, la maggior parte delle persone era composta da agricoltori, definiti dalla forza fisica. Le macchine hanno trasformato gli agricoltori in «superuomini» — un agricoltore americano nutre 155 persone e meno del 2% della popolazione statunitense lavora in agricoltura. Analogamente, l'IA è in grado di imparare i pattern del nostro lavoro ripetitivo e aiutarci a diventare «superuomini». Thrun ha previsto l'avvento di un'era di creatività umana senza precedenti, ma ha avvertito della necessità di diventare «studenti per tutta la vita» e di adattarsi ai cambiamenti.

Michael Wooldridge (Oxford)

Michael Wooldridge ha posto la domanda centrale: esiste una «bolla dell'IA» e scoppierà (come la bolla delle dot-com del 1996–2001) o si sgonfierà gradualmente? La sua principale preoccupazione era un nuovo «inverno dell'IA», innescato dalla delusione dopo ingenti investimenti speculativi. Tuttavia ha espresso un cauto ottimismo: a differenza dei cicli precedenti, sotto l'attuale bolla esiste una sostanza reale — i sistemi di IA mostrano progressi costanti e le grandi aziende hanno imparato a utilizzare produttivamente le tecniche di IA. Wooldridge ha anche sollevato la questione della misurazione dei progressi verso l'IA generale (General AI), osservando che né lui né chiunque altro sa come misurarla.

Megan Smith e Susan Alzner

L'ex Chief Technology Officer degli Stati Uniti Megan Smith e Susan Alzner (Servizio di collegamento con le ONG presso le Nazioni Unite) hanno sottolineato l'importanza primaria della diversità e dell'inclusività. Hanno indicato che dalla conversazione e dai team di progettazione è esclusa la maggior parte dell'umanità a causa di «pregiudizi consci e inconsci di massa, significativi pattern culturali discriminatori e comportamenti appresi di esclusione sistematica». Gli autori hanno citato una serie di iniziative chiave: Algorithmic Justice League, la petizione all'ONU sulle armi basate sull'IA, il movimento CS for All, l'iniziativa AI4All.

Metodologia

Il rapporto ha utilizzato dati provenienti da molteplici fonti:

• Pubblicazioni: Elsevier Scopus — database di quasi 70 milioni di documenti; query sulla parola chiave «Artificial Intelligence» nel campo disciplinare «Computer Science» per il periodo dal 1996.
• Iscrizioni ai corsi: Registri universitari — UC Berkeley, Carnegie Mellon, Georgia Tech, UIUC, MIT, Stanford, University of Washington.
• Presenze alle conferenze: Dati forniti dagli organizzatori di 15 conferenze (AAAI, AAMAS, ACL, CP, CVPR, ECAI, ICAPS, ICRA, ICLR, ICML, IJCAI, IROS, KR, NIPS, UAI).
• Startup e finanziamenti: Crunchbase (API per l'identificazione delle aziende per categoria), VentureSource (dati sui finanziamenti venture capital), Sand Hill Econometrics (aggregazione).
• Mercato del lavoro: Indeed.com (quota di offerte di lavoro nell'IA per paese), Monster.com / CEB TalentNeuron (numero assoluto di offerte di lavoro per competenza).
• Importazione di robot: International Federation of Robotics, World Robotics Report.
• GitHub: GitHub Archive tramite Google BigQuery — conteggio degli eventi WatchEvent per i repository dei framework di IA.
• Sentiment dei media: TrendKite — classificazione degli articoli in lingua inglese con filtraggio di comunicati stampa, notizie finanziarie e necrologi.
• Benchmark: LSVRC ImageNet, VQA 1.0, Penn Treebank, WMT / EuroMatrix, SQuAD, Switchboard Hub5'00, TPTP, SAT Competition.

Direzione e gruppo di autori

Il progetto AI Index 2017 è stato preparato sotto la guida di un comitato direttivo:

• Yoav Shoham (Stanford University) — presidente
• Raymond Perrault (SRI International)
• Erik Brynjolfsson (MIT)
• Jack Clark (OpenAI)
• Calvin LeGassick — responsabile del progetto

Il comitato consultivo comprendeva Michael Bowling, Ernie Davis, Julia Hirschberg, Eric Horvitz, Karen Levy, Alan Mackworth, Tom Mitchell, Sandy Pentland, Chris Ré, Daniela Rus, Sebastian Thrun, Hal Varian e Toby Walsh.

Tra le organizzazioni partner: Allen Institute for Artificial Intelligence, Crunchbase, Electronic Frontier Foundation, Elsevier, EuroMatrix, Google Brain, Indeed.com, Monster.com, Sand Hill Econometrics, Sinovation Ventures, TrendKite, VentureSource. Il finanziamento iniziale è stato fornito da Google, Microsoft e Bytedance (Toutiao), tuttavia AI Index sottolinea la propria indipendenza e precisa che non riflette necessariamente le opinioni di tali organizzazioni.

Rilevanza storica

Il rapporto inaugurale AI Index 2017 ha gettato le basi per la successiva serie di rapporti annuali, che nel tempo hanno ampliato significativamente la copertura — dalle iniziali quattro sezioni ai nove capitoli tematici del rapporto 2024. Molte delle lacune onestamente riconosciute nella sezione «What's Missing» del rapporto 2017 sono state affrontate progressivamente: la copertura internazionale (a partire dal rapporto 2018), i dati sulla diversità, sugli investimenti pubblici, sull'impatto sui settori verticali, nonché l'IA responsabile e la regolamentazione. Il progetto AI Index è successivamente passato sotto l'egida dello Stanford HAI (Human-Centered Artificial Intelligence), fondato nel 2019.

Riferimenti

• AI Index 2017 Annual Report (testo integrale): https://aiindex.stanford.edu/2017-report/
• One Hundred Year Study on AI (AI100): https://ai100.stanford.edu/
• Stanford HAI — Human-Centered Artificial Intelligence: https://hai.stanford.edu/
• Elsevier Scopus: https://www.scopus.com/
• ImageNet / LSVRC: http://www.image-net.org/challenges/LSVRC/
• SQuAD — Stanford Question Answering Dataset: https://rajpurkar.github.io/SQuAD-explorer/
• TPTP — Thousands of Problems for Theorem Provers: http://www.tptp.org/
• SAT Competition: http://www.satcompetition.org/
• EFF AI Progress Metrics: https://www.eff.org/ai/metrics
• International Federation of Robotics: https://ifr.org/
• GitHub Archive: https://www.gharchive.org/
• Crunchbase: https://www.crunchbase.com/

Bibliografia

• AI Index Steering Committee (2017). AI Index 2017 Annual Report. https://aiindex.stanford.edu/2017-report/
• Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision. https://arxiv.org/abs/1409.0575
• Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. https://arxiv.org/abs/1606.05250
• Silver, D. et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529. https://doi.org/10.1038/nature16961
• Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550. https://doi.org/10.1038/nature24270
• Mnih, V. et al. (2015). Human-level control through deep reinforcement learning. Nature, 518. https://doi.org/10.1038/nature14236
• Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542. https://doi.org/10.1038/nature21056
• Brown, N. & Sandholm, T. (2017). Superhuman AI for heads-up no-limit poker: Libratus beats top professionals. Science, 359(6374). https://doi.org/10.1126/science.aao1733
• Campbell, M. et al. (2002). Deep Blue. Artificial Intelligence, 134(1–2). https://doi.org/10.1016/S0004-3702(01)00129-1
• Marcus, M. et al. (1993). Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, 19(2).
• International Federation of Robotics (2017). World Robotics Report. https://ifr.org/worldrobotics/