The 2022 AI Index Report (IT)
AI Index Report 2022 — quinta edizione annuale del rapporto AI Index, redatto dallo Stanford Institute for Human-Centered Artificial Intelligence (Stanford HAI)[1]. Il rapporto 2022 è il più voluminoso al momento della pubblicazione ed esce in un periodo di massiccia diffusione dei sistemi di IA nell'economia. L'edizione include per la prima volta un capitolo dedicato all'analisi approfondita dell'etica tecnica dell'IA, un'ampia rassegna sulla robotica basata su un sondaggio globale tra i ricercatori, nonché dati sulle iniziative legislative in materia di IA in 25 paesi del mondo. Il rapporto traccia, sistematizza e visualizza i dati relativi all'intelligenza artificiale, fornendo informazioni obiettive e accuratamente verificate a politici, ricercatori, dirigenti, giornalisti e al grande pubblico.
Struttura del rapporto
Il rapporto 2022 è composto da cinque capitoli tematici e un'appendice[1]:
- Ricerca e sviluppo (Research and Development) — tendenze nelle pubblicazioni, brevetti, conferenze e software open source.
- Prestazioni tecniche (Technical Performance) — benchmark nella visione artificiale, elaborazione del linguaggio, riconoscimento vocale, sistemi di raccomandazione, Reinforcement Learning, hardware e robotica.
- Etica tecnica dell'IA (Technical AI Ethics) — nuovo capitolo: metriche di equità e bias, tossicità dei modelli linguistici, distorsioni multimodali, verifica dei fatti e veridicità.
- Economia e istruzione (The Economy and Education) — mercato del lavoro, investimenti, adozione aziendale dell'IA e formazione del personale.
- Politica e governance dell'IA (AI Policy and Governance) — legislazione, regolamentazione e strategie nazionali.
Principali conclusioni del rapporto
Gli autori del rapporto hanno individuato una serie di tesi principali per il 2022[1]:
1. Gli investimenti privati nell'IA sono cresciuti bruscamente e la concentrazione di capitale si è intensificata
Gli investimenti privati nell'IA nel 2021 hanno raggiunto circa 93,5 miliardi di dollari — più del doppio rispetto al 2020. Allo stesso tempo, il numero di nuove aziende IA finanziate ha continuato a diminuire: da 1 051 nel 2019 e 762 nel 2020 a 746 nel 2021. Se nel 2020 solo 4 round di finanziamento avevano superato i 500 milioni di dollari, nel 2021 tali round sono diventati 15[2].
2. USA e Cina dominano la collaborazione internazionale sull'IA
Nonostante le crescenti tensioni geopolitiche, USA e Cina hanno registrato il maggior numero di pubblicazioni congiunte sull'IA nel periodo 2010–2021, aumentando il volume della collaborazione di cinque volte rispetto al 2010. Questo tandem ha prodotto 2,7 volte più pubblicazioni rispetto alla coppia successiva — Regno Unito e Cina[3].
3. I modelli linguistici diventano più potenti, ma anche più distorti
I grandi modelli linguistici hanno stabilito nuovi record nei benchmark tecnici, tuttavia i dati hanno mostrato che i modelli più grandi riproducono maggiormente i bias presenti nei dati di addestramento. Il modello con 280 miliardi di parametri (Gopher, DeepMind, 2021) ha dimostrato una tossicità evocata superiore del 29% rispetto al modello con 117 milioni di parametri, considerato all'avanguardia nel 2018[4].
4. La fioritura dell'etica dell'IA
Le ricerche nel campo dell'equità e della trasparenza dell'IA hanno vissuto una crescita esplosiva dal 2014: il numero di pubblicazioni specializzate nelle conferenze sull'etica è aumentato di cinque volte. L'equità algoritmica e il bias hanno cessato di essere un tema puramente accademico e sono diventati un filone di ricerca mainstream. I ricercatori con affiliazione industriale hanno aumentato il contributo alle conferenze etiche del 71% all'anno[1].
5. L'IA diventa più accessibile e performante
Dal 2018, il costo di addestramento di un sistema di classificazione delle immagini è diminuito del 63,6% e il tempo di addestramento è migliorato del 94,4%. Una tendenza analoga alla riduzione dei costi e all'accelerazione dell'addestramento è stata osservata anche in altre categorie di attività MLPerf: raccomandazioni, rilevamento di oggetti ed elaborazione del linguaggio[5].
6. I dati come risorsa chiave
I migliori risultati nei benchmark tecnici venivano sempre più spesso ottenuti attraverso l'utilizzo di dati di addestramento aggiuntivi. Al 2021, 9 sistemi di IA su 10 ai vertici dei benchmark esaminati erano stati addestrati utilizzando dati aggiuntivi. Questa tendenza favorisce implicitamente le aziende del settore privato che hanno accesso a vasti dataset[1].
7. La legislazione sull'IA nel mondo cresce rapidamente
L'analisi dell'AI Index su 25 paesi ha mostrato che il numero di leggi approvate contenenti il termine «intelligenza artificiale» è cresciuto da 1 nel 2016 a 18 nel 2021. I leader del 2021 sono stati Spagna, Regno Unito e USA — con tre leggi approvate ciascuno[1].
8. I manipolatori robotici diventano meno costosi
Il sondaggio dell'AI Index ha rilevato che il prezzo mediano dei manipolatori robotici è diminuito del 46,2% in cinque anni — da 42 000 dollari nel 2017 a 22 600 dollari nel 2021, rendendo la ricerca nel campo della robotica più accessibile[1].
9. I modelli multimodali ereditano bias multimodali
I modelli multimodali di linguaggio e visione (come CLIP) hanno stabilito nuovi record nei compiti di classificazione delle immagini e di generazione di immagini da descrizione testuale, tuttavia hanno anche riprodotto stereotipi sociali e bias. Gli esperimenti con CLIP hanno mostrato che le immagini di persone di colore venivano erroneamente classificate come «non umane» più del doppio rispetto alle immagini di persone di qualsiasi altra razza[6].
10. Il movimento verso un Reinforcement Learning più generale
Nell'ultimo decennio, i sistemi di IA hanno padroneggiato con successo compiti di Reinforcement Learning ristretti (ad esempio gli scacchi — il miglior motore scacchistico ha superato il rating massimo di Magnus Carlsen del 24%). Tuttavia, negli ultimi due anni i sistemi di IA hanno anche migliorato i risultati del 129% in compiti di Reinforcement Learning più generali (Procgen), dove è richiesto agire in ambienti nuovi e sconosciuti[1].
Capitolo 1. Ricerca e sviluppo
Il capitolo analizza le tendenze nelle pubblicazioni, brevetti, conferenze e software open source[1].
Pubblicazioni
Il numero totale di pubblicazioni in lingua inglese sull'IA ha continuato a crescere, raggiungendo 334 500 nel 2021[3].
Per tipo di pubblicazione. Nel 2021 sono state pubblicate più di 56 700 pubblicazioni nei repository (arXiv e altri), il che riflette il ruolo crescente delle pubblicazioni preliminari (preprint) nella ricerca sull'IA[1].
Per distribuzione geografica. Nel 2021 la Cina ha continuato a guidare per numero complessivo di pubblicazioni in riviste, conferenze e repository — del 63,2% in più rispetto agli USA. Allo stesso tempo, gli USA mantenevano una leadership dominante per numero di citazioni delle pubblicazioni in conferenze e repository[3]:
| Indicatore | Cina | UE + Regno Unito | USA |
|---|---|---|---|
| Quota di pubblicazioni in conferenze (2021) | 27,6% | 19,0% | 16,9% |
| Quota di citazioni in conferenze (2021) | 15,3% | 23,3% | 29,5% |
| Quota di pubblicazioni nei repository (2021) | 16,6% | 23,9% | 32,5% |
| Quota di citazioni nei repository (2021) | 16,4% | 20,1% | 38,6% |
Collaborazione intersettoriale. Dal 2010 al 2021 il maggior numero di pubblicazioni congiunte sull'IA è stato prodotto da collaborazioni tra organizzazioni accademiche e non profit, seguite da quelle tra aziende private e istituzioni accademiche, e tra istituzioni accademiche e governative[1].
Brevetti
Il numero di domande di brevetto depositate nel campo dell'IA nel 2021 ha superato di oltre 30 volte il dato del 2015, con un tasso di crescita annuo medio del 76,9%. Per distribuzione regionale, l'Asia orientale e il Pacifico dominavano con una quota del 62,1% delle domande di brevetto. La Cina depositava tre volte più domande di brevetto rispetto agli USA — 87 343 domande con 1 407 brevetti approvati nel 2021[3].
Conferenze
La partecipazione alle principali conferenze sull'IA nel 2021 si è mantenuta al livello del 2020 — oltre 88 000 partecipanti in tutto il mondo. La maggior parte delle conferenze si è svolta ancora in formato virtuale a causa della pandemia di COVID-19. Solo ICRA ed EMNLP hanno adottato un formato ibrido[1].
Capitolo 2. Prestazioni tecniche
Il capitolo presenta un'analisi approfondita dei progressi nella visione artificiale, nell'elaborazione del linguaggio, nel riconoscimento vocale, nei sistemi di raccomandazione, nel Reinforcement Learning, nell'hardware e nella robotica[1].
Visione artificiale
ImageNet. La precisione nella classificazione delle immagini su ImageNet ha continuato a crescere. I sistemi che utilizzano dati di addestramento aggiuntivi hanno mostrato risultati significativamente più elevati. Nel 2021, il modello CoAtNet, addestrato su ImageNet-21K + JFT, ha raggiunto una top-1 accuracy dell'90,88%, superando notevolmente il livello umano (circa 94,9% in top-5)[1].
Sottocompiti specializzati. Nel 2021 si è registrato un aumento dell'interesse per i sottocompiti specializzati della visione artificiale — segmentazione medica delle immagini e identificazione dei volti con mascherina. Ad esempio, se prima del 2020 solo 3 lavori di ricerca testavo i sistemi sul benchmark Kvasir-SEG (imaging medico), nel 2021 tali lavori erano già 25[1].
Ragionamento visivo di senso comune (VCR). Alla fine del 2021, il miglior risultato sul benchmark Visual Commonsense Reasoning era 72,0 — una crescita del 63,6% dal 2018, sebbene i sistemi fossero ancora significativamente inferiori al livello umano. I miglioramenti diventavano sempre più marginali, indicando la necessità di nuovi approcci[1].
Elaborazione del linguaggio naturale
SuperGLUE. In cima alla classifica SuperGLUE si trovava il modello SS-MoE con un punteggio di 91,0, superiore al livello umano (89,8). Il rapido progresso su SuperGLUE indicava la necessità di sviluppare benchmark linguistici più complessi[7].
SQuAD. I sistemi di IA hanno superato il livello umano nel benchmark SQuAD 2.0 per la comprensione della lettura dell'1–5%, tuttavia in compiti più complessi come l'inferenza logica abduttiva in linguaggio naturale (aNLI), l'uomo continuava a superare l'IA, sebbene il divario si sia ridotto da 9 p.p. nel 2019 a 1 p.p. nel 2021[1].
Traduzione automatica. Il numero di sistemi di traduzione automatica disponibili commercialmente ha continuato a crescere e la qualità della traduzione nelle principali coppie linguistiche (WMT 2014) migliorava costantemente[8].
Riconoscimento vocale
Nel benchmark LibriSpeech (Test-Clean) il tasso di errore nel riconoscimento delle parole (WER) ha continuato a diminuire, avvicinandosi al livello umano. Sono stati compiuti progressi anche su dataset vocali più complessi[1].
Reinforcement Learning
Atari-57. I sistemi di Reinforcement Learning hanno continuato a perfezionarsi nei compiti classici dell'Arcade Learning Environment. Il modello MuZero (DeepMind) rimaneva uno dei più avanzati[1].
Procgen. Nel benchmark Procgen, che testa la capacità di generalizzazione in nuovi ambienti, i sistemi di IA hanno migliorato il risultato del 129% in due anni, il che indicava un movimento verso agenti più generali[1].
Scacchi. Il miglior motore scacchistico ha superato il rating ELO massimo di Magnus Carlsen del 24%[9].
Hardware e costo di addestramento
MLPerf. I dati del benchmark MLPerf hanno mostrato una costante riduzione del tempo di addestramento con un simultaneo aumento del numero di acceleratori utilizzati. Il divario tra il numero medio di acceleratori dei leader e di tutti i partecipanti è cresciuto di 9 volte dal 2018 al 2021, il che indicava requisiti hardware sempre più elevati[5].
Costo di addestramento su ImageNet. Il costo di addestramento di un sistema ad alte prestazioni di classificazione delle immagini fino al 93% di accuratezza è diminuito da 1 112,6 dollari nel 2017 a 4,6 dollari nel 2021 — un calo di 223 volte in quattro anni[1].
Robotica
Prezzi dei manipolatori. Un sondaggio dell'AI Index condotto tra 509 professori di robotica provenienti da 67 università di tutto il mondo ha rilevato una diminuzione del prezzo mediano dei manipolatori robotici del 46,2% — da 42 000 dollari nel 2017 a 22 600 dollari nel 2021[1].
Competenze di IA nella robotica. Il 67% dei professori di robotica intervistati ha dichiarato di utilizzare il deep learning e il 46% il Reinforcement Learning nelle proprie ricerche[1].
Capitolo 3. Etica tecnica dell'IA
Il capitolo, incluso nel rapporto per la prima volta, fornisce un'analisi approfondita delle metriche di equità e bias, della tossicità dei modelli linguistici, delle distorsioni multimodali, nonché delle questioni di verifica dei fatti e veridicità dell'IA[1].
Meta-analisi delle metriche di equità e bias
Il numero di metriche per misurare il bias e l'equità dell'IA è cresciuto costantemente dal 2018. Le metriche si dividono in due tipologie principali: dataset benchmark (ad esempio StereoSet, CrowS-Pairs), che misurano il comportamento interno del modello, e metriche diagnostiche (ad esempio parità demografica, uguaglianza delle opportunità), che valutano l'impatto del modello su specifici gruppi di popolazione[1].
Tossicità dei modelli linguistici
RealToxicityPrompts. La tossicità dei modelli linguistici dipendeva significativamente dai dati di addestramento. I modelli addestrati su testo filtrato dal contenuto tossico (ad esempio C4 con filtraggio) erano significativamente meno tossici rispetto ai modelli addestrati su contenuti internet non filtrati[10].
Scala e tossicità. L'analisi del modello Gopher (DeepMind, 280 miliardi di parametri) ha mostrato che i modelli più grandi hanno maggiori probabilità di generare continuazioni tossiche con i prompt appropriati, ma sono anche più capaci di riconoscere contenuti tossici[4].
Detossificazione. I metodi di detossificazione dei modelli linguistici (DAPT, PPLM, GeDi) portavano sistematicamente a un peggioramento delle prestazioni, in modo sproporzionatamente più marcato sull'inglese afroamericano e sui testi contenenti riferimenti a minoranze[11].
Stereotipi e bias
StereoSet misurava il bias stereotipico sugli assi di genere, razza, religione e professione. CrowS-Pairs valutava il grado di bias stereotipico nei modelli linguistici con mascheramento. Winogender e WinoBias testavano il bias di genere nei compiti di coreferenza, mentre WinoMT lo faceva nella traduzione automatica[1].
Bias multimodali (CLIP)
Il modello CLIP (Contrastive Language-Image Pretraining, OpenAI) ha dimostrato risultati impressionanti nella classificazione delle immagini, tuttavia ha ereditato bias di genere, razza ed età dai dati di addestramento (400 milioni di coppie «immagine–testo» provenienti da internet). Principali risultati[1]:
- Danno da delegittimazione: con l'aggiunta di categorie non umane e criminali alla classificazione, le immagini di persone di colore venivano erroneamente assegnate a categorie non umane nel 14% dei casi — il doppio rispetto ad altre razze.
- Bias di genere: le etichette «babysitter» e «governante» erano associate alle donne, «detenuto» e «mafioso» agli uomini.
- Propagazione del bias: i bias di CLIP venivano trasmessi al dataset LAION-400M, curato con l'ausilio degli embedding di CLIP, influenzando tutte le applicazioni successive.
Verifica dei fatti e veridicità
TruthfulQA. L'analisi di diverse famiglie di modelli linguistici sul benchmark TruthfulQA ha mostrato che il scaling dei modelli base (famiglia GPT-3) portava a una riduzione della veridicità. Tuttavia, i modelli sottoposti a fine-tuning con feedback umano (InstructGPT, WebGPT) diventavano più veritieri con l'aumentare della scala[12].
FEVER. Nel benchmark FEVER (Fact Extraction and VERification) i sistemi automatici di verifica dei fatti continuavano a migliorare, pur rimanendo ancora al di sotto del livello umano[1].
Tendenze nelle conferenze di etica
L'analisi delle pubblicazioni alla conferenza FAccT (Fairness, Accountability, and Transparency) e ai workshop tematici di NeurIPS ha evidenziato una crescita dei lavori su interpretabilità, spiegabilità, ragionamento causale, riservatezza, raccolta dei dati, equità e bias. I ricercatori con affiliazione industriale hanno aumentato significativamente il loro contributo in queste sedi[1].
Capitolo 4. Economia e istruzione
Il capitolo esamina le tendenze nel mercato del lavoro, negli investimenti, nell'adozione aziendale dell'IA e nella formazione del personale[1].
Mercato del lavoro
Assunzione di specialisti IA. Secondo i dati di LinkedIn, la Nuova Zelanda ha mostrato la maggiore crescita nell'assunzione di specialisti IA — 2,42 volte dal 2016 al 2021, seguita da Hong Kong (1,56×), Irlanda (1,28×), Lussemburgo (1,26×) e Svezia (1,24×)[13].
Offerte di lavoro. Secondo i dati di Emsi Burning Glass, Singapore guidava per quota di offerte IA sul totale delle offerte di lavoro — 2,33%, seguita da USA (0,90%), Canada (0,78%) e Regno Unito (0,74%). Negli USA, il maggior numero di offerte IA si osservava in California (più di 2,35 volte rispetto al Texas), mentre la quota più alta di offerte IA si trovava a Washington (Distretto di Columbia)[14].
Investimenti
Tendenze generali. Gli investimenti aziendali complessivi nell'IA nel 2021 hanno raggiunto un livello record di 176,5 miliardi di dollari, di cui gli investimenti privati hanno rappresentato 93,5 miliardi (più del doppio rispetto al 2020), le fusioni e acquisizioni circa 72 miliardi e le offerte pubbliche circa 9,5 miliardi[2].
Distribuzione regionale. Gli USA guidavano con investimenti privati di circa 52,9 miliardi di dollari — più del triplo rispetto alla Cina (17,2 miliardi). Il Regno Unito si è classificato al terzo posto (4,65 miliardi), seguito da Israele (2,4 miliardi) e Germania (1,98 miliardi)[2].
| Paese | Investimenti privati 2021 (miliardi USD) | Investimenti privati 2013–2021 (miliardi USD) |
|---|---|---|
| USA | 52,9 | 149,0 |
| Cina | 17,2 | 61,9 |
| Regno Unito | 4,65 | 10,8 |
| Israele | 2,4 | 6,1 |
| Germania | 1,98 | 3,9 |
| India | 1,87 | 10,8 |
Focus settoriale. Il maggior volume di investimenti privati nel 2021 ha attratto il settore «gestione dei dati, elaborazione e cloud» — 2,6 volte in più rispetto al 2020, seguito da «medicina e sanità» (11,29 miliardi) e «fintech» (10,26 miliardi)[2].
Concentrazione di capitale. La dimensione media di un'operazione di investimento privato nell'IA nel 2021 è cresciuta dell'81,1% rispetto al 2020. Allo stesso tempo, il numero di nuove aziende IA finanziate è diminuito per il terzo anno consecutivo (dal picco del 2018)[2].
Adozione aziendale
Secondo i dati di McKinsey, il livello medio di adozione dell'IA da parte delle organizzazioni nel 2021 ha raggiunto il 56% (crescita di 6 p.p. rispetto al 2020). L'India guidava (65%), seguita dai paesi sviluppati dell'Asia-Pacifico (64%), dai mercati emergenti (57%) e dal Nord America (55%)[15].
Gestione del rischio. Gli sforzi per affrontare i problemi etici dell'IA nel settore industriale rimanevano limitati: sebbene il 29% degli intervistati McKinsey riconoscesse «equità e uguaglianza» come rischi nell'adozione dell'IA, solo il 19% adottava misure per ridurli. Analogamente, il 41% riconosceva la «spiegabilità» come rischio, ma solo il 27% lavorava per garantirla[15].
Istruzione
Laurea triennale. Il numero di laureati triennali in informatica in Nord America (nelle università che conferiscono dottorati) è cresciuto di 3,5 volte dal 2010 al 2020, raggiungendo più di 31 000 persone — una crescita dell'11,6% rispetto al 2019[16].
Dottorato. Nel 2020, uno su cinque dottorandi in informatica si specializzava in IA/Machine Learning — la specializzazione più popolare nell'ultimo decennio. Il numero di dottori di ricerca con questa specializzazione è cresciuto del 72,05% dal 2010 al 2020[16].
Capitolo 5. Politica e governance dell'IA
Il capitolo analizza l'attività legislativa e regolatoria nel campo dell'IA a livello globale e nei singoli paesi[1].
Legislazione globale
L'analisi dell'AI Index ha coperto le iniziative legislative in 25 paesi. Nel periodo 2016–2021 sono state approvate 55 leggi contenenti il riferimento all'«intelligenza artificiale». La crescita è stata netta: da 1 legge nel 2016 a 18 nel 2021[1].
Leader per numero di leggi approvate (2016–2021):
| Paese | Leggi (2016–2021) | Leggi (2021) |
|---|---|---|
| USA | 13 | 3 |
| Russia | 6 | 2 |
| Belgio | 5 | 2 |
| Spagna | 5 | 3 |
| Regno Unito | 5 | 3 |
| Francia | 4 | 1 |
| Italia | 3 | 1 |
Tra le leggi approvate: il canadese Budget Implementation Act (2017) con lo stanziamento di 125 milioni di dollari per la strategia sull'IA; la legge federale russa del 24.04.2020 n. 123-FZ sul regime giuridico sperimentale per l'IA a Mosca; l'americano IOGAN Act (2020) sul finanziamento della ricerca sui deepfake; il decreto belga sulla creazione di un comitato etico per gli strumenti di IA (2021)[1].
Legislazione negli USA
A livello federale, il numero di disegni di legge sull'IA proposti è cresciuto da 1 nel 2015 a 130 nel 2021, tuttavia solo il 2% di essi è stato approvato. A livello statale, il numero di disegni di legge proposti è cresciuto da 2 nel 2012 a 131 nel 2021, con una quota di approvazione del 20% (26 su 131)[17].
Il Massachusetts ha proposto il maggior numero di disegni di legge sull'IA a livello statale (40 dal 2012), seguito dalle Hawaii (35) e dal New Jersey (32)[17].
Menzioni dell'IA nei documenti parlamentari
Le menzioni dell'IA nei protocolli governativi di 25 paesi sono cresciute di 7,7 volte in sei anni (2016–2021), raggiungendo 1 323 nel 2021. Il Regno Unito dominava con 939 menzioni nell'intero periodo, seguito da Spagna, Giappone, USA e Australia[1].
Al Congresso degli USA, la 117ª sessione (iniziata nel 2021) aveva già registrato 295 menzioni dell'IA alla fine del primo anno — sulla strada per superare il record della 116ª sessione (506 menzioni nel 2019–2020)[17].
Metodologia
Il rapporto utilizza dati provenienti da molteplici fonti[1]:
- Pubblicazioni e brevetti: Center for Security and Emerging Technology (CSET), Georgetown University.
- Benchmark: Papers With Code, classifiche SuperGLUE, SQuAD, VCR, MLPerf e altri.
- Investimenti e startup: NetBase Quid.
- Mercato del lavoro: Emsi Burning Glass, LinkedIn.
- Attività aziendale: McKinsey & Company.
- Robotica: sondaggio originale dell'AI Index (509 professori, 67 università).
- Legislazione: AI Index (analisi globale di 25 paesi), Bloomberg Government (USA).
- Istruzione: CRA Taulbee Survey.
- Etica: RealToxicityPrompts, Perspective API, StereoSet, CrowS-Pairs, Winogender, WinoBias, WinoMT, TruthfulQA, FEVER, FAccT, NeurIPS.
Gruppo di lavoro
Il rapporto è stato redatto sotto la guida dei co-direttori Jack Clark (Anthropic / OECD) e Raymond Perrault (SRI International) con la partecipazione di un ampio gruppo di ricercatori e organizzazioni partner. Il comitato direttivo comprendeva Erik Brynjolfsson (Stanford), John Etchemendy (Stanford), Terah Lyons, James Manyika (Google / University of Oxford), Juan Carlos Niebles (Stanford / Salesforce), Michael Sellitto (Stanford), Yoav Shoham (Stanford / AI21 Labs — direttore fondatore). Il responsabile della ricerca e redattore capo è Nestor Maslej (Stanford). L'AI Index è un progetto dello Stanford Institute HAI (Human-Centered Artificial Intelligence)[1].
Riferimenti
- Stanford HAI — AI Index Report 2022 (testo completo): https://aiindex.stanford.edu/report/
- Center for Security and Emerging Technology (CSET) — dati su pubblicazioni e brevetti: https://cset.georgetown.edu/
- Papers With Code — benchmark e classifiche: https://paperswithcode.com/
- SuperGLUE Benchmark: https://super.gluebenchmark.com/
- MLPerf (MLCommons) — benchmark di addestramento: https://mlcommons.org/en/
- NetBase Quid — dati sugli investimenti: https://quid.com/
- McKinsey Global Survey on AI: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
- CRA Taulbee Survey: https://cra.org/resources/taulbee-survey/
- Bloomberg Government — dati legislativi: https://about.bgov.com/
- RealToxicityPrompts: https://arxiv.org/abs/2009.11462
- TruthfulQA: https://arxiv.org/abs/2109.07958
- Global AI Vibrancy Tool: https://aiindex.stanford.edu/vibrancy/
Bibliografia
- Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
- Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
- Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
- Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
- Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
- Weidinger, L. et al. (2021). Ethical and social risks of harm from Language Models. https://arxiv.org/abs/2112.04359
- Welbl, J. et al. (2021). Challenges in Detoxifying Language Models. https://arxiv.org/abs/2109.07445
- Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
- Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. https://arxiv.org/abs/2203.02155
- Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
- McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
Note
- ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
- ↑ 2.0 2.1 2.2 2.3 2.4 NetBase Quid (2021). AI Investment and Startup Activity Data. https://quid.com/
- ↑ 3.0 3.1 3.2 3.3 Center for Security and Emerging Technology, Georgetown University (2021). AI Publications and Patents Data. https://cset.georgetown.edu/
- ↑ 4.0 4.1 Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
- ↑ 5.0 5.1 MLCommons (2021). MLPerf Training Benchmark Results. https://mlcommons.org/en/training-normal-11/
- ↑ Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
- ↑ Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
- ↑ Intento (2021). The State of Machine Translation 2021. https://inten.to/
- ↑ Swedish Chess Computer Association (2021). Chess Engine Rating List. https://www.ssca.se/
- ↑ Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
- ↑ Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
- ↑ Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
- ↑ LinkedIn (2021). AI Hiring Index Data. https://www.linkedin.com/
- ↑ Emsi Burning Glass (2021). AI Job Postings Data. https://www.economicmodeling.com/
- ↑ 15.0 15.1 McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
- ↑ 16.0 16.1 Computing Research Association (2021). CRA Taulbee Survey 2020–2021. https://cra.org/resources/taulbee-survey/
- ↑ 17.0 17.1 17.2 Bloomberg Government (2021). U.S. AI Legislative Records. https://about.bgov.com/