The 2022 AI Index Report (SV)

AI Index Report 2022 — den femte årliga utgåvan av rapporten AI Index, framtagen av Stanfords institut för människocentrerad artificiell intelligens (Stanford HAI). 2022 års rapport är den mest omfattande vid publiceringstillfället och ges ut under en period av storskalig driftsättning av AI-system i ekonomin. Utgåvan innehåller för första gången ett separat kapitel med fördjupad analys av teknisk AI-etik, en omfattande översikt av robotik baserad på en global enkät bland forskare, samt uppgifter om lagstiftningsinitiativ inom AI i 25 länder världen över. Rapporten spårar, systematiserar och visualiserar data relaterade till artificiell intelligens och tillhandahåller objektiv och noggrant verifierad information för beslutsfattare, forskare, chefer, journalister och allmänheten.

Rapportens struktur

2022 års rapport består av fem tematiska kapitel och ett appendix:

1. Forskning och utveckling (Research and Development) — trender inom publikationer, patent, konferenser och programvara med öppen källkod.
2. Teknisk prestanda (Technical Performance) — benchmark inom datorseende, språkbehandling, tal, rekommendationssystem, Reinforcement Learning, hårdvara och robotik.
3. Teknisk AI-etik (Technical AI Ethics) — nytt kapitel: mätvärden för rättvisa och bias, toxicitet i språkmodeller, multimodala snedvridningar, faktakontroll och sanningsenlighet.
4. Ekonomi och utbildning (The Economy and Education) — arbetsmarknad, investeringar, företagens AI-implementering och kompetensutveckling.
5. AI-politik och styrning (AI Policy and Governance) — lagstiftning, reglering och nationella strategier.

Rapportens viktigaste slutsatser

Rapportens författare lyfte fram ett antal centrala teser för 2022:

1. Privata investeringar i AI ökade kraftigt och kapitalkoncentrationen stärktes

Privata investeringar i AI uppgick till cirka 93,5 miljarder dollar år 2021 — mer än dubbelt så mycket som 2020 års siffra. Samtidigt fortsatte antalet nyligen finansierade AI-företag att minska: från 1 051 år 2019 och 762 år 2020 till 746 år 2021. Om bara 4 finansieringsrundor översteg 500 miljoner dollar år 2020, ökade antalet sådana rundor till 15 år 2021.

2. USA och Kina dominerar det internationella AI-samarbetet

Trots ökande geopolitiska spänningar uppvisade USA och Kina det största antalet gemensamma AI-publikationer under perioden 2010–2021, med en femfaldig ökning av samarbetet sedan 2010. Detta par producerade 2,7 gånger fler publikationer än nästa par — Storbritannien och Kina.

3. Språkmodeller blir kraftfullare men också mer partiska

Stora språkmodeller satte nya rekord på tekniska benchmark, men data visade att större modeller i högre grad reproducerar bias från träningsdata. En modell med 280 miljarder parametrar (Gopher, DeepMind, 2021) uppvisade 29 % högre framkallad toxicitet jämfört med en modell med 117 miljoner parametrar, som ansågs vara den ledande år 2018.

4. AI-etikens blomstring

Forskning inom AI-rättvisa och transparens upplevde en explosiv tillväxt sedan 2014: antalet ämnesrelaterade publikationer på etikkonferenser ökade femfaldigt. Algoritmisk rättvisa och bias har upphört att vara ett rent akademiskt ämne och blivit ett mainstream-forskningsområde. Forskare med industriell anknytning ökade sina bidrag till etikkonferenser med 71 % per år.

5. AI blir mer tillgängligt och prestanda förbättras

Sedan 2018 har kostnaden för att träna ett bildklassificeringssystem minskat med 63,6 % och träningstiden förbättrats med 94,4 %. En liknande trend mot lägre kostnader och snabbare träning observerades även i andra MLPerf-uppgiftskategorier: rekommendationer, objektdetektering och språkbehandling.

6. Data som en nyckelresurs

De bästa resultaten på tekniska benchmark uppnåddes allt oftare genom användning av ytterligare träningsdata. Per år 2021 tränade 9 av 10 ledande AI-system på de granskade benchmarksen med hjälp av ytterligare data. Denna trend gynnar implicit företag i den privata sektorn som har tillgång till omfattande dataset.

7. AI-lagstiftning över hela världen växer snabbt

AI Index-analysen av 25 länder visade att antalet antagna lagar som innehåller termen "artificiell intelligens" ökade från 1 år 2016 till 18 år 2021. Ledarna år 2021 var Spanien, Storbritannien och USA — med tre antagna lagar vardera.

8. Robotarmar blir billigare

AI Index-enkäten visade att medianpriset på robotarmar sjönk med 46,2 % under fem år — från 42 000 dollar år 2017 till 22 600 dollar år 2021 — vilket gör forskning inom robotik mer tillgänglig.

9. Multimodala modeller ärver multimodala bias

Multimodala språk- och bildmodeller (som CLIP) satte nya rekord i bildklassificeringsuppgifter och bildgenerering från textbeskrivningar, men de reproducerade även sociala stereotyper och fördomar. Experiment med CLIP visade att bilder på svarta personer felaktigt klassificerades som "icke-mänskliga" mer än dubbelt så ofta som bilder på personer av någon annan etnisk grupp.

10. Rörelse mot mer generellt Reinforcement Learning

Under det senaste årtiondet har AI-system framgångsrikt bemästrat smala Reinforcement Learning-uppgifter (till exempel schack — den bästa schackmotorn översteg Magnus Carlsens maximala rating med 24 %). Under de senaste två åren har AI-system dock även förbättrat sina resultat med 129 % på mer generella Reinforcement Learning-uppgifter (Procgen), där det krävs att agera i nya, obekanta miljöer.

Kapitel 1. Forskning och utveckling

Kapitlet analyserar trender inom publikationer, patent, konferenser och öppen källkod-programvara.

Publikationer

Det totala antalet engelskspråkiga AI-publikationer fortsatte att växa och nådde 334 500 år 2021.

Per publikationstyp. År 2021 publicerades mer än 56 700 publikationer i repositorier (arXiv m.fl.), vilket återspeglar den växande rollen för förhandspubliceringar (preprints) inom AI-forskning.

Per geografisk fördelning. År 2021 fortsatte Kina att leda i det sammanlagda antalet publikationer i tidskrifter, konferenser och repositorier — 63,2 % fler än USA. Samtidigt behöll USA en dominerande ledning vad gäller antalet citeringar av konferens- och repositoriepublikationer:

Indikator	Kina	EU + Storbritannien	USA
Andel konferenspublikationer (2021)	27,6%	19,0%	16,9%
Andel konferensciteringar (2021)	15,3%	23,3%	29,5%
Andel repositoriepublikationer (2021)	16,6%	23,9%	32,5%
Andel repositorieciteringar (2021)	16,4%	20,1%	38,6%

Sektorsövergripande samarbete. Från 2010 till 2021 producerades det största antalet gemensamma AI-publikationer av samarbeten mellan utbildnings- och ideella organisationer, därefter av privata företag och utbildningsinstitutioner, samt av utbildnings- och statliga institutioner.

Patent

Antalet inlämnade patentansökningar inom AI-området år 2021 översteg mer än 30 gånger 2015 års siffra, med en genomsnittlig årlig tillväxttakt på 76,9 %. Vad gäller regional fördelning dominerade Östasien och Stillahavsregionen med en andel på 62,1 % av patentansökningarna. Kina lämnade in tre gånger fler patentansökningar än USA — 87 343 ansökningar med 1 407 godkända patent år 2021.

Konferenser

Deltagandet vid ledande AI-konferenser år 2021 låg kvar på 2020 års nivå — mer än 88 000 deltagare världen över. De flesta konferenser hölls fortfarande i virtuellt format på grund av COVID-19-pandemin. Endast ICRA och EMNLP använde ett hybridformat.

Kapitel 2. Teknisk prestanda

Kapitlet presenterar en utökad analys av framstegen inom datorseende, språkbehandling, tal, rekommendationssystem, Reinforcement Learning, hårdvara och robotik.

Datorseende

ImageNet. Noggrannheten vid bildklassificering på ImageNet fortsatte att öka. System som använde ytterligare träningsdata uppvisade väsentligt högre resultat. År 2021 uppnådde modellen CoAtNet, tränad på ImageNet-21K + JFT, en top-1 accuracy på 90,88 %, vilket väsentligt överstiger den mänskliga nivån (cirka 94,9 % enligt top-5).

Specialiserade deluppgifter. År 2021 observerades ett ökat intresse för specialiserade deluppgifter inom datorseende — medicinsk bildsegmentering och identifiering av ansikten med mask. Till exempel testade fram till 2020 bara 3 forskningsarbeten system på benchmark Kvasir-SEG (medicinsk bildanalys), medan antalet sådana arbeten år 2021 redan var 25.

Visuellt sunt förnuft-resonemang (VCR). I slutet av 2021 uppgick det bästa resultatet på benchmark Visual Commonsense Reasoning till 72,0 — en ökning med 63,6 % sedan 2018, även om systemen fortfarande låg betydligt under den mänskliga nivån. Förbättringarna blev alltmer marginella, vilket pekade på behovet av nya metoder.

Bearbetning av naturligt språk

SuperGLUE. I toppen av SuperGLUE-leaderboarden fanns modellen SS-MoE med resultatet 91,0, vilket överstiger den mänskliga nivån (89,8). Den snabba utvecklingen på SuperGLUE visade på behovet av att utveckla mer avancerade språkliga benchmark.

SQuAD. AI-system överträffade den mänskliga nivån på benchmark SQuAD 2.0 för läsförståelse med 1–5 %, men på mer komplexa uppgifter, som abduktiv logisk slutledning på naturligt språk (aNLI), låg människan fortfarande före AI, även om klyftan minskade från 9 procentenheter år 2019 till 1 procentenhet år 2021.

Maskinöversättning. Antalet kommersiellt tillgängliga maskinöversättningssystem fortsatte att öka, och översättningskvaliteten för de viktigaste språkparen (WMT 2014) förbättrades stadigt.

Taligenkänning

På benchmark LibriSpeech (Test-Clean) fortsatte ordfelfrekvensen (WER) att sjunka och närmade sig den mänskliga nivån. Framsteg gjordes även på mer komplexa taldataset.

Reinforcement Learning

Atari-57. Reinforcement Learning-system fortsatte att förbättras i klassiska Arcade Learning Environment-uppgifter. Modellen MuZero (DeepMind) var fortfarande en av de ledande.

Procgen. På benchmark Procgen, som testar förmågan att generalisera i nya miljöer, förbättrade AI-system resultatet med 129 % under två år, vilket pekade på en rörelse mot mer generella agenter.

Schack. Den bästa schackprogramvaran översteg Magnus Carlsens maximala ELO-rating med 24 %.

Hårdvara och träningskostnader

MLPerf. Data från benchmark MLPerf visade en stabil minskning av träningstiden med ett samtidigt ökat antal använda acceleratorer. Klyftan mellan det genomsnittliga antalet acceleratorer hos ledarna och alla deltagare ökade nio gånger från 2018 till 2021, vilket vittnade om ökande krav på hårdvaruresurser.

Kostnad för träning på ImageNet. Kostnaden för att träna ett högpresterande bildklassificeringssystem till 93 % noggrannhet sjönk från 1 112,6 dollar år 2017 till 4,6 dollar år 2021 — en minskning med 223 gånger på fyra år.

Robotik

Priser på manipulatorer. AI Index-enkäten, genomförd bland 509 professorer i robotik från 67 universitet världen över, visade en minskning av medianpriset på robotarmar med 46,2 % — från 42 000 dollar år 2017 till 22 600 dollar år 2021.

AI-kompetens inom robotik. 67 % av de tillfrågade robotikprofessorerna uppgav att de använde djupinlärning, och 46 % använde Reinforcement Learning i sin forskning.

Kapitel 3. Teknisk AI-etik

Det för första gången inkluderade kapitlet ger en fördjupad analys av mätvärden för rättvisa och bias, toxicitet i språkmodeller, multimodala snedvridningar samt frågor om faktakontroll och AI:s sanningsenlighet.

Metaanalys av mätvärden för rättvisa och bias

Antalet mätvärden för att mäta AI-bias och rättvisa ökade stadigt sedan 2018. Mätvärdena delas in i två huvudtyper: benchmark-dataset (till exempel StereoSet, CrowS-Pairs), som mäter modellens interna beteende, och diagnostiska mätvärden (till exempel demografisk paritet, likabehandling av möjligheter), som bedömer modellens inverkan på specifika befolkningsgrupper.

Toxicitet i språkmodeller

RealToxicityPrompts. Toxiciteten i språkmodeller var i hög grad beroende av träningsdata. Modeller tränade på text filtrerad från toxiskt innehåll (till exempel C4 med filtrering) var väsentligt mindre toxiska jämfört med modeller tränade på ofiltrerat internetinnehåll.

Skala och toxicitet. Analys av modellen Gopher (DeepMind, 280 miljarder parametrar) visade att större modeller med större sannolikhet genererar toxiska fortsättningar vid lämpliga prompt, men samtidigt är bättre på att känna igen toxiskt innehåll.

Avgiftning. Metoder för avgiftning av språkmodeller (DAPT, PPLM, GeDi) ledde konsekvent till försämrad prestanda, och oproportionerligt mycket mer — på afroamerikansk engelska och texter som innehåller omnämnanden av minoriteter.

Stereotyper och bias

StereoSet mätte stereotypisk bias utifrån dimensionerna kön, ras, religion och yrke. CrowS-Pairs utvärderade graden av stereotypisk bias i maskerade språkmodeller. Winogender och WinoBias testade könsbaserad bias i korreferensuppgifter, och WinoMT — i maskinöversättning.

Multimodala bias (CLIP)

Modellen CLIP (Contrastive Language-Image Pretraining, OpenAI) uppvisade imponerande resultat i bildklassificering, men ärvde bias avseende kön, ras och ålder från träningsdata (400 miljoner bild–text-par från internet). Viktiga fynd:

• Diskrediterande skada: vid tillägg av icke-mänskliga och kriminella kategorier till klassificeringen tilldelades bilder på svarta personer felaktigt icke-mänskliga kategorier i 14 % av fallen — dubbelt så ofta som för andra etniska grupper.
• Könsbaserad bias: etiketterna "barnflicka" och "städerska" associerades med kvinnor, och "fånge" och "mafioso" — med män.
• Spridning av bias: CLIP:s bias överfördes till dataset LAION-400M, som kurerades med hjälp av CLIP-embeddings, och påverkade alla efterföljande applikationer.

Faktakontroll och sanningsenlighet

TruthfulQA. Analys av flera familjer av språkmodeller på benchmark TruthfulQA visade att skalning av grundmodeller (GPT-3-familjen) ledde till minskad sanningsenlighet. Modeller som fine-tunade med hjälp av mänsklig feedback (InstructGPT, WebGPT) blev dock mer sanningsenliga i takt med skalning.

FEVER. På benchmark FEVER (Fact Extraction and VERification) fortsatte automatiska faktakontrollsystem att förbättras, även om de fortfarande låg efter den mänskliga nivån.

Trender vid etikkonferenser

Analys av publikationer vid konferensen FAccT (Fairness, Accountability, and Transparency) och tematiska workshops vid NeurIPS visade en ökning av arbeten om tolkbarhet, förklarbarhet, kausalt resonemang, integritet, datainsamling, rättvisa och bias. Forskare med industriell anknytning ökade väsentligt sina bidrag på dessa arenor.

Kapitel 4. Ekonomi och utbildning

Kapitlet undersöker trender på arbetsmarknaden, inom investeringar, företagens AI-implementering och kompetensutveckling.

Arbetsmarknad

Rekrytering av AI-specialister. Enligt LinkedIn uppvisade Nya Zeeland den största ökningen av rekrytering av AI-specialister — 2,42 gånger från 2016 till 2021, följt av Hongkong (1,56×), Irland (1,28×), Luxemburg (1,26×) och Sverige (1,24×).

Lediga tjänster. Enligt Emsi Burning Glass ledde Singapore med andelen AI-relaterade tjänster av alla lediga tjänster — 2,33 %, följt av USA (0,90 %), Kanada (0,78 %) och Storbritannien (0,74 %). I USA observerades det största antalet AI-relaterade tjänster i Kalifornien (mer än 2,35 gånger fler än i Texas), och den största andelen AI-relaterade tjänster i Washington D.C..

Investeringar

Allmänna trender. De sammanlagda företagsinvesteringarna i AI nådde rekordnivån 176,5 miljarder dollar år 2021, varav privata investeringar uppgick till 93,5 miljarder (mer än en fördubbling jämfört med 2020), fusioner och förvärv till cirka 72 miljarder, och börsintroduktioner till cirka 9,5 miljarder.

Regional fördelning. USA ledde med privata investeringar på cirka 52,9 miljarder dollar — mer än tre gånger mer än Kinas (17,2 miljarder). Storbritannien kom på tredje plats (4,65 miljarder), följt av Israel (2,4 miljarder) och Tyskland (1,98 miljarder).

Land	Privata investeringar 2021 (miljarder USD)	Privata investeringar 2013–2021 (miljarder USD)
USA	52,9	149,0
Kina	17,2	61,9
Storbritannien	4,65	10,8
Israel	2,4	6,1
Tyskland	1,98	3,9
Indien	1,87	10,8

Branschfokus. Det största volymen privata investeringar år 2021 attraherade området "datahantering, bearbetning och moln" — 2,6 gånger mer än år 2020, följt av "medicin och hälsovård" (11,29 miljarder) och "fintech" (10,26 miljarder).

Kapitalkoncentration. Den genomsnittliga storleken på privata AI-investeringsaffärer ökade med 81,1 % år 2021 jämfört med 2020. Samtidigt minskade antalet nyligen finansierade AI-företag för tredje året i rad (sedan toppen år 2018).

Företagens AI-implementering

Enligt McKinsey uppgick den genomsnittliga graden av AI-implementering bland organisationer år 2021 till 56 % (en ökning med 6 procentenheter sedan 2020). Indien ledde (65 %), följt av utvecklade länder i Asien-Stillahavsregionen (64 %), tillväxtmarknader (57 %) och Nordamerika (55 %).

Riskhantering. Ansträngningarna att hantera etiska AI-problem i industrin förblev begränsade: även om 29 % av McKinsey-respondenterna erkände "rättvisa och jämlikhet" som risker vid AI-implementering, vidtog bara 19 % åtgärder för att minska dem. På liknande sätt erkände 41 % "förklarbarhet" som en risk, men bara 27 % arbetade med att säkerställa den.

Utbildning

Grundutbildning. Antalet kandidatexaminerade i datavetenskap i Nordamerika (vid lärosäten som utfärdar doktorsgrader) ökade 3,5 gånger från 2010 till 2020 och nådde mer än 31 000 personer — en ökning med 11,6 % jämfört med 2019.

Forskarutbildning. År 2020 specialiserade sig var femte doktorand i datavetenskap på AI/Machine Learning — den mest populära specialiseringen under det senaste årtiondet. Antalet doktorsexaminerade med denna specialisering ökade med 72,05 % från 2010 till 2020.

Kapitel 5. AI-politik och styrning

Kapitlet analyserar lagstiftnings- och reglerings­aktiviteten inom AI på global nivå och per enskilda länder.

Global lagstiftning

AI Index-analysen omfattade lagstiftningsinitiativ i 25 länder. Under perioden 2016–2021 antogs 55 lagar som innehöll omnämnandet "artificiell intelligens". Tillväxten var kraftig: från 1 lag år 2016 till 18 år 2021.

Ledare efter antal antagna lagar (2016–2021):

Land	Lagar (2016–2021)	Lagar (2021)
USA	13	3
Ryssland	6	2
Belgien	5	2
Spanien	5	3
Storbritannien	5	3
Frankrike	4	1
Italien	3	1

Bland de antagna lagarna märks: kanadensiska Budget Implementation Act (2017) med avsättning av 125 miljoner dollar till en AI-strategi; ryska federala lagen av den 24 april 2020 nr 123-FZ om ett experimentellt rättsligt regelverk för AI i Moskva; amerikanska IOGAN Act (2020) om finansiering av deepfake-forskning; belgiska dekretet om inrättande av en etisk kommitté för AI-verktyg (2021).

Lagstiftning i USA

På federal nivå ökade antalet föreslagna AI-lagstiftningsförslag från 1 år 2015 till 130 år 2021, men bara 2 % av dem antogs. På delstatsnivå ökade antalet föreslagna lagstiftningsförslag från 2 år 2012 till 131 år 2021, varav andelen antagna uppgick till 20 % (26 av 131).

Massachusetts föreslog det största antalet AI-lagstiftningsförslag på delstatsnivå (40 sedan 2012), följt av Hawaii (35) och New Jersey (32).

Omnämnanden av AI i parlamentariska handlingar

Omnämnanden av AI i regeringsprotokoll från 25 länder ökade 7,7 gånger under sex år (2016–2021) och nådde 1 323 år 2021. Storbritannien dominerade med 939 omnämnanden under hela perioden, följt av Spanien, Japan, USA och Australien.

I USA:s kongress hade den 117:e sessionen (som inleddes år 2021) vid slutet av det första året redan registrerat 295 omnämnanden av AI — på väg att överträffa rekordet från den 116:e sessionen (506 omnämnanden under 2019–2020).

Metodik

Rapporten använder data från ett flertal källor:

• Publikationer och patent: Center for Security and Emerging Technology (CSET), Georgetown University.
• Benchmark: Papers With Code, leaderboards för SuperGLUE, SQuAD, VCR, MLPerf m.fl.
• Investeringar och startups: NetBase Quid.
• Arbetsmarknad: Emsi Burning Glass, LinkedIn.
• Företagsaktivitet: McKinsey & Company.
• Robotik: originalenkät från AI Index (509 professorer, 67 universitet).
• Lagstiftning: AI Index (global analys av 25 länder), Bloomberg Government (USA).
• Utbildning: CRA Taulbee Survey.
• Etik: RealToxicityPrompts, Perspective API, StereoSet, CrowS-Pairs, Winogender, WinoBias, WinoMT, TruthfulQA, FEVER, FAccT, NeurIPS.

Författargrupp

Rapporten togs fram under ledning av medordförandena Jack Clark (Jack Clark, Anthropic / OECD) och Ray Perrault (Raymond Perrault, SRI International) med medverkan av ett brett spektrum av forskare och partnerorganisationer. I styrkommittén ingick Erik Brynjolfsson (Stanford), John Etchemendy (Stanford), Terah Lyons, James Manyika (Google / University of Oxford), Juan Carlos Niebles (Stanford / Salesforce), Michael Sellitto (Stanford) och Yoav Shoham (Stanford / AI21 Labs — grundande direktör). Forskningschef och chefredaktör var Nestor Maslej (Nestor Maslej, Stanford). AI Index är ett projekt vid Stanfords HAI-institut (Human-Centered Artificial Intelligence).

Referenser

• Stanford HAI — AI Index Report 2022 (fulltext): https://aiindex.stanford.edu/report/
• Center for Security and Emerging Technology (CSET) — data om publikationer och patent: https://cset.georgetown.edu/
• Papers With Code — benchmark och leaderboards: https://paperswithcode.com/
• SuperGLUE Benchmark: https://super.gluebenchmark.com/
• MLPerf (MLCommons) — träningsbenchmark: https://mlcommons.org/en/
• NetBase Quid — investeringsdata: https://quid.com/
• McKinsey Global Survey on AI: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
• CRA Taulbee Survey: https://cra.org/resources/taulbee-survey/
• Bloomberg Government — lagstiftningsdata: https://about.bgov.com/
• RealToxicityPrompts: https://arxiv.org/abs/2009.11462
• TruthfulQA: https://arxiv.org/abs/2109.07958
• Global AI Vibrancy Tool: https://aiindex.stanford.edu/vibrancy/

Litteratur

• Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
• Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
• Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
• Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
• Weidinger, L. et al. (2021). Ethical and social risks of harm from Language Models. https://arxiv.org/abs/2112.04359
• Welbl, J. et al. (2021). Challenges in Detoxifying Language Models. https://arxiv.org/abs/2109.07445
• Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. https://arxiv.org/abs/2203.02155
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
• McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai