The 2022 AI Index Report (CS)

AI Index Report 2022 — páté výroční vydání zprávy AI Index, připravené Stanfordským institutem umělé inteligence orientované na člověka (Stanford HAI). Zpráva z roku 2022 je v době vydání nejrozsáhlejší a vychází v období masivního nasazování systémů AI v ekonomice. Vydání poprvé obsahuje samostatnou kapitolu s hloubkovou analýzou technické etiky AI, rozsáhlý přehled robotiky vycházející z globálního průzkumu mezi výzkumníky a také údaje o legislativních iniciativách v oblasti AI ve 25 zemích světa. Zpráva sleduje, systematizuje a vizualizuje data spojená s umělou inteligencí a poskytuje objektivní a důkladně ověřené informace pro politiky, výzkumníky, vedoucí pracovníky, novináře a širokou veřejnost.

Struktura zprávy

Zpráva z roku 2022 se skládá z pěti tematických kapitol a přílohy:

1. Výzkum a vývoj (Research and Development) — trendy v publikacích, patentech, konferencích a softwaru s otevřeným zdrojovým kódem.
2. Technická výkonnost (Technical Performance) — benchmarky v počítačovém vidění, zpracování jazyka, řeči, doporučovacích systémech, Reinforcement Learning, hardwaru a robotice.
3. Technická etika AI (Technical AI Ethics) — nová kapitola: metriky spravedlnosti a předpojatosti, toxicita jazykových modelů, multimodální zkreslení, ověřování faktů a pravdivost.
4. Ekonomika a vzdělávání (The Economy and Education) — trh práce, investice, firemní zavádění AI a příprava odborníků.
5. Politika a správa AI (AI Policy and Governance) — legislativa, regulace a národní strategie.

Klíčové závěry zprávy

Autoři zprávy vyzdvihli řadu hlavních tezí roku 2022:

1. Soukromé investice do AI prudce vzrostly a koncentrace kapitálu se posílila

Soukromé investice do AI v roce 2021 dosáhly přibližně 93,5 miliard dolarů — více než dvojnásobek oproti roku 2020. Přitom počet nově financovaných AI společností nadále klesal: z 1 051 v roce 2019 a 762 v roce 2020 na 746 v roce 2021. Zatímco v roce 2020 překročily hranici 500 milionů dolarů pouze 4 investiční kola, v roce 2021 jich bylo již 15.

2. USA a Čína dominují v mezinárodní spolupráci v oblasti AI

Navzdory rostoucímu geopolitickému napětí vykázaly USA a Čína největší počet společných publikací v oblasti AI za období 2010–2021, přičemž objem spolupráce se od roku 2010 zpětinásobil. Tento tandem vyprodukoval 2,7krát více publikací než druhý nejaktivnější pár — Velká Británie a Čína.

3. Jazykové modely jsou stále výkonnější, ale také předpojatější

Velké jazykové modely dosahovaly nových rekordů na technických benchmarcích, avšak data ukázala, že větší modely silněji reprodukují předpojatost z trénovacích dat. Model s 280 miliardami parametrů (Gopher, DeepMind, 2021) vykazoval o 29 % vyšší vyvolanou toxicitu ve srovnání s modelem se 117 miliony parametrů, který byl považován za špičkový v roce 2018.

4. Rozkvět etiky AI

Výzkum v oblasti spravedlnosti a transparentnosti AI zažil od roku 2014 explozivní růst: počet relevantních publikací na etických konferencích se zpětinásobil. Algoritmická spravedlnost a předpojatost přestaly být čistě akademickým tématem a staly se hlavním proudem výzkumu. Výzkumníci s průmyslovou affiliací zvyšovali svůj příspěvek na etické konference o 71 % ročně.

5. AI se stává dostupnější a výkonnější

Od roku 2018 se náklady na trénování systému pro klasifikaci obrázků snížily o 63,6 % a doba trénování se zkrátila o 94,4 %. Podobný trend snižování nákladů a zrychlování trénování byl pozorován i v dalších kategoriích úloh MLPerf: doporučovací systémy, detekce objektů a zpracování jazyka.

6. Data jako klíčový zdroj

Nejlepší výsledky na technických benchmarcích bylo stále častěji dosahováno využíváním dodatečných trénovacích dat. K roku 2021 bylo 9 z 10 špičkových AI systémů na sledovaných benchmarcích natrénováno s využitím dodatečných dat. Tento trend implicitně zvýhodňuje firmy soukromého sektoru, které mají přístup k rozsáhlým datasetům.

7. Legislativa v oblasti AI po celém světě rychle roste

Analýza AI Index pro 25 zemí ukázala, že počet přijatých zákonů obsahujících termín „umělá inteligence" vzrostl z 1 v roce 2016 na 18 v roce 2021. Lídry roku 2021 se staly Španělsko, Velká Británie a USA — každá se třemi přijatými zákony.

8. Robotické manipulátory se stávají levnějšími

Průzkum AI Index ukázal, že mediánová cena robotických manipulátorů se za pět let snížila o 46,2 % — ze 42 000 dolarů v roce 2017 na 22 600 dolarů v roce 2021 — čímž se výzkum v oblasti robotiky stává dostupnějším.

9. Multimodální modely dědí multimodální předpojatosti

Multimodální modely jazyka a vidění (jako CLIP) stanovily nové rekordy v úlohách klasifikace obrázků a generování obrázků z textového popisu, avšak také reprodukovaly společenské stereotypy a předpojatosti. Experimenty s modelem CLIP ukázaly, že obrázky černošských lidí byly chybně klasifikovány jako „nelidské" více než dvakrát častěji než obrázky příslušníků jakékoli jiné rasy.

10. Směřování k obecnějšímu Reinforcement Learning

V průběhu posledního desetiletí AI systémy úspěšně zvládaly úzce zaměřené úlohy Reinforcement Learning (například šachy — nejlepší šachový engine překonal maximální rating Magnuse Carlsena o 24 %). Avšak za poslední dva roky AI systémy také zlepšily výsledky o 129 % v obecnějších úlohách Reinforcement Learning (Procgen), kde je třeba jednat v nových, neznámých prostředích.

Kapitola 1. Výzkum a vývoj

Kapitola analyzuje trendy v publikacích, patentech, konferencích a open source softwaru.

Publikace

Celkový počet anglicky psaných publikací v oblasti AI nadále rostl a v roce 2021 dosáhl 334 500.

Podle typu publikace. V roce 2021 bylo vydáno více než 56 700 publikací v repozitářích (arXiv a další), což odráží rostoucí roli předběžných publikací (preprintů) ve výzkumu AI.

Podle geografického rozložení. V roce 2021 Čína nadále vedla v celkovém počtu publikací v časopisech, na konferencích a v repozitářích — o 63,2 % více než USA. USA přitom si udržovaly dominantní vedení v počtu citací konferenčních a repozitářových publikací:

Ukazatel	Čína	EU + Velká Británie	USA
Podíl konferenčních publikací (2021)	27,6%	19,0%	16,9%
Podíl konferenčních citací (2021)	15,3%	23,3%	29,5%
Podíl repozitářových publikací (2021)	16,6%	23,9%	32,5%
Podíl repozitářových citací (2021)	16,4%	20,1%	38,6%

Mezisektorová spolupráce. V období 2010–2021 byl největší počet společných AI publikací vytvořen v rámci spolupráce vzdělávacích a neziskových organizací, dále pak soukromých firem a vzdělávacích institucí a také vzdělávacích a státních institucí.

Patenty

Počet podaných patentových přihlášek v oblasti AI v roce 2021 více než 30krát překročil hodnotu z roku 2015 při průměrném ročním tempu růstu 76,9 %. Podle regionálního rozložení dominovala Východní Asie a Tichomoří s podílem 62,1 % patentových přihlášek. Čína podávala třikrát více patentových přihlášek než USA — 87 343 přihlášek při 1 407 schválených patentech v roce 2021.

Konference

Navštěvovanost předních AI konferencí v roce 2021 zůstala na úrovni roku 2020 — více než 88 000 účastníků po celém světě. Většina konferencí nadále probíhala ve virtuálním formátu kvůli pandemii COVID-19. Pouze ICRA a EMNLP využívaly hybridní formát.

Kapitola 2. Technická výkonnost

Kapitola představuje rozšířenou analýzu pokroku v počítačovém vidění, zpracování jazyka, řeči, doporučovacích systémech, Reinforcement Learning, hardwaru a robotice.

Počítačové vidění

ImageNet. Přesnost klasifikace obrázků na ImageNet nadále rostla. Systémy využívající dodatečná trénovací data dosahovaly výrazně vyšších výsledků. V roce 2021 model CoAtNet natrénovaný na ImageNet-21K + JFT dosáhl top-1 accuracy 90,88 %, což výrazně překračuje lidskou úroveň (přibližně 94,9 % podle top-5).

Specializované dílčí úlohy. V roce 2021 byl pozorován rostoucí zájem o specializované dílčí úlohy počítačového vidění — lékařskou segmentaci snímků a identifikaci osob v maskách. Například zatímco před rokem 2020 testovaly systémy na benchmarku Kvasir-SEG (lékařské zobrazování) pouze 3 výzkumné práce, v roce 2021 jich bylo již 25.

Vizuální zdravý úsudek (VCR). Na konci roku 2021 dosáhl nejlepší výsledek na benchmarku Visual Commonsense Reasoning hodnoty 72,0 — nárůst o 63,6 % od roku 2018 — přičemž systémy stále výrazně zaostávaly za lidskou úrovní. Zlepšení se stávala stále marginálnějšími, což naznačovalo potřebu nových přístupů.

Zpracování přirozeného jazyka

SuperGLUE. Na vrcholu žebříčku SuperGLUE se nacházel model SS-MoE s výsledkem 91,0, který překonal lidskou úroveň (89,8). Rychlý pokrok na SuperGLUE svědčil o potřebě vývoje složitějších jazykových benchmarků.

SQuAD. AI systémy překonaly lidskou úroveň na benchmarku SQuAD 2.0 v porozumění čtenému textu o 1–5 %, avšak na složitějších úlohách, jako je abduktivní logické odvozování v přirozeném jazyce (aNLI), člověk stále předčil AI, ačkoli propast se zúžila z 9 p.b. v roce 2019 na 1 p.b. v roce 2021.

Strojový překlad. Počet komerčně dostupných systémů strojového překladu nadále rostl a kvalita překladu u hlavních jazykových párů (WMT 2014) se stabilně zlepšovala.

Rozpoznávání řeči

Na benchmarku LibriSpeech (Test-Clean) ukazatel chybovosti rozpoznávání slov (WER) nadále klesal a přibližoval se lidské úrovni. Pokrok byl dosažen také na složitějších datasetech řeči.

Reinforcement Learning

Atari-57. Systémy Reinforcement Learning nadále zlepšovaly výsledky v klasických úlohách Arcade Learning Environment. Model MuZero (DeepMind) patřil mezi přední.

Procgen. Na benchmarku Procgen, který testuje schopnost zobecnění v nových prostředích, AI systémy zlepšily výsledek o 129 % za dva roky, což naznačovalo směřování k obecnějším agentům.

Šachy. Nejlepší šachový softwarový engine překonal maximální ELO rating Magnuse Carlsena o 24 %.

Hardware a náklady na trénování

MLPerf. Data benchmarku MLPerf ukázala soustavné zkracování doby trénování při současném růstu počtu používaných akcelerátorů. Rozdíl mezi průměrným počtem akcelerátorů u lídrů a všech účastníků vzrostl 9krát v období 2018–2021, což svědčilo o rostoucích požadavcích na hardwarové zdroje.

Náklady na trénování ImageNet. Náklady na natrénování vysoce výkonného systému klasifikace obrázků na 93% přesnost klesly z 1 112,6 dolaru v roce 2017 na 4,6 dolaru v roce 2021 — pokles 223násobný za čtyři roky.

Robotika

Ceny manipulátorů. Průzkum AI Index provedený mezi 509 profesory robotiky ze 67 univerzit po celém světě odhalil snížení mediánové ceny robotického manipulátoru o 46,2 % — ze 42 000 dolarů v roce 2017 na 22 600 dolarů v roce 2021.

AI dovednosti v robotice. 67 % dotázaných profesorů robotiky uvedlo, že ve svém výzkumu využívají Deep Learning, a 46 % Reinforcement Learning.

Kapitola 3. Technická etika AI

Kapitola, poprvé zařazená do zprávy, poskytuje hloubkovou analýzu metrik spravedlnosti a předpojatosti, toxicity jazykových modelů, multimodálních zkreslení a otázek ověřování faktů a pravdivosti AI.

Metaanalýza metrik spravedlnosti a předpojatosti

Počet metrik pro měření předpojatosti a spravedlnosti AI od roku 2018 soustavně rostl. Metriky se dělí na dva základní typy: benchmarkové datasety (např. StereoSet, CrowS-Pairs), které měří vnitřní chování modelu, a diagnostické metriky (např. demografická parita, rovnost příležitostí), které hodnotí dopad modelu na konkrétní skupiny obyvatelstva.

Toxicita jazykových modelů

RealToxicityPrompts. Toxicita jazykových modelů výrazně závisela na trénovacích datech. Modely natrénované na textu vyčištěném od toxického obsahu (např. C4 s filtrací) byly výrazně méně toxické ve srovnání s modely natrénovanými na nefiltrovaném internetovém obsahu.

Škálování a toxicita. Analýza modelu Gopher (DeepMind, 280 miliard parametrů) ukázala, že větší modely s větší pravděpodobností generují toxická pokračování při odpovídajících promptech, ale zároveň jsou lépe schopny rozpoznávat toxický obsah.

Detoxikace. Metody detoxikace jazykových modelů (DAPT, PPLM, GeDi) soustavně vedly ke zhoršení výkonnosti, přičemž neproporcionalně silněji — na afroamerické angličtině a textech obsahujících zmínky o menšinách.

Stereotypy a předpojatost

StereoSet měřil stereotypní předpojatost v osách pohlaví, rasy, náboženství a povolání. CrowS-Pairs hodnotil míru stereotypní předpojatosti v maskovaných jazykových modelech. Winogender a WinoBias testovaly genderovou předpojatost v úlohách koreference a WinoMT — v strojovém překladu.

Multimodální předpojatosti (CLIP)

Model CLIP (Contrastive Language-Image Pretraining, OpenAI) dosáhl působivých výsledků v klasifikaci obrázků, avšak zdědil předpojatosti podle pohlaví, rasy a věku z trénovacích dat (400 milionů párů „obrázek–text" z internetu). Klíčová zjištění:

• Diskreditační újma: při přidání nelidských a kriminálních kategorií ke klasifikaci byly obrázky černošských lidí chybně zařazeny do nelidských kategorií ve 14 % případů — dvakrát více než u ostatních ras.
• Genderová předpojatost: štítky „chůva" a „hospodyně" byly asociovány se ženami, „vězeň" a „mafián" — s muži.
• Přenos předpojatosti: předpojatosti modelu CLIP se přenesly do datasetu LAION-400M, který byl kurátorován pomocí embeddingů CLIP, a ovlivnily tak veškeré následné aplikace.

Ověřování faktů a pravdivost

TruthfulQA. Analýza několika rodin jazykových modelů na benchmarku TruthfulQA ukázala, že škálování základních modelů (rodina GPT-3) vedlo ke snižování pravdivosti. Avšak modely doladěné pomocí zpětné vazby od člověka (InstructGPT, WebGPT) se stávaly pravdivějšími s rostoucím škálováním.

FEVER. Na benchmarku FEVER (Fact Extraction and VERification) systémy automatického ověřování faktů nadále zdokonalovaly výsledky, ačkoli stále zaostávaly za lidskou úrovní.

Trendy na etických konferencích

Analýza publikací na konferenci FAccT (Fairness, Accountability, and Transparency) a tematických workshopech NeurIPS odhalila nárůst prací o interpretovatelnosti, vysvětlitelnosti, kauzálním uvažování, ochraně soukromí, sběru dat, spravedlnosti a předpojatosti. Výzkumníci s průmyslovou affiliací výrazně zvýšili svůj příspěvek na těchto platformách.

Kapitola 4. Ekonomika a vzdělávání

Kapitola zkoumá trendy na trhu práce, v investicích, firemním zavádění AI a přípravě odborníků.

Trh práce

Nábor AI specialistů. Podle dat LinkedIn vykazoval Nový Zéland největší nárůst náboru AI specialistů — 2,42násobný v období 2016–2021, následoval Hongkong (1,56×), Irsko (1,28×), Lucembursko (1,26×) a Švédsko (1,24×).

Volná pracovní místa. Podle dat Emsi Burning Glass vedl Singapur v podílu AI pracovních míst ze všech volných pozic — 2,33 %, následovaly USA (0,90 %), Kanada (0,78 %) a Velká Británie (0,74 %). V USA byl největší počet AI pracovních míst v Kalifornii (více než 2,35násobek oproti Texasu) a největší podíl AI pracovních míst ve Washingtonu D.C..

Investice

Celkové trendy. Celkové firemní investice do AI v roce 2021 dosáhly rekordních 176,5 miliard dolarů, z nichž soukromé investice tvořily 93,5 miliard (více než dvojnásobný nárůst oproti roku 2020), fúze a akvizice přibližně 72 miliard a veřejné emise přibližně 9,5 miliard.

Regionální rozložení. USA vedly se soukromými investicemi přibližně 52,9 miliard dolarů — více než trojnásobek oproti Číně (17,2 miliard). Velká Británie obsadila třetí místo (4,65 miliard), následovaly Izrael (2,4 miliard) a Německo (1,98 miliard).

Země	Soukromé investice 2021 (mld. USD)	Soukromé investice 2013–2021 (mld. USD)
USA	52,9	149,0
Čína	17,2	61,9
Velká Británie	4,65	10,8
Izrael	2,4	6,1
Německo	1,98	3,9
Indie	1,87	10,8

Odvětvové zaměření. Největší objem soukromých investic v roce 2021 přilákala oblast „správa dat, zpracování a cloud" — 2,6násobný nárůst oproti roku 2020, následovaly „medicína a zdravotnictví" (11,29 miliard) a „fintech" (10,26 miliard).

Koncentrace kapitálu. Průměrná výše soukromé investiční transakce v oblasti AI v roce 2021 vzrostla o 81,1 % oproti roku 2020. Přitom počet nově financovaných AI společností klesal třetí rok za sebou (od vrcholu v roce 2018).

Firemní zavádění

Podle dat McKinsey dosáhla průměrná míra zavádění AI organizacemi v roce 2021 hodnoty 56 % (nárůst o 6 p.b. oproti roku 2020). V čele stála Indie (65 %), za ní vyspělé země Asie a Tichomoří (64 %), rozvíjející se trhy (57 %) a Severní Amerika (55 %).

Řízení rizik. Snahy o řešení etických problémů AI v průmyslu zůstávaly omezené: ačkoli 29 % respondentů McKinsey uznávalo „spravedlnost a rovnost" jako rizika při zavádění AI, pouze 19 % podnikalo kroky k jejich snížení. Obdobně 41 % uznávalo „vysvětlitelnost" jako riziko, ale pouze 27 % pracovalo na jejím zajištění.

Vzdělávání

Bakalářské studium. Počet absolventů bakalářského studia informatiky v Severní Americe (na univerzitách udělujících doktorské tituly) vzrostl 3,5násobně v období 2010–2020 a dosáhl více než 31 000 osob — nárůst o 11,6 % oproti roku 2019.

Doktorské studium. V roce 2020 se každý pátý absolvent PhD v informatice specializoval na AI/Machine Learning — nejpopulárnější specializace za poslední desetiletí. Počet PhD absolventů s touto specializací vzrostl o 72,05 % v období 2010–2020.

Kapitola 5. Politika a správa AI

Kapitola analyzuje legislativní a regulační aktivitu v oblasti AI na globální úrovni i v rozlišení jednotlivých zemí.

Globální legislativa

Analýza AI Index pokryla legislativní iniciativy v 25 zemích. Za období 2016–2021 bylo přijato 55 zákonů obsahujících zmínku o „umělé inteligenci". Nárůst byl prudký: z 1 zákona v roce 2016 na 18 v roce 2021.

Lídři podle počtu přijatých zákonů (2016–2021):

Země	Zákony (2016–2021)	Zákony (2021)
USA	13	3
Rusko	6	2
Belgie	5	2
Španělsko	5	3
Velká Británie	5	3
Francie	4	1
Itálie	3	1

Mezi přijatými zákony: kanadský Budget Implementation Act (2017) s vyčleněním 125 milionů dolarů na strategii AI; ruský Federální zákon ze dne 24. 4. 2020 č. 123-FZ o experimentálním právním režimu pro AI v Moskvě; americký IOGAN Act (2020) o financování výzkumu deepfaků; belgický dekret o zřízení etického výboru pro AI nástroje (2021).

Legislativa v USA

Na federální úrovni vzrostl počet navržených AI zákonodárných návrhů z 1 v roce 2015 na 130 v roce 2021, avšak pouze 2 % z nich byla přijata. Na úrovni jednotlivých států vzrostl počet navržených zákonodárných návrhů z 2 v roce 2012 na 131 v roce 2021, přičemž podíl přijatých činil 20 % (26 ze 131).

Massachusetts navrhl největší počet AI zákonodárných návrhů na úrovni států (40 od roku 2012), následoval Havaj (35) a New Jersey (32).

Zmínky o AI v parlamentních dokumentech

Zmínky o AI ve vládních protokolech 25 zemí vzrostly 7,7násobně za šest let (2016–2021) a dosáhly 1 323 v roce 2021. Velká Británie dominovala s 939 zmínkami za celé období, za ní následovaly Španělsko, Japonsko, USA a Austrálie.

V Kongresu USA zaznamenalo 117. zasedání (zahájené v roce 2021) na konci prvního roku již 295 zmínek o AI — na cestě k překonání rekordu 116. zasedání (506 zmínek za období 2019–2020).

Metodologie

Zpráva využívá data z mnoha zdrojů:

• Publikace a patenty: Center for Security and Emerging Technology (CSET), Georgetownská univerzita.
• Benchmarky: Papers With Code, žebříčky SuperGLUE, SQuAD, VCR, MLPerf a další.
• Investice a startupy: NetBase Quid.
• Trh práce: Emsi Burning Glass, LinkedIn.
• Firemní aktivita: McKinsey & Company.
• Robotika: originální průzkum AI Index (509 profesorů, 67 univerzit).
• Legislativa: AI Index (globální analýza 25 zemí), Bloomberg Government (USA).
• Vzdělávání: CRA Taulbee Survey.
• Etika: RealToxicityPrompts, Perspective API, StereoSet, CrowS-Pairs, Winogender, WinoBias, WinoMT, TruthfulQA, FEVER, FAccT, NeurIPS.

Autorský kolektiv

Zprávu připravil tým pod vedením spoluředitelů Jacka Clarka (Jack Clark, Anthropic / OECD) a Raye Perraulta (Raymond Perrault, SRI International) za účasti širokého okruhu výzkumníků a partnerských organizací. Do řídícího výboru patřili Erik Brynjolfsson (Stanford), John Etchemendy (Stanford), Terah Lyons, James Manyika (Google / University of Oxford), Juan Carlos Niebles (Stanford / Salesforce), Michael Sellitto (Stanford), Yoav Shoham (Stanford / AI21 Labs — zakládající ředitel). Manažer výzkumu a hlavní editor — Nestor Maslej (Stanford). AI Index je projektem Stanfordského institutu HAI (Human-Centered Artificial Intelligence).

Odkazy

• Stanford HAI — AI Index Report 2022 (plný text): https://aiindex.stanford.edu/report/
• Center for Security and Emerging Technology (CSET) — data o publikacích a patentech: https://cset.georgetown.edu/
• Papers With Code — benchmarky a žebříčky: https://paperswithcode.com/
• SuperGLUE Benchmark: https://super.gluebenchmark.com/
• MLPerf (MLCommons) — benchmarky trénování: https://mlcommons.org/en/
• NetBase Quid — investiční data: https://quid.com/
• McKinsey Global Survey on AI: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
• CRA Taulbee Survey: https://cra.org/resources/taulbee-survey/
• Bloomberg Government — data o legislativě: https://about.bgov.com/
• RealToxicityPrompts: https://arxiv.org/abs/2009.11462
• TruthfulQA: https://arxiv.org/abs/2109.07958
• Global AI Vibrancy Tool: https://aiindex.stanford.edu/vibrancy/

Literatura

• Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
• Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
• Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
• Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
• Weidinger, L. et al. (2021). Ethical and social risks of harm from Language Models. https://arxiv.org/abs/2112.04359
• Welbl, J. et al. (2021). Challenges in Detoxifying Language Models. https://arxiv.org/abs/2109.07445
• Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. https://arxiv.org/abs/2203.02155
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
• McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai