The 2022 AI Index Report (HU)

From Systems analysis Wiki
Jump to navigation Jump to search

AI Index Report 2022 — az AI Index ötödik éves kiadása, amelyet a Stanford Emberi Központú Mesterséges Intelligencia Intézete (Stanford HAI) készített[1]. A 2022-es jelentés a megjelenés időpontjában a legterjedelmesebb, és az AI-rendszerek gazdaságban való nagymértékű elterjedésének időszakában lát napvilágot. A kiadvány először tartalmaz önálló fejezetet az AI technikai etikájának mélyreható elemzésével, a kutatók körében végzett globális felmérésre alapozott átfogó robotikai áttekintéssel, valamint 25 ország AI-törvényhozási kezdeményezéseire vonatkozó adatokkal. A jelentés nyomon követi, rendszerezi és vizualizálja a mesterséges intelligenciával kapcsolatos adatokat, objektív és gondosan ellenőrzött információkat nyújtva a döntéshozóknak, kutatóknak, vezetőknek, újságíróknak és a szélesebb közvéleménynek.

A jelentés felépítése

A 2022-es jelentés öt tematikus fejezetből és egy mellékletből áll[1]:

  1. Kutatás és fejlesztés (Research and Development) — trendek a publikációk, szabadalmak, konferenciák és nyílt forráskódú szoftverek terén.
  2. Technikai teljesítmény (Technical Performance) — benchmarkok a számítógépes látás, nyelvfeldolgozás, beszéd, ajánlórendszerek, Reinforcement Learning, hardver és robotika területén.
  3. Az AI technikai etikája (Technical AI Ethics) — új fejezet: méltányossági és előítéletességi metrikák, nyelvi modellek toxicitása, multimodális torzítások, tényellenőrzés és igazmondás.
  4. Gazdaság és oktatás (The Economy and Education) — munkaerőpiac, befektetések, az AI vállalati bevezetése és a szakemberi képzés.
  5. AI-politika és irányítás (AI Policy and Governance) — jogalkotás, szabályozás és nemzeti stratégiák.

A jelentés főbb megállapításai

A jelentés szerzői kiemelték a 2022-es év néhány fő tézisét[1]:

1. A magánbefektetések az AI területén meredeken nőttek, a tőkekoncentráció erősödött

Az AI-ba irányuló magánbefektetések 2021-ben mintegy 93,5 milliárd dollárt tettek ki — több mint kétszerese a 2020-as értéknek. Ugyanakkor az újonnan finanszírozott AI-cégek száma tovább csökkent: 2019-ben 1051, 2020-ban 762, 2021-ben 746 volt. Ha 2020-ban csupán 4 finanszírozási kör haladta meg az 500 millió dollárt, 2021-ben már 15 ilyen kör volt[2].

2. Az USA és Kína dominál a nemzetközi AI-együttműködésben

A növekvő geopolitikai feszültség ellenére az USA és Kína mutatta a legtöbb közös AI-publikációt a 2010–2021-es időszakban, az együttműködés volumene ötszörösére nőtt 2010 óta. Ez a páros 2,7-szer több publikációt produkált, mint a következő pár — az Egyesült Királyság és Kína[3].

3. A nyelvi modellek egyre erősebbek, de egyre elfogultabbak is

A nagy nyelvi modellek új rekordokat állítottak fel technikai benchmarkokon, az adatok azonban azt mutatták, hogy a nagyobb modellek erősebben reprodukálják a betanítási adatokban lévő előítéleteket. A 280 milliárd paraméteres modell (Gopher, DeepMind, 2021) 29%-kal nagyobb kiváltott toxicitást mutatott a 2018-ban élvonalbeli 117 millió paraméteres modellhez képest[4].

4. Az AI etikájának virágzása

Az AI méltányosságával és átláthatóságával kapcsolatos kutatások 2014 óta robbanásszerű növekedést mutatnak: az etikai konferenciákon megjelent szakcikkek száma megnégyszereződött. Az algoritmikus méltányosság és az előítéletesség kérdése már nem csupán akadémiai téma, hanem főáramú kutatási irány lett. Az ipari affiliációjú kutatók évi 71%-kal növelték hozzájárulásukat az etikai konferenciákon[1].

5. Az AI egyre elérhetőbb és hatékonyabb

2018 óta a képosztályozási rendszerek betanításának költsége 63,6%-kal csökkent, a betanítási idő pedig 94,4%-kal javult. Hasonló csökkentési tendencia figyelhető meg a költségek és a betanítás gyorsulása terén a többi MLPerf-feladatkategóriában is: ajánlások, objektumfelismerés és nyelvfeldolgozás[5].

6. Az adatok mint kulcserőforrás

A technikai benchmarkokon elért legjobb eredményeket egyre inkább további betanítási adatok felhasználásával érték el. 2021-ben a vizsgált benchmarkokon a 10 legjobb AI-rendszer közül 9-et kiegészítő adatokkal tanítottak be. Ez a tendencia hallgatólagosan kedvez a kiterjedt datasetekhez hozzáféréssel rendelkező magánszektorbeli vállalatoknak[1].

7. Az AI-jogszabályok száma világszerte rohamosan nő

Az AI Index 25 országra kiterjedő elemzése kimutatta, hogy a „mesterséges intelligencia" kifejezést tartalmazó elfogadott törvények száma 2016-ban 1-ről 2021-re 18-ra nőtt. A 2021-es év éllovasai Spanyolország, az Egyesült Királyság és az USA voltak — mindegyikük három elfogadott törvénnyel[1].

8. A robotikai manipulátorok egyre olcsóbbak

Az AI Index felmérése szerint a robotikai manipulátorok medián ára öt év alatt 46,2%-kal csökkent — 2017-ben 42 000 dollárról 2021-re 22 600 dollárra —, így a robotikai kutatás egyre elérhetőbbé vált[1].

9. A multimodális modellek multimodális előítéleteket örökölnek

A multimodális nyelvi és látási modellek (például CLIP) új rekordokat állítottak fel képosztályozási és szöveges leírásból képgenerálási feladatokban, ugyanakkor társadalmi sztereotípiákat és előítéleteket is reprodukáltak. A CLIP-pel végzett kísérletek azt mutatták, hogy fekete személyek képei több mint kétszer akkora arányban kerültek tévesen „nem emberi" kategóriába, mint bármely más faj képviselői[6].

10. Elmozdulás az általánosabb Reinforcement Learning felé

Az elmúlt évtizedben az AI-rendszerek sikeresen sajátítottak el szűk Reinforcement Learning-feladatokat (például sakk — a legjobb sakkprogram 24%-kal haladta meg Magnus Carlsen maximális értékelési pontszámát). Az elmúlt két évben azonban az AI-rendszerek 129%-kal is javítottak eredményeiken az általánosabb Reinforcement Learning-feladatokban (Procgen), ahol ismeretlen, új környezetekben kell cselekedni[1].

1. fejezet. Kutatás és fejlesztés

A fejezet elemzi a publikációk, szabadalmak, konferenciák és nyílt forráskódú szoftverek terén mutatkozó trendeket[1].

Publikációk

Az AI témájú angol nyelvű publikációk összesített száma tovább nőtt, és 2021-ben elérte a 334 500-at[3].

Publikáció típusa szerint. 2021-ben több mint 56 700 publikáció jelent meg repozitóriumokban (arXiv és mások), ami az előzetes publikációk (preprintek) növekvő szerepét tükrözi az AI-kutatásban[1].

Földrajzi megoszlás szerint. 2021-ben Kína tovább vezette a folyóiratokban, konferenciákon és repozitóriumokban megjelent publikációk összesített számát — az USA-nál 63,2%-kal többet. Az USA ugyanakkor megőrizte domináns vezető szerepét a konferenciai és repozitóriumi publikációkra kapott idézetek számában[3]:

Mutató Kína EU + Egyesült Királyság USA
Konferenciai publikációk aránya (2021) 27,6% 19,0% 16,9%
Konferenciai idézetek aránya (2021) 15,3% 23,3% 29,5%
Repozitóriumi publikációk aránya (2021) 16,6% 23,9% 32,5%
Repozitóriumi idézetek aránya (2021) 16,4% 20,1% 38,6%

Szektorközi együttműködés. 2010 és 2021 között a legtöbb közös AI-publikációt oktatási és nonprofit szervezetek együttműködései produkálták, ezt követték a magánvállalatok és oktatási intézmények, valamint az oktatási és állami intézmények közötti kollaborációk[1].

Szabadalmak

Az AI területén benyújtott szabadalmi bejelentések száma 2021-ben több mint 30-szorosát tette ki a 2015-ös értéknek, évi átlagos 76,9%-os növekedési ütem mellett. Regionális megoszlás tekintetében Kelet-Ázsia és a Csendes-óceáni térség dominált a szabadalmi bejelentések 62,1%-os arányával. Kína háromszor annyi szabadalmi bejelentést nyújtott be, mint az USA — 87 343 bejelentés és 1 407 jóváhagyott szabadalom 2021-ben[3].

Konferenciák

A vezető AI-konferenciák látogatottsága 2021-ben a 2020-as szinten maradt — világszerte több mint 88 000 résztvevővel. A konferenciák többsége továbbra is virtuális formában zajlott a COVID-19-járvány miatt. Csak az ICRA és az EMNLP alkalmazott hibrid formátumot[1].

2. fejezet. Technikai teljesítmény

A fejezet átfogó elemzést nyújt a számítógépes látás, a természetes nyelvfeldolgozás, a beszéd, az ajánlórendszerek, a Reinforcement Learning, a hardver és a robotika terén elért haladásról[1].

Számítógépes látás

ImageNet. A képosztályozás pontossága az ImageNet-en tovább nőtt. A kiegészítő betanítási adatokat használó rendszerek lényegesen jobb eredményeket értek el. 2021-ben az ImageNet-21K + JFT adathalmazon betanított CoAtNet modell 90,88%-os top-1 pontosságot ért el, ami lényegesen meghaladja az emberi szintet (körülbelül 94,9% top-5 szerint)[1].

Speciális részfeladatok. 2021-ben megnőtt az érdeklődés a számítógépes látás speciális részfeladatai iránt — orvosi képszegmentálás és maszkos arcfelismerés. Például míg 2020 előtt csupán 3 kutatási munka tesztelte a rendszereket a Kvasir-SEG benchmarkon (orvosi képalkotás), 2021-ben már 25 ilyen munka született[1].

Vizuális közértelmes következtetés (VCR). 2021 végére a Visual Commonsense Reasoning benchmarkon elért legjobb eredmény 72,0 volt — 2018 óta 63,6%-os növekedés —, bár a rendszerek még mindig lényegesen elmaradtak az emberi szinttől. A javulások egyre marginálisabbá váltak, jelezve az új megközelítések szükségességét[1].

Természetes nyelvfeldolgozás

SuperGLUE. A SuperGLUE ranglistájának élén az SS-MoE modell állt 91,0-es eredménnyel, ami meghaladja az emberi szintet (89,8). A SuperGLUE-n elért gyors haladás jelezte, hogy bonyolultabb nyelvi benchmarkok kidolgozása szükséges[7].

SQuAD. Az AI-rendszerek a SQuAD 2.0 olvasásmegértési benchmarkon 1–5%-kal felülmúlták az emberi szintet, azonban összetettebb feladatokban, mint például az abduktív természetesnyelv-következtetés (aNLI), az ember még mindig megelőzte az AI-t, bár a különbség 2019-es 9 százalékpontról 2021-re 1 százalékpontra csökkent[1].

Gépi fordítás. A kereskedelemben elérhető gépi fordítási rendszerek száma tovább nőtt, és a fordítás minősége a fő nyelvpárokon (WMT 2014) egyenletesen javult[8].

Beszédfelismerés

A LibriSpeech (Test-Clean) benchmarkon a szóhibaarány (WER) tovább csökkent, közelítve az emberi szinthez. Haladás történt a nehezebb beszéddataseteken is[1].

Reinforcement Learning

Atari-57. A Reinforcement Learning-rendszerek tovább fejlődtek a klasszikus Arcade Learning Environment feladatokban. A MuZero modell (DeepMind) az egyik vezető maradt[1].

Procgen. A Procgen benchmarkon — amely az új környezetekben való általánosítási képességet teszteli — az AI-rendszerek két év alatt 129%-kal javítottak eredményeiken, ami az általánosabb ágensek felé való elmozdulást jelzi[1].

Sakk. A legjobb sakkprogram-motor 24%-kal haladta meg Magnus Carlsen maximális ELO-értékelési pontszámát[9].

Hardver és betanítási költségek

MLPerf. Az MLPerf benchmark adatai a betanítási idő tartós csökkenését mutatták, miközben a felhasznált gyorsítók száma nőtt. A vezető résztvevők és az összes résztvevő átlagos gyorsítószáma közötti rés 2018 és 2021 között kilencszeresére nőtt, ami a hardvererőforrásokkal szemben támasztott növekvő követelményeket jelzi[5].

Az ImageNet betanítási költsége. Egy nagy teljesítményű képosztályozási rendszer 93%-os pontosságig való betanításának költsége 2017-ben 1112,6 dollárról 2021-re 4,6 dollárra csökkent — négy év alatt 223-szorosára esett vissza[1].

Robotika

Manipulátorok árai. Az AI Index által 67 világ-egyetem 509 robotika-professzora körében végzett felmérés a robotikai manipulátorok medián árának 46,2%-os csökkenését mutatta ki — 2017-ben 42 000 dollárról 2021-re 22 600 dollárra[1].

AI-készségek a robotikában. A megkérdezett robotika-professzorok 67%-a számolt be mély tanulás, 46%-a pedig Reinforcement Learning alkalmazásáról kutatásaiban[1].

3. fejezet. Az AI technikai etikája

A jelentésbe első alkalommal bekerült fejezet mélyreható elemzést nyújt a méltányossági és előítéletességi metrikákról, a nyelvi modellek toxicitásáról, a multimodális torzításokról, valamint az AI tényellenőrzésével és igazmondásával kapcsolatos kérdésekről[1].

A méltányossági és előítéletességi metrikák metaanalízise

Az AI előítéletességének és méltányosságának mérésére szolgáló metrikák száma 2018 óta egyenletesen nőtt. A metrikák két fő típusra oszthatók: benchmark datasetek (például StereoSet, CrowS-Pairs), amelyek a modell belső viselkedését mérik, és diagnosztikai metrikák (például demográfiai paritás, esélyegyenlőség), amelyek a modell egyes népességcsoportokra gyakorolt hatását értékelik[1].

A nyelvi modellek toxicitása

RealToxicityPrompts. A nyelvi modellek toxicitása lényegesen függött a betanítási adatoktól. A toxikus tartalomtól megszűrt szövegen betanított modellek (például C4 szűréssel) lényegesen kevésbé voltak toxikusak, mint a szűretlen internetes tartalmon betanított modellek[10].

Méret és toxicitás. A Gopher modell (DeepMind, 280 milliárd paraméter) elemzése kimutatta, hogy a nagyobb modellek nagyobb valószínűséggel generálnak toxikus folytatásokat megfelelő promptok hatására, ugyanakkor jobban képesek felismerni a toxikus tartalmat[4].

Detoxifikáció. A nyelvi modellek detoxifikációs módszerei (DAPT, PPLM, GeDi) következetesen teljesítményromlást okoztak, aránytalanul erősebben az afroamerikai angol és a kisebbségek megemlítését tartalmazó szövegek esetében[11].

Sztereotípiák és előítéletesség

A StereoSet a sztereotip elfogultságot mérte nem, faj, vallás és foglalkozás mentén. A CrowS-Pairs a maszkolásos nyelvi modellek sztereotip elfogultságának mértékét értékelte. A Winogender és a WinoBias a koreferenciafeladatokban megjelenő nemi elfogultságot, a WinoMT pedig a gépi fordításban megjelenőt tesztelte[1].

Multimodális előítéletek (CLIP)

A CLIP (Contrastive Language-Image Pretraining, OpenAI) modell lenyűgöző eredményeket ért el a képosztályozásban, ugyanakkor az internetes betanítási adatokból (400 millió kép–szöveg pár) örökített nemi, faji és életkori előítéleteket. A főbb megállapítások[1]:

  • Lejárató kár: nem emberi és kriminális kategóriák hozzáadásakor a fekete személyek képei 14%-ban kerültek tévesen nem emberi kategóriákba — kétszer akkora arányban, mint más fajoknál.
  • Nemi elfogultság: a „dada" és „takarítónő" címkék nőkkel, a „rab" és „maffiózó" pedig férfiakkal asszociálódott.
  • Az előítélet terjedése: a CLIP elfogultságai átöröklődtek a LAION-400M datasetbe, amelyet CLIP embedding-ekkel gondoztak, érintve az összes ezután születő alkalmazást.

Tényellenőrzés és igazmondás

TruthfulQA. Több nyelvimodell-család TruthfulQA benchmarkon végzett elemzése kimutatta, hogy az alap modellek (GPT-3 család) méretezése az igazmondás csökkenéséhez vezetett. Azonban az emberi visszajelzéssel finomhangolt modellek (InstructGPT, WebGPT) méretezéssel egyre igazabb kijelentéseket tettek[12].

FEVER. A FEVER (Fact Extraction and VERification) benchmarkon az automatizált tényellenőrző rendszerek tovább fejlődtek, bár még mindig elmaradtak az emberi szinttől[1].

Trendek az etikai konferenciákon

A FAccT (Fairness, Accountability, and Transparency) konferencián és a NeurIPS tematikus workshopokon megjelent publikációk elemzése az értelmezhetőséggel, magyarázhatósággal, kauzális következtetéssel, adatvédelemmel, adatgyűjtéssel, méltányossággal és előítéletességgel foglalkozó munkák növekedését mutatta. Az ipari affiliációjú kutatók jelentősen növelték hozzájárulásukat ezeken a fórumokon[1].

4. fejezet. Gazdaság és oktatás

A fejezet a munkaerőpiaci trendeket, a befektetéseket, az AI vállalati bevezetését és a szakemberi képzést vizsgálja[1].

Munkaerőpiac

AI-szakemberek felvétele. A LinkedIn adatai szerint Új-Zéland mutatta az AI-szakemberek felvételének legnagyobb növekedését — 2,42-szeres 2016 és 2021 között —, ezt követte Hongkong (1,56×), Írország (1,28×), Luxemburg (1,26×) és Svédország (1,24×)[13].

Álláshirdetések. Az Emsi Burning Glass adatai szerint Szingapúr vezette az AI-álláshelyek összes álláshirdetésen belüli arányát — 2,33% —, ezt követte az USA (0,90%), Kanada (0,78%) és az Egyesült Királyság (0,74%). Az USA-ban a legtöbb AI-álláshirdetés Kaliforniában volt (több mint 2,35-szer annyi, mint Texasban), a legtöbb AI-álláshirdetés aránya pedig Washington D.C.-ben volt tapasztalható[14].

Befektetések

Általános trendek. Az AI-ba irányuló összesített vállalati befektetések 2021-ben rekordszintű 176,5 milliárd dollárra rúgtak, amelyből a magánbefektetések 93,5 milliárd dollárt tettek ki (több mint kétszeres növekedés 2020-hoz képest), az összeolvadások és felvásárlások körülbelül 72 milliárd, a tőzsdei bevezetések körülbelül 9,5 milliárd dollárt[2].

Regionális megoszlás. Az USA vezette a listát mintegy 52,9 milliárd dolláros magánbefektetéssel — több mint háromszor annyi, mint Kína (17,2 milliárd). Az Egyesült Királyság a harmadik helyen végzett (4,65 milliárd), ezt követte Izrael (2,4 milliárd) és Németország (1,98 milliárd)[2].

Ország Magánbefektetések 2021 (milliárd USD) Magánbefektetések 2013–2021 (milliárd USD)
USA 52,9 149,0
Kína 17,2 61,9
Egyesült Királyság 4,65 10,8
Izrael 2,4 6,1
Németország 1,98 3,9
India 1,87 10,8

Ágazati fókusz. 2021-ben a legnagyobb magánbefektetési volument az „adatkezelés, -feldolgozás és felhő" terület vonzotta — 2,6-szor annyit, mint 2020-ban —, ezt követte az „orvostudomány és egészségügy" (11,29 milliárd) és a „fintech" (10,26 milliárd)[2].

Tőkekoncentráció. Az AI-területen megkötött magánbefektetési ügyletek átlagos mérete 2021-ben 81,1%-kal nőtt 2020-hoz képest. Eközben az újonnan finanszírozott AI-cégek száma harmadik éve csökkent egymás után (a 2018-as csúcshoz képest)[2].

Vállalati bevezetés

A McKinsey adatai szerint az AI szervezeti bevezetésének átlagos szintje 2021-ben 56% volt (6 százalékpontos növekedés 2020-hoz képest). India vezette a sort (65%), ezt követte az Ázsia-csendes-óceáni térség fejlett országai (64%), a fejlődő piacok (57%) és Észak-Amerika (55%)[15].

Kockázatkezelés. Az iparágban az AI etikai problémáinak kezelésére irányuló erőfeszítések korlátozottak maradtak: bár a McKinsey-felmérés válaszadóinak 29%-a ismerte el, hogy a „méltányosság és egyenlőség" kockázatot jelent az AI bevezetésénél, csupán 19% tett lépéseket azok csökkentésére. Hasonlóképpen, 41% ismerte el a „magyarázhatóságot" kockázatként, de csak 27% dolgozott annak biztosításán[15].

Oktatás

Alapképzés. Az informatika szakon végzett alapképzéses hallgatók száma Észak-Amerikában (doktori fokozatot adó felsőoktatási intézményekben) 3,5-szeresére nőtt 2010 és 2020 között, elérve a 31 000 főt — 11,6%-os növekedés 2019-hez képest[16].

Doktori képzés. 2020-ban az informatika területén doktori fokozatot szerzők minden ötödike AI/Machine Learning területen specializálódott — ez volt a legnépszerűbb szakterület az elmúlt évtizedben. Az ezen a területen PhD-t szerzők száma 72,05%-kal nőtt 2010 és 2020 között[16].

5. fejezet. AI-politika és irányítás

A fejezet elemzi az AI területén zajló jogalkotási és szabályozási aktivitást globális szinten és egyes országok bontásában[1].

Globális jogalkotás

Az AI Index elemzése 25 ország jogalkotási kezdeményezéseit fogta át. A 2016–2021-es időszakban 55, a „mesterséges intelligencia" kifejezést tartalmazó törvényt fogadtak el. A növekedés meredek volt: 2016-ban 1 törvénytől 2021-re 18-ra[1].

Az elfogadott törvények száma szerinti éllovasok (2016–2021):

Ország Törvények (2016–2021) Törvények (2021)
USA 13 3
Oroszország 6 2
Belgium 5 2
Spanyolország 5 3
Egyesült Királyság 5 3
Franciaország 4 1
Olaszország 3 1

Az elfogadott törvények között szerepel: a kanadai Budget Implementation Act (2017), amely 125 millió dollárt különített el az AI-stratégiára; az oroszországi 2020. április 24-i 123-FZ szövetségi törvény a moszkvai AI kísérleti jogi rezsimről; az amerikai IOGAN Act (2020) a deepfake-kutatások finanszírozásáról; a belga rendelet az AI-eszközök etikai bizottságának létrehozásáról (2021)[1].

Az USA jogalkotása

Szövetségi szinten a javasolt AI-törvényjavaslatok száma 2015-ben 1-ről 2021-re 130-ra nőtt, azonban csupán 2%-ukat fogadták el. Tagállami szinten a javasolt törvényjavaslatok száma 2012-ben 2-ről 2021-re 131-re nőtt, az elfogadottak aránya pedig 20% volt (131-ből 26)[17].

Massachusetts javasolta a legtöbb AI-törvényjavaslatot tagállami szinten (40-et 2012 óta), ezt követte Hawaii (35) és New Jersey (32)[17].

Az AI-ra való hivatkozások parlamenti dokumentumokban

Az AI-ra való hivatkozások száma 25 ország kormányzati jegyzőkönyveiben hat év alatt (2016–2021) 7,7-szeresére nőtt, elérve az 1323-at 2021-ben. Az Egyesült Királyság dominált 939 hivatkozással az egész időszakban, ezt követte Spanyolország, Japán, az USA és Ausztrália[1].

Az USA Kongresszusának 117. ülésszaka (amely 2021-ben kezdődött) az első év végére már 295 AI-ra való hivatkozást rögzített — úton a 116. ülésszak rekordjának (506 hivatkozás 2019–2020 között) megdöntése felé[17].

Módszertan

A jelentés számos forrásból merít adatokat[1]:

  • Publikációk és szabadalmak: Center for Security and Emerging Technology (CSET), Georgetown University.
  • Benchmarkok: Papers With Code, SuperGLUE, SQuAD, VCR, MLPerf és egyéb ranglisták.
  • Befektetések és startupok: NetBase Quid.
  • Munkaerőpiac: Emsi Burning Glass, LinkedIn.
  • Vállalati aktivitás: McKinsey & Company.
  • Robotika: az AI Index eredeti felmérése (509 professzor, 67 egyetem).
  • Jogalkotás: AI Index (25 ország globális elemzése), Bloomberg Government (USA).
  • Oktatás: CRA Taulbee Survey.
  • Etika: RealToxicityPrompts, Perspective API, StereoSet, CrowS-Pairs, Winogender, WinoBias, WinoMT, TruthfulQA, FEVER, FAccT, NeurIPS.

Szerzői gárda

A jelentést Jack Clark (Anthropic / OECD) és Raymond Perrault (SRI International) társigazgatók irányításával készítette kutatók és partnerszervezetek széles köre. Az irányítóbizottságban helyet kapott Erik Brynjolfsson (Stanford), John Etchemendy (Stanford), Terah Lyons, James Manyika (Google / University of Oxford), Juan Carlos Niebles (Stanford / Salesforce), Michael Sellitto (Stanford) és Yoav Shoham (Stanford / AI21 Labs — alapító igazgató). A kutatásvezetői és főszerkesztői feladatokat Nestor Maslej (Stanford) látta el. Az AI Index a Stanford HAI (Human-Centered Artificial Intelligence) Intézet projektje[1].

Hivatkozások

Irodalom

Megjegyzések

  1. 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
  2. 2.0 2.1 2.2 2.3 2.4 NetBase Quid (2021). AI Investment and Startup Activity Data. https://quid.com/
  3. 3.0 3.1 3.2 3.3 Center for Security and Emerging Technology, Georgetown University (2021). AI Publications and Patents Data. https://cset.georgetown.edu/
  4. 4.0 4.1 Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
  5. 5.0 5.1 MLCommons (2021). MLPerf Training Benchmark Results. https://mlcommons.org/en/training-normal-11/
  6. Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
  7. Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
  8. Intento (2021). The State of Machine Translation 2021. https://inten.to/
  9. Swedish Chess Computer Association (2021). Chess Engine Rating List. https://www.ssca.se/
  10. Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
  11. Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
  12. Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
  13. LinkedIn (2021). AI Hiring Index Data. https://www.linkedin.com/
  14. Emsi Burning Glass (2021). AI Job Postings Data. https://www.economicmodeling.com/
  15. 15.0 15.1 McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
  16. 16.0 16.1 Computing Research Association (2021). CRA Taulbee Survey 2020–2021. https://cra.org/resources/taulbee-survey/
  17. 17.0 17.1 17.2 Bloomberg Government (2021). U.S. AI Legislative Records. https://about.bgov.com/