The 2022 AI Index Report (HU)
AI Index Report 2022 — az AI Index ötödik éves kiadása, amelyet a Stanford Emberi Központú Mesterséges Intelligencia Intézete (Stanford HAI) készített[1]. A 2022-es jelentés a megjelenés időpontjában a legterjedelmesebb, és az AI-rendszerek gazdaságban való nagymértékű elterjedésének időszakában lát napvilágot. A kiadvány először tartalmaz önálló fejezetet az AI technikai etikájának mélyreható elemzésével, a kutatók körében végzett globális felmérésre alapozott átfogó robotikai áttekintéssel, valamint 25 ország AI-törvényhozási kezdeményezéseire vonatkozó adatokkal. A jelentés nyomon követi, rendszerezi és vizualizálja a mesterséges intelligenciával kapcsolatos adatokat, objektív és gondosan ellenőrzött információkat nyújtva a döntéshozóknak, kutatóknak, vezetőknek, újságíróknak és a szélesebb közvéleménynek.
A jelentés felépítése
A 2022-es jelentés öt tematikus fejezetből és egy mellékletből áll[1]:
- Kutatás és fejlesztés (Research and Development) — trendek a publikációk, szabadalmak, konferenciák és nyílt forráskódú szoftverek terén.
- Technikai teljesítmény (Technical Performance) — benchmarkok a számítógépes látás, nyelvfeldolgozás, beszéd, ajánlórendszerek, Reinforcement Learning, hardver és robotika területén.
- Az AI technikai etikája (Technical AI Ethics) — új fejezet: méltányossági és előítéletességi metrikák, nyelvi modellek toxicitása, multimodális torzítások, tényellenőrzés és igazmondás.
- Gazdaság és oktatás (The Economy and Education) — munkaerőpiac, befektetések, az AI vállalati bevezetése és a szakemberi képzés.
- AI-politika és irányítás (AI Policy and Governance) — jogalkotás, szabályozás és nemzeti stratégiák.
A jelentés főbb megállapításai
A jelentés szerzői kiemelték a 2022-es év néhány fő tézisét[1]:
1. A magánbefektetések az AI területén meredeken nőttek, a tőkekoncentráció erősödött
Az AI-ba irányuló magánbefektetések 2021-ben mintegy 93,5 milliárd dollárt tettek ki — több mint kétszerese a 2020-as értéknek. Ugyanakkor az újonnan finanszírozott AI-cégek száma tovább csökkent: 2019-ben 1051, 2020-ban 762, 2021-ben 746 volt. Ha 2020-ban csupán 4 finanszírozási kör haladta meg az 500 millió dollárt, 2021-ben már 15 ilyen kör volt[2].
2. Az USA és Kína dominál a nemzetközi AI-együttműködésben
A növekvő geopolitikai feszültség ellenére az USA és Kína mutatta a legtöbb közös AI-publikációt a 2010–2021-es időszakban, az együttműködés volumene ötszörösére nőtt 2010 óta. Ez a páros 2,7-szer több publikációt produkált, mint a következő pár — az Egyesült Királyság és Kína[3].
3. A nyelvi modellek egyre erősebbek, de egyre elfogultabbak is
A nagy nyelvi modellek új rekordokat állítottak fel technikai benchmarkokon, az adatok azonban azt mutatták, hogy a nagyobb modellek erősebben reprodukálják a betanítási adatokban lévő előítéleteket. A 280 milliárd paraméteres modell (Gopher, DeepMind, 2021) 29%-kal nagyobb kiváltott toxicitást mutatott a 2018-ban élvonalbeli 117 millió paraméteres modellhez képest[4].
4. Az AI etikájának virágzása
Az AI méltányosságával és átláthatóságával kapcsolatos kutatások 2014 óta robbanásszerű növekedést mutatnak: az etikai konferenciákon megjelent szakcikkek száma megnégyszereződött. Az algoritmikus méltányosság és az előítéletesség kérdése már nem csupán akadémiai téma, hanem főáramú kutatási irány lett. Az ipari affiliációjú kutatók évi 71%-kal növelték hozzájárulásukat az etikai konferenciákon[1].
5. Az AI egyre elérhetőbb és hatékonyabb
2018 óta a képosztályozási rendszerek betanításának költsége 63,6%-kal csökkent, a betanítási idő pedig 94,4%-kal javult. Hasonló csökkentési tendencia figyelhető meg a költségek és a betanítás gyorsulása terén a többi MLPerf-feladatkategóriában is: ajánlások, objektumfelismerés és nyelvfeldolgozás[5].
6. Az adatok mint kulcserőforrás
A technikai benchmarkokon elért legjobb eredményeket egyre inkább további betanítási adatok felhasználásával érték el. 2021-ben a vizsgált benchmarkokon a 10 legjobb AI-rendszer közül 9-et kiegészítő adatokkal tanítottak be. Ez a tendencia hallgatólagosan kedvez a kiterjedt datasetekhez hozzáféréssel rendelkező magánszektorbeli vállalatoknak[1].
7. Az AI-jogszabályok száma világszerte rohamosan nő
Az AI Index 25 országra kiterjedő elemzése kimutatta, hogy a „mesterséges intelligencia" kifejezést tartalmazó elfogadott törvények száma 2016-ban 1-ről 2021-re 18-ra nőtt. A 2021-es év éllovasai Spanyolország, az Egyesült Királyság és az USA voltak — mindegyikük három elfogadott törvénnyel[1].
8. A robotikai manipulátorok egyre olcsóbbak
Az AI Index felmérése szerint a robotikai manipulátorok medián ára öt év alatt 46,2%-kal csökkent — 2017-ben 42 000 dollárról 2021-re 22 600 dollárra —, így a robotikai kutatás egyre elérhetőbbé vált[1].
9. A multimodális modellek multimodális előítéleteket örökölnek
A multimodális nyelvi és látási modellek (például CLIP) új rekordokat állítottak fel képosztályozási és szöveges leírásból képgenerálási feladatokban, ugyanakkor társadalmi sztereotípiákat és előítéleteket is reprodukáltak. A CLIP-pel végzett kísérletek azt mutatták, hogy fekete személyek képei több mint kétszer akkora arányban kerültek tévesen „nem emberi" kategóriába, mint bármely más faj képviselői[6].
10. Elmozdulás az általánosabb Reinforcement Learning felé
Az elmúlt évtizedben az AI-rendszerek sikeresen sajátítottak el szűk Reinforcement Learning-feladatokat (például sakk — a legjobb sakkprogram 24%-kal haladta meg Magnus Carlsen maximális értékelési pontszámát). Az elmúlt két évben azonban az AI-rendszerek 129%-kal is javítottak eredményeiken az általánosabb Reinforcement Learning-feladatokban (Procgen), ahol ismeretlen, új környezetekben kell cselekedni[1].
1. fejezet. Kutatás és fejlesztés
A fejezet elemzi a publikációk, szabadalmak, konferenciák és nyílt forráskódú szoftverek terén mutatkozó trendeket[1].
Publikációk
Az AI témájú angol nyelvű publikációk összesített száma tovább nőtt, és 2021-ben elérte a 334 500-at[3].
Publikáció típusa szerint. 2021-ben több mint 56 700 publikáció jelent meg repozitóriumokban (arXiv és mások), ami az előzetes publikációk (preprintek) növekvő szerepét tükrözi az AI-kutatásban[1].
Földrajzi megoszlás szerint. 2021-ben Kína tovább vezette a folyóiratokban, konferenciákon és repozitóriumokban megjelent publikációk összesített számát — az USA-nál 63,2%-kal többet. Az USA ugyanakkor megőrizte domináns vezető szerepét a konferenciai és repozitóriumi publikációkra kapott idézetek számában[3]:
| Mutató | Kína | EU + Egyesült Királyság | USA |
|---|---|---|---|
| Konferenciai publikációk aránya (2021) | 27,6% | 19,0% | 16,9% |
| Konferenciai idézetek aránya (2021) | 15,3% | 23,3% | 29,5% |
| Repozitóriumi publikációk aránya (2021) | 16,6% | 23,9% | 32,5% |
| Repozitóriumi idézetek aránya (2021) | 16,4% | 20,1% | 38,6% |
Szektorközi együttműködés. 2010 és 2021 között a legtöbb közös AI-publikációt oktatási és nonprofit szervezetek együttműködései produkálták, ezt követték a magánvállalatok és oktatási intézmények, valamint az oktatási és állami intézmények közötti kollaborációk[1].
Szabadalmak
Az AI területén benyújtott szabadalmi bejelentések száma 2021-ben több mint 30-szorosát tette ki a 2015-ös értéknek, évi átlagos 76,9%-os növekedési ütem mellett. Regionális megoszlás tekintetében Kelet-Ázsia és a Csendes-óceáni térség dominált a szabadalmi bejelentések 62,1%-os arányával. Kína háromszor annyi szabadalmi bejelentést nyújtott be, mint az USA — 87 343 bejelentés és 1 407 jóváhagyott szabadalom 2021-ben[3].
Konferenciák
A vezető AI-konferenciák látogatottsága 2021-ben a 2020-as szinten maradt — világszerte több mint 88 000 résztvevővel. A konferenciák többsége továbbra is virtuális formában zajlott a COVID-19-járvány miatt. Csak az ICRA és az EMNLP alkalmazott hibrid formátumot[1].
2. fejezet. Technikai teljesítmény
A fejezet átfogó elemzést nyújt a számítógépes látás, a természetes nyelvfeldolgozás, a beszéd, az ajánlórendszerek, a Reinforcement Learning, a hardver és a robotika terén elért haladásról[1].
Számítógépes látás
ImageNet. A képosztályozás pontossága az ImageNet-en tovább nőtt. A kiegészítő betanítási adatokat használó rendszerek lényegesen jobb eredményeket értek el. 2021-ben az ImageNet-21K + JFT adathalmazon betanított CoAtNet modell 90,88%-os top-1 pontosságot ért el, ami lényegesen meghaladja az emberi szintet (körülbelül 94,9% top-5 szerint)[1].
Speciális részfeladatok. 2021-ben megnőtt az érdeklődés a számítógépes látás speciális részfeladatai iránt — orvosi képszegmentálás és maszkos arcfelismerés. Például míg 2020 előtt csupán 3 kutatási munka tesztelte a rendszereket a Kvasir-SEG benchmarkon (orvosi képalkotás), 2021-ben már 25 ilyen munka született[1].
Vizuális közértelmes következtetés (VCR). 2021 végére a Visual Commonsense Reasoning benchmarkon elért legjobb eredmény 72,0 volt — 2018 óta 63,6%-os növekedés —, bár a rendszerek még mindig lényegesen elmaradtak az emberi szinttől. A javulások egyre marginálisabbá váltak, jelezve az új megközelítések szükségességét[1].
Természetes nyelvfeldolgozás
SuperGLUE. A SuperGLUE ranglistájának élén az SS-MoE modell állt 91,0-es eredménnyel, ami meghaladja az emberi szintet (89,8). A SuperGLUE-n elért gyors haladás jelezte, hogy bonyolultabb nyelvi benchmarkok kidolgozása szükséges[7].
SQuAD. Az AI-rendszerek a SQuAD 2.0 olvasásmegértési benchmarkon 1–5%-kal felülmúlták az emberi szintet, azonban összetettebb feladatokban, mint például az abduktív természetesnyelv-következtetés (aNLI), az ember még mindig megelőzte az AI-t, bár a különbség 2019-es 9 százalékpontról 2021-re 1 százalékpontra csökkent[1].
Gépi fordítás. A kereskedelemben elérhető gépi fordítási rendszerek száma tovább nőtt, és a fordítás minősége a fő nyelvpárokon (WMT 2014) egyenletesen javult[8].
Beszédfelismerés
A LibriSpeech (Test-Clean) benchmarkon a szóhibaarány (WER) tovább csökkent, közelítve az emberi szinthez. Haladás történt a nehezebb beszéddataseteken is[1].
Reinforcement Learning
Atari-57. A Reinforcement Learning-rendszerek tovább fejlődtek a klasszikus Arcade Learning Environment feladatokban. A MuZero modell (DeepMind) az egyik vezető maradt[1].
Procgen. A Procgen benchmarkon — amely az új környezetekben való általánosítási képességet teszteli — az AI-rendszerek két év alatt 129%-kal javítottak eredményeiken, ami az általánosabb ágensek felé való elmozdulást jelzi[1].
Sakk. A legjobb sakkprogram-motor 24%-kal haladta meg Magnus Carlsen maximális ELO-értékelési pontszámát[9].
Hardver és betanítási költségek
MLPerf. Az MLPerf benchmark adatai a betanítási idő tartós csökkenését mutatták, miközben a felhasznált gyorsítók száma nőtt. A vezető résztvevők és az összes résztvevő átlagos gyorsítószáma közötti rés 2018 és 2021 között kilencszeresére nőtt, ami a hardvererőforrásokkal szemben támasztott növekvő követelményeket jelzi[5].
Az ImageNet betanítási költsége. Egy nagy teljesítményű képosztályozási rendszer 93%-os pontosságig való betanításának költsége 2017-ben 1112,6 dollárról 2021-re 4,6 dollárra csökkent — négy év alatt 223-szorosára esett vissza[1].
Robotika
Manipulátorok árai. Az AI Index által 67 világ-egyetem 509 robotika-professzora körében végzett felmérés a robotikai manipulátorok medián árának 46,2%-os csökkenését mutatta ki — 2017-ben 42 000 dollárról 2021-re 22 600 dollárra[1].
AI-készségek a robotikában. A megkérdezett robotika-professzorok 67%-a számolt be mély tanulás, 46%-a pedig Reinforcement Learning alkalmazásáról kutatásaiban[1].
3. fejezet. Az AI technikai etikája
A jelentésbe első alkalommal bekerült fejezet mélyreható elemzést nyújt a méltányossági és előítéletességi metrikákról, a nyelvi modellek toxicitásáról, a multimodális torzításokról, valamint az AI tényellenőrzésével és igazmondásával kapcsolatos kérdésekről[1].
A méltányossági és előítéletességi metrikák metaanalízise
Az AI előítéletességének és méltányosságának mérésére szolgáló metrikák száma 2018 óta egyenletesen nőtt. A metrikák két fő típusra oszthatók: benchmark datasetek (például StereoSet, CrowS-Pairs), amelyek a modell belső viselkedését mérik, és diagnosztikai metrikák (például demográfiai paritás, esélyegyenlőség), amelyek a modell egyes népességcsoportokra gyakorolt hatását értékelik[1].
A nyelvi modellek toxicitása
RealToxicityPrompts. A nyelvi modellek toxicitása lényegesen függött a betanítási adatoktól. A toxikus tartalomtól megszűrt szövegen betanított modellek (például C4 szűréssel) lényegesen kevésbé voltak toxikusak, mint a szűretlen internetes tartalmon betanított modellek[10].
Méret és toxicitás. A Gopher modell (DeepMind, 280 milliárd paraméter) elemzése kimutatta, hogy a nagyobb modellek nagyobb valószínűséggel generálnak toxikus folytatásokat megfelelő promptok hatására, ugyanakkor jobban képesek felismerni a toxikus tartalmat[4].
Detoxifikáció. A nyelvi modellek detoxifikációs módszerei (DAPT, PPLM, GeDi) következetesen teljesítményromlást okoztak, aránytalanul erősebben az afroamerikai angol és a kisebbségek megemlítését tartalmazó szövegek esetében[11].
Sztereotípiák és előítéletesség
A StereoSet a sztereotip elfogultságot mérte nem, faj, vallás és foglalkozás mentén. A CrowS-Pairs a maszkolásos nyelvi modellek sztereotip elfogultságának mértékét értékelte. A Winogender és a WinoBias a koreferenciafeladatokban megjelenő nemi elfogultságot, a WinoMT pedig a gépi fordításban megjelenőt tesztelte[1].
Multimodális előítéletek (CLIP)
A CLIP (Contrastive Language-Image Pretraining, OpenAI) modell lenyűgöző eredményeket ért el a képosztályozásban, ugyanakkor az internetes betanítási adatokból (400 millió kép–szöveg pár) örökített nemi, faji és életkori előítéleteket. A főbb megállapítások[1]:
- Lejárató kár: nem emberi és kriminális kategóriák hozzáadásakor a fekete személyek képei 14%-ban kerültek tévesen nem emberi kategóriákba — kétszer akkora arányban, mint más fajoknál.
- Nemi elfogultság: a „dada" és „takarítónő" címkék nőkkel, a „rab" és „maffiózó" pedig férfiakkal asszociálódott.
- Az előítélet terjedése: a CLIP elfogultságai átöröklődtek a LAION-400M datasetbe, amelyet CLIP embedding-ekkel gondoztak, érintve az összes ezután születő alkalmazást.
Tényellenőrzés és igazmondás
TruthfulQA. Több nyelvimodell-család TruthfulQA benchmarkon végzett elemzése kimutatta, hogy az alap modellek (GPT-3 család) méretezése az igazmondás csökkenéséhez vezetett. Azonban az emberi visszajelzéssel finomhangolt modellek (InstructGPT, WebGPT) méretezéssel egyre igazabb kijelentéseket tettek[12].
FEVER. A FEVER (Fact Extraction and VERification) benchmarkon az automatizált tényellenőrző rendszerek tovább fejlődtek, bár még mindig elmaradtak az emberi szinttől[1].
Trendek az etikai konferenciákon
A FAccT (Fairness, Accountability, and Transparency) konferencián és a NeurIPS tematikus workshopokon megjelent publikációk elemzése az értelmezhetőséggel, magyarázhatósággal, kauzális következtetéssel, adatvédelemmel, adatgyűjtéssel, méltányossággal és előítéletességgel foglalkozó munkák növekedését mutatta. Az ipari affiliációjú kutatók jelentősen növelték hozzájárulásukat ezeken a fórumokon[1].
4. fejezet. Gazdaság és oktatás
A fejezet a munkaerőpiaci trendeket, a befektetéseket, az AI vállalati bevezetését és a szakemberi képzést vizsgálja[1].
Munkaerőpiac
AI-szakemberek felvétele. A LinkedIn adatai szerint Új-Zéland mutatta az AI-szakemberek felvételének legnagyobb növekedését — 2,42-szeres 2016 és 2021 között —, ezt követte Hongkong (1,56×), Írország (1,28×), Luxemburg (1,26×) és Svédország (1,24×)[13].
Álláshirdetések. Az Emsi Burning Glass adatai szerint Szingapúr vezette az AI-álláshelyek összes álláshirdetésen belüli arányát — 2,33% —, ezt követte az USA (0,90%), Kanada (0,78%) és az Egyesült Királyság (0,74%). Az USA-ban a legtöbb AI-álláshirdetés Kaliforniában volt (több mint 2,35-szer annyi, mint Texasban), a legtöbb AI-álláshirdetés aránya pedig Washington D.C.-ben volt tapasztalható[14].
Befektetések
Általános trendek. Az AI-ba irányuló összesített vállalati befektetések 2021-ben rekordszintű 176,5 milliárd dollárra rúgtak, amelyből a magánbefektetések 93,5 milliárd dollárt tettek ki (több mint kétszeres növekedés 2020-hoz képest), az összeolvadások és felvásárlások körülbelül 72 milliárd, a tőzsdei bevezetések körülbelül 9,5 milliárd dollárt[2].
Regionális megoszlás. Az USA vezette a listát mintegy 52,9 milliárd dolláros magánbefektetéssel — több mint háromszor annyi, mint Kína (17,2 milliárd). Az Egyesült Királyság a harmadik helyen végzett (4,65 milliárd), ezt követte Izrael (2,4 milliárd) és Németország (1,98 milliárd)[2].
| Ország | Magánbefektetések 2021 (milliárd USD) | Magánbefektetések 2013–2021 (milliárd USD) |
|---|---|---|
| USA | 52,9 | 149,0 |
| Kína | 17,2 | 61,9 |
| Egyesült Királyság | 4,65 | 10,8 |
| Izrael | 2,4 | 6,1 |
| Németország | 1,98 | 3,9 |
| India | 1,87 | 10,8 |
Ágazati fókusz. 2021-ben a legnagyobb magánbefektetési volument az „adatkezelés, -feldolgozás és felhő" terület vonzotta — 2,6-szor annyit, mint 2020-ban —, ezt követte az „orvostudomány és egészségügy" (11,29 milliárd) és a „fintech" (10,26 milliárd)[2].
Tőkekoncentráció. Az AI-területen megkötött magánbefektetési ügyletek átlagos mérete 2021-ben 81,1%-kal nőtt 2020-hoz képest. Eközben az újonnan finanszírozott AI-cégek száma harmadik éve csökkent egymás után (a 2018-as csúcshoz képest)[2].
Vállalati bevezetés
A McKinsey adatai szerint az AI szervezeti bevezetésének átlagos szintje 2021-ben 56% volt (6 százalékpontos növekedés 2020-hoz képest). India vezette a sort (65%), ezt követte az Ázsia-csendes-óceáni térség fejlett országai (64%), a fejlődő piacok (57%) és Észak-Amerika (55%)[15].
Kockázatkezelés. Az iparágban az AI etikai problémáinak kezelésére irányuló erőfeszítések korlátozottak maradtak: bár a McKinsey-felmérés válaszadóinak 29%-a ismerte el, hogy a „méltányosság és egyenlőség" kockázatot jelent az AI bevezetésénél, csupán 19% tett lépéseket azok csökkentésére. Hasonlóképpen, 41% ismerte el a „magyarázhatóságot" kockázatként, de csak 27% dolgozott annak biztosításán[15].
Oktatás
Alapképzés. Az informatika szakon végzett alapképzéses hallgatók száma Észak-Amerikában (doktori fokozatot adó felsőoktatási intézményekben) 3,5-szeresére nőtt 2010 és 2020 között, elérve a 31 000 főt — 11,6%-os növekedés 2019-hez képest[16].
Doktori képzés. 2020-ban az informatika területén doktori fokozatot szerzők minden ötödike AI/Machine Learning területen specializálódott — ez volt a legnépszerűbb szakterület az elmúlt évtizedben. Az ezen a területen PhD-t szerzők száma 72,05%-kal nőtt 2010 és 2020 között[16].
5. fejezet. AI-politika és irányítás
A fejezet elemzi az AI területén zajló jogalkotási és szabályozási aktivitást globális szinten és egyes országok bontásában[1].
Globális jogalkotás
Az AI Index elemzése 25 ország jogalkotási kezdeményezéseit fogta át. A 2016–2021-es időszakban 55, a „mesterséges intelligencia" kifejezést tartalmazó törvényt fogadtak el. A növekedés meredek volt: 2016-ban 1 törvénytől 2021-re 18-ra[1].
Az elfogadott törvények száma szerinti éllovasok (2016–2021):
| Ország | Törvények (2016–2021) | Törvények (2021) |
|---|---|---|
| USA | 13 | 3 |
| Oroszország | 6 | 2 |
| Belgium | 5 | 2 |
| Spanyolország | 5 | 3 |
| Egyesült Királyság | 5 | 3 |
| Franciaország | 4 | 1 |
| Olaszország | 3 | 1 |
Az elfogadott törvények között szerepel: a kanadai Budget Implementation Act (2017), amely 125 millió dollárt különített el az AI-stratégiára; az oroszországi 2020. április 24-i 123-FZ szövetségi törvény a moszkvai AI kísérleti jogi rezsimről; az amerikai IOGAN Act (2020) a deepfake-kutatások finanszírozásáról; a belga rendelet az AI-eszközök etikai bizottságának létrehozásáról (2021)[1].
Az USA jogalkotása
Szövetségi szinten a javasolt AI-törvényjavaslatok száma 2015-ben 1-ről 2021-re 130-ra nőtt, azonban csupán 2%-ukat fogadták el. Tagállami szinten a javasolt törvényjavaslatok száma 2012-ben 2-ről 2021-re 131-re nőtt, az elfogadottak aránya pedig 20% volt (131-ből 26)[17].
Massachusetts javasolta a legtöbb AI-törvényjavaslatot tagállami szinten (40-et 2012 óta), ezt követte Hawaii (35) és New Jersey (32)[17].
Az AI-ra való hivatkozások parlamenti dokumentumokban
Az AI-ra való hivatkozások száma 25 ország kormányzati jegyzőkönyveiben hat év alatt (2016–2021) 7,7-szeresére nőtt, elérve az 1323-at 2021-ben. Az Egyesült Királyság dominált 939 hivatkozással az egész időszakban, ezt követte Spanyolország, Japán, az USA és Ausztrália[1].
Az USA Kongresszusának 117. ülésszaka (amely 2021-ben kezdődött) az első év végére már 295 AI-ra való hivatkozást rögzített — úton a 116. ülésszak rekordjának (506 hivatkozás 2019–2020 között) megdöntése felé[17].
Módszertan
A jelentés számos forrásból merít adatokat[1]:
- Publikációk és szabadalmak: Center for Security and Emerging Technology (CSET), Georgetown University.
- Benchmarkok: Papers With Code, SuperGLUE, SQuAD, VCR, MLPerf és egyéb ranglisták.
- Befektetések és startupok: NetBase Quid.
- Munkaerőpiac: Emsi Burning Glass, LinkedIn.
- Vállalati aktivitás: McKinsey & Company.
- Robotika: az AI Index eredeti felmérése (509 professzor, 67 egyetem).
- Jogalkotás: AI Index (25 ország globális elemzése), Bloomberg Government (USA).
- Oktatás: CRA Taulbee Survey.
- Etika: RealToxicityPrompts, Perspective API, StereoSet, CrowS-Pairs, Winogender, WinoBias, WinoMT, TruthfulQA, FEVER, FAccT, NeurIPS.
Szerzői gárda
A jelentést Jack Clark (Anthropic / OECD) és Raymond Perrault (SRI International) társigazgatók irányításával készítette kutatók és partnerszervezetek széles köre. Az irányítóbizottságban helyet kapott Erik Brynjolfsson (Stanford), John Etchemendy (Stanford), Terah Lyons, James Manyika (Google / University of Oxford), Juan Carlos Niebles (Stanford / Salesforce), Michael Sellitto (Stanford) és Yoav Shoham (Stanford / AI21 Labs — alapító igazgató). A kutatásvezetői és főszerkesztői feladatokat Nestor Maslej (Stanford) látta el. Az AI Index a Stanford HAI (Human-Centered Artificial Intelligence) Intézet projektje[1].
Hivatkozások
- Stanford HAI — AI Index Report 2022 (teljes szöveg): https://aiindex.stanford.edu/report/
- Center for Security and Emerging Technology (CSET) — publikációs és szabadalmi adatok: https://cset.georgetown.edu/
- Papers With Code — benchmarkok és ranglisták: https://paperswithcode.com/
- SuperGLUE Benchmark: https://super.gluebenchmark.com/
- MLPerf (MLCommons) — betanítási benchmarkok: https://mlcommons.org/en/
- NetBase Quid — befektetési adatok: https://quid.com/
- McKinsey Global Survey on AI: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
- CRA Taulbee Survey: https://cra.org/resources/taulbee-survey/
- Bloomberg Government — jogalkotási adatok: https://about.bgov.com/
- RealToxicityPrompts: https://arxiv.org/abs/2009.11462
- TruthfulQA: https://arxiv.org/abs/2109.07958
- Global AI Vibrancy Tool: https://aiindex.stanford.edu/vibrancy/
Irodalom
- Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
- Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
- Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
- Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
- Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
- Weidinger, L. et al. (2021). Ethical and social risks of harm from Language Models. https://arxiv.org/abs/2112.04359
- Welbl, J. et al. (2021). Challenges in Detoxifying Language Models. https://arxiv.org/abs/2109.07445
- Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
- Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. https://arxiv.org/abs/2203.02155
- Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
- McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
Megjegyzések
- ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 Zhang, D., Maslej, N., Brynjolfsson, E., Etchemendy, J., Lyons, T., Manyika, J., Ngo, H., Niebles, J.C., Sellitto, M., Sakhaee, E., Shoham, Y., Clark, J., Perrault, R. (2022). The AI Index 2022 Annual Report. AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University. https://aiindex.stanford.edu/report/
- ↑ 2.0 2.1 2.2 2.3 2.4 NetBase Quid (2021). AI Investment and Startup Activity Data. https://quid.com/
- ↑ 3.0 3.1 3.2 3.3 Center for Security and Emerging Technology, Georgetown University (2021). AI Publications and Patents Data. https://cset.georgetown.edu/
- ↑ 4.0 4.1 Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. https://arxiv.org/abs/2112.11446
- ↑ 5.0 5.1 MLCommons (2021). MLPerf Training Benchmark Results. https://mlcommons.org/en/training-normal-11/
- ↑ Birhane, A. et al. (2021). Multimodal datasets: misogyny, pornography, and malignant stereotypes. https://arxiv.org/abs/2110.01963
- ↑ Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://arxiv.org/abs/1905.00537
- ↑ Intento (2021). The State of Machine Translation 2021. https://inten.to/
- ↑ Swedish Chess Computer Association (2021). Chess Engine Rating List. https://www.ssca.se/
- ↑ Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. https://arxiv.org/abs/2009.11462
- ↑ Xu, A. et al. (2021). Detoxifying Language Models Risks Marginalizing Minority Voices. https://arxiv.org/abs/2104.06390
- ↑ Lin, S., Hilton, J., Evans, O. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. https://arxiv.org/abs/2109.07958
- ↑ LinkedIn (2021). AI Hiring Index Data. https://www.linkedin.com/
- ↑ Emsi Burning Glass (2021). AI Job Postings Data. https://www.economicmodeling.com/
- ↑ 15.0 15.1 McKinsey & Company (2021). The State of AI in 2021. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
- ↑ 16.0 16.1 Computing Research Association (2021). CRA Taulbee Survey 2020–2021. https://cra.org/resources/taulbee-survey/
- ↑ 17.0 17.1 17.2 Bloomberg Government (2021). U.S. AI Legislative Records. https://about.bgov.com/