The 2019 AI Index Report (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

AI Index Report 2019 — AI Index 연례 보고서의 두 번째 정식 판으로, 스탠퍼드 인간 중심 인공지능 연구소(Stanford HAI)가 작성하였다[1]. 2019년 보고서는 2018년판 대비 세 배 많은 데이터셋을 추적하며, 연구개발부터 국가 전략 및 AI의 글로벌 역학에 이르기까지 아홉 개의 주제별 장으로 구성된다. 이 판은 기술적 성과, 경제, 교육, 대중 인식 및 사회적 영향 등 인공지능의 모든 측면에 대한 최신 데이터를 담고 있으며, 두 가지 새로운 인터랙티브 도구를 선보인다. 34개 지표로 국가를 비교할 수 있는 Global AI Vibrancy Tool(vibrancy.aiindex.org)과 AI 분야 프리프린트 전문 검색을 제공하는 AI Index arXiv Monitor(arxiv.aiindex.org)가 그것이다. AI Index는 Stanford HAI 산하의 독립적인 이니셔티브로, '100년 AI 연구'(AI100) 프로젝트의 일환으로 기획되었다[1].

맥락과 목표

AI Index의 사명은 정책 입안자, 연구자, 경영진, 언론인 및 일반 대중을 위해 인공지능 발전에 관한 객관적이고 면밀히 검증된 데이터를 제공하는 것이다[1]. 2019년 보고서는 정부, 기업, 사회 전반에서 AI에 대한 관심이 급격히 높아지는 시점에 발간되었으며, AI 발전이 미국과 중국의 경쟁으로 귀결된다는 통념을 비롯한 널리 퍼진 오해를 불식시키고자 하였다. 보고서 데이터는 AI 분야의 지역별 우수 거점이 전 세계 각지에서 형성되고 있음을 보여준다. 핀란드는 AI 교육에서 두드러지고, 인도는 높은 AI 역량 보급률을 나타내며, 싱가포르는 잘 정비된 정부 지원 체계를 갖추고 있고, 이스라엘은 1인당 AI 스타트업 민간 투자에서 선두를 달리고 있다[1].

보고서 구성

2019년 보고서는 아홉 개의 주제별 장으로 구성된다[1]:

  1. 연구개발(Research and Development) — 계량서지학 데이터, 논문, 특허, AI 연구의 성별 다양성.
  2. 학술대회(Conferences) — 참가자 수, AAAI 논문 통계, 다양성 관련 단체, 학술대회에서의 윤리.
  3. 기술 성능(Technical Performance) — 컴퓨터 비전, 언어 처리, 추론, 컴퓨팅 파워 benchmark.
  4. 경제(The Economy) — 일자리, 투자, 기업 도입, 로봇화.
  5. 교육(Education) — 온라인 학습, 대학 프로그램, PhD 전공 분야, 교수진 이탈.
  6. 자율 시스템(Autonomous Systems) — 자율주행 자동차, 자율 무기.
  7. 대중 인식(Public Perception) — 중앙은행, 의회, 기업 보고서, 미디어.
  8. 사회적 측면(Societal Considerations) — 윤리 원칙, AI와 유엔 지속가능발전목표.
  9. 국가 전략과 글로벌 AI 역동성(National Strategies and Global AI Vibrancy) — 국가 전략, 국가 비교 도구.

보고서의 주요 발견

1. 논문 출판량의 증가

1998년부터 2018년까지 AI 분야 동료 심사 논문의 양은 300% 이상 증가했다. 2018년에는 AI 논문이 Scopus 데이터베이스 내 학술지 논문의 3%, 학술대회 논문의 9%를 차지하였다[2]. 중국은 2018년까지 AI 관련 학술지 및 학술대회 논문 수에서 유럽과 동등한 수준에 도달했으며, 이미 2006년에 미국을 추월한 바 있다. 그러나 미국 논문의 현장가중인용영향도(FWCI)는 여전히 중국보다 약 50% 높았다[1].

2. 학술대회 참가자 수 신기록

주요 AI 학술대회의 참가자 수는 계속해서 크게 증가하였다. NeurIPS 2019는 13,500명의 참가자를 예상했는데, 이는 2018년 대비 41% 증가, 2012년 대비 800% 이상 증가한 수치이다. AAAI와 CVPR은 연간 약 30%의 참가자 증가율을 보였다[1].

3. 급속한 기술 진보

클라우드 인프라에서 이미지 분류 모델 학습 시간은 2017년 10월 약 3시간에서 2019년 7월 약 88초로 단축되었으며, 학습 비용도 유사한 수준으로 감소하였다. SuperGLUE 및 SQuAD 2.0 benchmark에서의 진보는 특히 빨랐지만, 추론이 필요한 과제(예: AI2 Reasoning Challenge)와 개념 수준 학습 과제(Omniglot Challenge)에서는 성과가 여전히 낮았다[3][1].

4. 컴퓨팅 파워의 지수적 성장

2012년 이전까지 AI 컴퓨팅 파워의 성장은 무어의 법칙, 즉 2년마다 2배 증가하는 추세를 따랐다. 2012년 이후에는 3.4개월마다 2배씩 증가하여 6년 동안 30만 배 이상 증가하였다[4].

5. 글로벌 AI 채용의 성장

싱가포르, 브라질, 호주, 캐나다, 인도는 2015~2019년 기간 중 AI 채용 증가 속도가 가장 빠른 국가였다. 미국에서는 AI 관련 채용 공고 비중이 2010년 전체 채용 공고의 0.26%에서 2019년 10월 1.32%로 증가했으며, 그중 Machine Learning 전문가에 대한 수요가 가장 높았다(0.51%)[5][6].

6. 민간 투자 700억 달러 초과

2019년 AI 분야 글로벌 민간 투자는 700억 달러를 넘어섰으며, 이 중 스타트업 투자 370억 달러 이상, M&A 거래 340억 달러, IPO 약 50억 달러, 소수 지분 약 20억 달러가 포함된다. 2010년부터 2018년까지 AI 스타트업 자금 조달은 13억 달러에서 404억 달러로 증가했으며, 연평균 성장률은 48% 이상이었다. 자율주행 자동차가 가장 큰 투자 비중(77억 달러)을 차지했고, 그 뒤를 제약·암 치료(47억 달러)와 안면 인식(47억 달러)이 따랐다[7].

7. 기업의 AI 도입 증가

McKinsey & Company 설문(응답자 2,360명) 결과에 따르면, 대기업의 58%가 2019년 최소 하나의 기능 또는 사업 부문에서 AI를 활용하고 있었으며, 이는 2018년의 47%에서 증가한 수치이다. 그러나 알고리즘 설명 가능성과 관련한 리스크 저감 조치를 취한 조직은 19%에 불과했고, 편향 및 차별에 대응하는 조치를 취한 조직은 13%에 그쳤다[8].

8. AI는 PhD 전공 중 가장 인기 있는 분야

AI는 북미 컴퓨터 과학 대학원생 사이에서 가장 인기 있는 전공이 되었다. 2018년 컴퓨터 과학 PhD 졸업생의 21% 이상이 AI와 Machine Learning을 전공하였다. AI 분야 PhD 졸업생 중 산업계로 이직하는 비율은 2004년 21%에서 2018년 60% 이상으로 증가하였다[9].

9. 학계에서의 AI 교수진 이탈

AI 교수진의 학계에서 산업계로의 이탈이 가속화되었다. 2018년에는 40명 이상이 이직했는데, 이는 2012년의 15명, 2004년의 0명과 대조된다. 카네기멜런 대학교, 워싱턴 대학교, 버클리 캘리포니아 대학교에서 가장 많은 인원이 이탈하였다[10].

10. AI 윤리에 대한 관심 증가

AI 윤리 원칙을 담은 59개 문서에서 공정성, 해석 가능성, 설명 가능성이 가장 자주 언급되는 윤리적 과제로 확인되었다. AI 윤리 관련 세계 뉴스 기사 3,600편 이상(2018년 중반~2019년 중반)에서 지배적인 주제는 AI 윤리 사용에 관한 원칙 및 가이드라인(32%), 데이터 개인정보 보호(14%), 안면 인식(13%), 알고리즘 편향(11%), 대형 기술 기업의 역할(11%)이었다[11].

1장. 연구개발

이 장은 Elsevier Scopus 데이터, arXiv 프리프린트, Microsoft Academic Graph(MAG)의 논문 트렌드와 특허 활동, GitHub 소프트웨어 프레임워크 인기도, AI 연구자 성별 다양성을 분석한다[1].

논문 출판

유럽은 AI 분야 최대 논문 출판 지역으로, 2018년 Scopus 출판물의 27% 이상을 차지하였다. 중국의 비중은 2000년 10%에서 2018년 28%로 증가하였다. 미국에서는 기업의 논문 비중이 상대적으로 높았는데, 2018년 미국 AI 기업 논문 수는 중국보다 7배 이상 많았다[2].

arXiv에서 AI 관련 전체 논문 수는 2010~2019년 사이 20배 이상 증가하였다. 컴퓨터 비전(CV)은 2014년부터 최대 하위 카테고리였으나, 2019년에는 Machine Learning이 선도 카테고리가 되었다. 'Computation & Language' 하위 카테고리는 2010년 대비 거의 60배 성장하였다[12].

인용

세계 AI 학술지 논문 인용의 32% 이상이 동아시아에서, 학술대회 논문 인용의 40% 이상이 북미에서 발생하였다. 특허 분야에서 북미는 2014~2018년 AI 특허 관련 세계 인용 활동의 60% 이상을 점유하였다[13].

특허

세계 AI 특허의 51% 이상이 북미에 귀속되었다. 미국은 2위 국가인 일본보다 3배 많은 AI 특허를 출원하였다. AI 특허의 94% 이상이 고소득 국가에서 출원되었다[13].

GitHub Stars

두드러진 트렌드는 기업이 지원하는 프레임워크의 지배력이었다. TensorFlow(Google)와 PyTorch(Facebook)가 대표적이다. 비기업 프레임워크인 scikit-learn과 Caffe도 계속 성장했지만 속도는 더 느렸다[1].

연구의 성별 다양성

네덜란드의 AI 논문 중 41% 이상, 덴마크의 논문 중 39% 이상에 여성 공동 저자가 한 명 이상 포함되었다. 일본과 싱가포르에서는 이 비율이 각각 10%와 16%에 그쳤다. 서유럽 다수 국가와 아르헨티나, 캐나다, 이란은 AI 연구에서 여성 비율이 상대적으로 높았다[14].

2장. 학술대회

참가자 수

NeurIPS 2019는 13,500명의 참가자를 예상했는데, 이는 2012년 대비 800% 증가한 수치이다. ICLR은 2014년 대비 15배 성장하였다. Women in Machine Learning(WiML) 워크숍은 2014년 대비 738% 증가했으며, AI4ALL 프로그램은 2015년 대비 2,000% 증가하였다[1].

AAAI 통계

AAAI 2019 학술대회에서 중국이 투고 및 채택 논문 수에서 가장 많은 비중을 차지하였다. 투고자의 68% 이상이 대학원생이었다. 논문 채택률은 이스라엘이 24%로 가장 높았으며, 그 뒤를 독일(23%), 캐나다(22%), 미국과 싱가포르(각 20%)가 이었다. Machine Learning, NLP, 컴퓨터 비전이 세 가지 주요 주제 분야로 남았다[1].

학술대회에서의 윤리

주요 AI 학술대회에서 윤리 관련 키워드를 포함한 논문의 전체 수는 전체 논문 대비 작은 비율이었지만 빠르게 증가하고 있었다. 분석은 학술대회 논문 59,352편, 학술지 논문 50,756편을 포함한 총 110,108편을 대상으로 하였다[15].

3장. 기술 성능

이 장은 컴퓨터 비전, 자연어 처리, 추론, 기계 번역, 컴퓨팅 파워 분야의 기술 발전을 추적한다[1].

컴퓨터 비전

ImageNet. ImageNet에서 인간 정확도를 처음으로 초과한 방법은 2015년에 발표되었다. 2019년까지 발전은 계속되었으며, 가장 성과가 좋은 세 가지 방법은 추가 학습 데이터를 활용하였다. ImageNet 대회는 2017년 종료되었지만 해당 dataset은 핵심 benchmark로 남아 있다[16].

학습 시간과 비용. DAWNBench 프로젝트(Stanford) 데이터에 따르면, 클라우드 인프라에서 이미지 분류 모델을 top-5 정확도 93% 이상으로 학습하는 데 걸리는 시간이 2017년 10월 3시간 이상에서 2019년 7월 약 88초로 단축되었다. 학습 비용은 2017년 10월 $2,323(ResNet)에서 2018년 9월 약 $12(Cloud TPU를 사용한 GCP의 ResNet)로 하락하였다[3].

이미지 생성. 이미지 생성(CIFAR-10)의 진보는 FID(Fréchet Inception Distance) 지표로 측정되었으며, 점수가 낮을수록 생성 품질이 높음을 나타낸다[1].

의미론적 분할. 진보는 자율주행 시스템에 중요한 과제인 Cityscapes dataset의 mean IoU 지표로 측정되었다[1].

자연어 처리

GLUE. 2018년 5월에 출시된 General Language Understanding Evaluation benchmark는 9가지 텍스트 처리 과제로 시스템을 테스트한다. benchmark가 출시된 지 1년 남짓 지난 2019년 6월, AI 시스템 성과가 비전문가 평가자 수준을 초과하였다. RoBERTa(Facebook)와 T5(Google) 모델은 계속해서 성과를 개선하였다[17].

SuperGLUE. 2019년 5월에 출시된 더 난이도 높은 benchmark이다. 출시 5개월 이내에 Google의 T5 모델이 인간 기준선 89.8점에 거의 근접한 88.9점을 기록하였다[18].

SQuAD. Stanford Question Answering Dataset benchmark에서 SQuAD 1.1의 F1 점수는 2016년 8월 67점에서 2019년 5월 95점으로 상승하였다. SQuAD 2.0에서의 발전은 더욱 빨라서 2018년 5월 62점에서 2019년 6월 90점으로 향상되었다. SQuAD 1.0에서 F1 ≥ 75를 달성하는 질의응답 모델 학습 시간은 2017년 10월 7시간 이상에서 2019년 3월 19분 미만으로 단축되었다[19].

추론. ARC Challenge Set(Allen Institute for AI)에서 최고 성적은 2019년 9월 기준 67.7%였다. ARC-Easy에서는 85.4%였다. 추론이 필요한 과제는 AI 시스템에게 여전히 훨씬 어려운 과제로 남아 있었다[20].

기계 번역

사전 학습 모델을 갖춘 상업적으로 이용 가능한 기계 번역 시스템의 수가 2017년 8개에서 2019년 24개 이상으로 증가하였다. 품질 면에서 가장 큰 발전은 중국어-영어, 영어-독일어, 러시아어-영어 언어 쌍에서 관찰되었다[21].

Omniglot Challenge

3년간 일회 학습(one-shot) 분류 분야에서 주목할 만한 진보가 있었지만, 나머지 4가지 개념 학습 과제(예시 생성, 파싱, 새로운 개념 생성)에서의 진보는 제한적이었다. 베이지안 프로그램 학습(BPL)은 원래의 과제에서 여전히 신경망 방식을 능가하였다[22].

컴퓨팅 파워

OpenAI의 분석은 구조적 단절을 보여주었다. 2012년 이전에는 AI 컴퓨팅 파워가 2년마다 2배씩 증가(무어의 법칙)했으나, 2012년 이후에는 3.4개월마다 2배씩 증가하였다. 2012년 이후 이 지표는 30만 배 이상 증가하였다[4].

인간 수준 달성의 이정표

보고서는 기존에 기록된 성과(오셀로 — 1980, 체커 — 1995, 체스 — 1997, Jeopardy! — 2011, Atari — 2015, ImageNet — 2016, 바둑 — 2016, 포커 — 2017, Ms. Pac-Man — 2017, StarCraft II — 2019)에 두 가지 새로운 결과를 추가하여 AI 성과 연표를 업데이트하였다.

연도 성과
2018 AlphaFold(DeepMind) — 전례 없는 정확도로 단백질 3D 구조 예측
2019 AlphaStar(DeepMind) — StarCraft II 최상위 프로 선수 상대로 승리
2019 전문가 수준의 정확도로 당뇨병성 망막병증 탐지

4장. 경제

일자리 및 채용

AI 채용 지수(LinkedIn)에 따르면 싱가포르, 브라질, 호주, 캐나다, 인도가 2015~2019년 채용 성장률에서 선두를 달렸다. 미국 내에서는 워싱턴 주가 AI 채용 공고 상대 비중이 가장 높았으며(전체 채용 공고의 약 1.4%), 그 뒤를 캘리포니아(1.3%)와 매사추세츠(1.3%)가 이었다. 절대 수치로는 캘리포니아가 93,000개 이상의 AI 채용 공고로 1위였다[5].

AI 역량의 보급률은 IT 서비스(채용 공고의 2.3%), 전문·과학 서비스(2% 이상), 금융 및 보험(1.3%), 제조업(1.1%) 분야에서 가장 높았다[6].

LinkedIn 데이터에 따르면 인도는 세계 평균의 2.6배에 달하는 AI 역량 보급률을 나타냈다. 성별로 살펴보면, 표본 국가 모두에서 남성이 여성보다 더 많은 직종에서 AI 역량을 보고하는 흥미로운 양상이 관찰되었다[6].

투자

AI 스타트업 자금 조달은 2010~2018년 사이 연평균 48% 이상의 속도로 성장하였다. 2019년 11월까지의 투자액은 374억 달러에 달했다(2018년 연간 404억 달러와 비교). 2014년부터 2019년 사이에 총 15,798건의 투자가 이루어졌으며, 평균 규모는 약 860만 달러였다[7].

1인당 AI 투자 지표는 이스라엘이 가장 높았으며, 싱가포르와 아이슬란드가 그 뒤를 이었다. 중국 스타트업은 회사당 투자액이 훨씬 많았는데, 3,410만 달러로 미국보다 201%, 세계 평균보다 296% 많았다[7].

부문별로는 자율주행 자동차(77억 달러, 전체의 9.9%), 제약·암 치료(47억 달러), 안면 인식(47억 달러), 동영상 콘텐츠(36억 달러), 사기 탐지(31억 달러)가 가장 많은 투자를 받았다. 가장 빠르게 성장한 분야는 로봇 프로세스 자동화, 공급망 관리, 산업 자동화였다[7].

정부 투자(미국)

미국 연방 정부는 2020 회계연도 AI 연구에 49억 8천만 달러를 투자할 계획이었다. 국방부(DoD)는 40억 달러를 배정했으며, 이 중 5억 600만 달러는 DARPA를 통해, 2억 2,100만 달러는 메이븐 프로젝트에, 2억 900만 달러는 합동 AI 센터(JAIC)에 배분되었다. 연방 기관의 AI 관련 계약 지출은 2017년 4억 2,900만 달러에서 2018년 7억 2,800만 달러로 약 70% 증가하였다[23].

기업 도입

대기업의 58%가 최소 하나의 기능에서 AI를 활용한다고 보고했으며(2018년 47%에서 증가), 응답자의 30%가 여러 부문에서 AI를 도입했다고 답했다(2018년 21%). 가장 많이 도입된 AI 기능은 로봇 프로세스 자동화, 컴퓨터 비전, Machine Learning이었다. 사이버 보안은 조직이 가장 많이 대응하는 리스크(48%)였던 반면, 설명 가능성(19%) 및 공정성(13%) 리스크는 훨씬 적게 다루어졌다[8].

산업용 로봇

2018년 글로벌 산업용 로봇 설치 대수는 6% 증가하여 422,271대, 금액으로는 165억 달러에 달하였다. 가동 중인 로봇 대수는 2,439,543대였다. 중국, 일본, 미국, 한국, 독일 등 5대 시장이 글로벌 설치의 74%를 차지하였다. 중국은 154,032대를 설치하며 세계 1위(36%)를 유지하였다[24].

5장. 교육

온라인 학습

4,500만 명 이상의 학습자를 보유하고 3,700개 이상의 강좌를 제공하는 Coursera는 Global Skills Index를 통해 60개국을 AI 역량 기준으로 순위를 매겼다. 남아시아와 동아시아는 AI 및 관련 역량 강좌 등록 비율이 가장 높았다. Udacity에서는 'Introduction to Machine Learning' 강좌의 누적 등록자 수가 125,000명을 넘어섰다[25].

대학 프로그램

스탠퍼드에서 AI 입문 강좌 수강 신청자 수는 2012~2018년 사이 5배 증가하였다. 일리노이 대학교(UIUC)의 'Introduction to Machine Learning' 강좌 수강자는 2010~2018년 사이 12배 증가하였다. 국제적으로는 토론토 대학교가 가장 많은 등록 학생을 보유했으며, 그 뒤를 고등경제대학교(러시아)와 칭화 대학교(중국)가 이었다[1].

유럽에서는 AI 분야를 다루는 2,054개의 프로그램이 확인되었으며, 대다수는 석사 수준이었다. 유럽 197개 대학이 AI 분야 전문 석사 프로그램 406개를 제공하였다[26].

PhD 전공 분야 및 산업계 이탈

AI는 컴퓨터 과학 PhD 중 가장 인기 있는 전공이 되었으며, 2018년에는 21% 이상을 차지하였다. 산업계로 이탈하는 PhD 비율은 세 배가 되어 2004년 21%에서 2018년 62%로 증가하였다. 미국과 캐나다의 신규 AI PhD의 60% 이상이 외국인 유학생이었으며(2010년에는 40% 미만), 이들 중 졸업 후 미국을 떠난 비율은 약 10%에 불과하였다[9].

AI 교수진 이탈이 가장 많은 세 대학은 카네기멜런(정규직 17명), 워싱턴 대학교(11명), 버클리였다. 캐나다 대학 중에서는 토론토 대학교가 가장 많은 교수(9명)를 잃었다. AI 분야 PhD 졸업생 중 여성 비율은 2010년부터 2018년까지 약 20% 수준에서 안정적으로 유지되었다[10].

6장. 자율 시스템

자율주행 자동차

최소 25개국이 자율주행 자동차(AV)를 시험하는 도시를 보유하고 있었다. 캘리포니아 주에서는 2015년부터 2018년까지 시험 기업 수와 AV 총 대수가 7배 증가하였다. 2018년에는 50개 이상의 기업과 500대 이상의 AV가 200만 마일 이상을 주행하였다. 최소 41개 주와 컬럼비아 특별구가 AV 관련 입법을 검토하였다[27].

2018년 캘리포니아에서 AV의 사고 발생률은 100만 마일당 22.44건으로, 일반 운전자의 보정 수치보다 약 5.5배 높았다. 대부분의 사고에서 인간 운전자가 조작하는 차량이 주·정행 중인 AV를 주간에 후방에서 추돌하는 형태였다. 대부분의 피해는 경미하였다[27].

자율 무기

스톡홀름 국제평화연구소(SIPRI)의 전문가 연구에 따르면, 최소 89개국이 자동화 방공 시스템을 보유하고 있었다. 능동형 방어 시스템은 단 9개국만이 개발 및 생산하고 있었다. 해당 데이터는 1950~2017년 기간을 포괄하였다[28].

7장. 대중 인식

중앙은행

중앙은행 커뮤니케이션은 AI에 대한 관심이 증가하고 있음을 보여주었다. 잉글랜드 은행, 일본 은행, 미국 연방준비제도가 AI를 가장 자주 언급하였다. 발표 형태는 분석 문서에서 연설로 이동하였다[1].

의회 및 정부 활동

미국 의회에서 AI 관련 입법 활동이 2017~2018년 사이 10배 이상 증가하였다. 의회 속기록에서 2019년은 AI 언급 횟수가 가장 많은 해였다. 캐나다와 영국 의회에서도 유사한 추세가 관찰되었다[23].

기업

미국 상장 기업 3,000곳의 실적 발표(earnings calls) 중 AI를 언급한 비율이 2010년 0.01%에서 2018년 0.42%로 증가하였다. 금융 부문이 언급 횟수에서 선두를 차지하였다[1].

미디어 및 웹 검색

Google Trends 데이터에 따르면 미국에서 'machine learning'이라는 검색어가 관련 용어 중 검색 순위에서 앞섰다. GDELT Project 데이터에 따르면 AI 관련 뉴스 기사 중 17.7%가 고용에 대한 영향을 다루었고, 2.4%가 알고리즘 편향을, 0.99%만이 '킬러 로봇'을 언급하였다[29].

8장. 사회적 측면

윤리 원칙

PricewaterhouseCoopers는 협회 및 컨소시엄, 정부, 기술 기업, 싱크탱크, 학술 기관이 발표한 AI 윤리 원칙 문서 59개를 분석하였다. 가장 자주 언급된 12가지 윤리적 과제는 다음과 같다. 책임성, 안전성, 인간 통제, 신뢰성 및 보안, 공정성, 다양성 및 포용성, 지속가능성, 투명성, 해석 가능성 및 설명 가능성, 다자간 대화, 합법성 및 규정 준수, 데이터 개인정보 보호[11].

공정성, 해석 가능성/설명 가능성, 투명성이 가장 자주 언급되었다. 기술 기업의 경우 공정성이 100%의 프레임워크에서 언급되었고, 싱크탱크의 경우 공정성과 인간 통제가 각각 100%와 88%로 언급되었다[11].

AI와 유엔 지속가능발전목표

McKinsey Global Institute는 유엔의 17개 지속가능발전목표(SDG) 모두를 잠재적으로 지원할 수 있는 사회적 선을 위한 AI 활용 사례를 약 160가지 파악하였다. AI는 SDG의 169개 세부 목표 중 약 절반을 해결할 수 있는 것으로 나타났다. SDG 3(건강)과 SDG 16(평화롭고 포용적인 사회)에 부합하는 활용 사례가 가장 많았다. 그러나 지속가능발전을 위한 AI의 대규모 보급에는 데이터 가용성, 컴퓨팅 파워, 인력, 조직 역량 등 상당한 장벽이 남아 있었다[30].

9장. 국가 전략과 글로벌 AI 역동성

국가 전략

AI 관련 공식 전략 문서의 수가 꾸준히 증가하였다. PwC가 NLP 분석을 활용하여 37개 문서를 검토한 결과, 학계 파트너십이 94%의 문서에서 언급되었고, AI 연구개발은 48%, AI 거버넌스는 42%에서 언급되었다. 소비자 보호와 공정성은 가장 드물게 언급되었다(2%)[11].

Global AI Vibrancy Tool

이번에 처음 소개된 이 도구는 28개국을 대상으로 34개 지표를 다루며, 지표는 연구개발(21개), 경제(10개), 포용성(5개) 등 세 가지 축으로 분류된다. 이 도구는 사용자가 가중치를 조정하고 국가 간 비교 및 국가 내 비교를 수행할 수 있도록 지원한다[1].

국가별 프로필

보고서에는 브라질, 중국, 프랑스, 독일, 인도, 네덜란드, 싱가포르, 미국에 대한 상세한 국가별 프로필과 AI 분야 다자 지역 정책 개요가 포함되었다[1].

2019년 주요 benchmark 성과

Benchmark 최고 성과 (2019) 인간 수준 진보
ImageNet (Top-1) ~88% ~95% (단일 어노테이터) 추가 데이터로 지속적 개선
GLUE 비전문가 수준 초과 (2019년 6월) 87.1 (비전문가) RoBERTa, T5
SuperGLUE 88.9 (T5, Google) 89.8 benchmark 출시 5개월 만에 달성
SQuAD 1.1 (F1) 95 ~91 인간 수준 초과
SQuAD 2.0 (F1) 90 ~89 인간 수준에 거의 도달
ARC Challenge 67.7% — 추론 과제는 여전히 어려움
VQA 75.28% ~80% 연간 2.85%p 상승

방법론

보고서는 다양한 출처의 데이터를 활용하였다[1]:

  • 논문: Elsevier Scopus, arXiv (NESTA), Microsoft Academic Graph (MAG).
  • Benchmark: Papers With Code, DAWNBench/MLPerf, GLUE, SuperGLUE, SQuAD, ARC, VQA, ActivityNet 리더보드.
  • 학술대회: NeurIPS, ICML, ICLR, AAAI, CVPR, WiML, AI4ALL, RightsCon 등록 데이터.
  • 노동 시장: LinkedIn Economic Graph, Burning Glass Technologies, Indeed.
  • 투자: CAPIQ, Crunchbase, Quid.
  • 기업 활동: McKinsey Global Survey, International Federation of Robotics.
  • 정부 지출: Bloomberg Government.
  • 대중 인식: Google Trends, GDELT Project, Prattle(중앙은행), Hansard(의회).
  • 윤리 및 전략: PricewaterhouseCoopers (NAISR), Harvard, LexisNexis.
  • 교육: CRA Taulbee Survey, Coursera, Udacity, Joint Research Centre (EC).
  • 자율 시스템: California DMV, Bloomberg Philanthropies, SIPRI, NCSL.

저자진

보고서는 레이먼드 페로(Raymond Perrault, SRI International)의 조정 하에 요아브 쇼함(Yoav Shoham, 스탠퍼드 대학교)이 위원장을 맡은 AI Index 운영위원회가 작성하였다. 위원회 구성원은 다음과 같다. 에릭 브린욜프슨(MIT), 잭 클라크(OpenAI), 존 에치멘디(스탠퍼드), 바버라 그로스(하버드), 테라 라이언스(Partnership on AI), 제임스 매니카(McKinsey Global Institute), 후안 카를로스 니에블라스(스탠퍼드). 프로젝트 책임자 겸 편집장은 사우라브 미슈라(스탠퍼드 대학교)가 맡았다. 20개 이상의 파트너 기관이 데이터를 제공하였다[1].

외부 링크

참고 문헌

각주

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 Perrault, R., Shoham, Y., Brynjolfsson, E., Clark, J., Etchemendy, J., Grosz, B., Lyons, T., Manyika, J., Mishra, S., Niebles, J.C. (2019). The AI Index 2019 Annual Report. AI Index Steering Committee, Human-Centered AI Institute, Stanford University. https://aiindex.stanford.edu/report/
  2. ↑ 2.0 2.1 Elsevier Scopus. Data on AI publications 1998–2018. https://www.scopus.com/
  3. ↑ 3.0 3.1 Coleman, C. et al. Stanford DAWNBench: An End-to-End Deep Learning Benchmark and Competition. https://dawn.cs.stanford.edu/benchmark/
  4. ↑ 4.0 4.1 Amodei, D., Hernandez, D. (2018). AI and Compute. OpenAI. https://openai.com/blog/ai-and-compute
  5. ↑ 5.0 5.1 Burning Glass Technologies. AI Job Posting Data 2010–2019. https://www.burning-glass.com/
  6. ↑ 6.0 6.1 6.2 LinkedIn Economic Graph. AI Hiring Index and Skill Penetration Data. https://economicgraph.linkedin.com/
  7. ↑ 7.0 7.1 7.2 7.3 Quid. Global AI Startup Investment Data. CAPIQ, Crunchbase. https://quid.com/
  8. ↑ 8.0 8.1 McKinsey & Company (2019). Global AI Survey: AI proves its worth, but few scale impact. https://www.mckinsey.com/capabilities/quantumblack/our-insights/global-ai-survey-ai-proves-its-worth-but-few-scale-impact
  9. ↑ 9.0 9.1 Computing Research Association. Taulbee Survey 2018. https://cra.org/resources/taulbee-survey/
  10. ↑ 10.0 10.1 Gofman, M., Jin, Z. (2019). Artificial Intelligence, Human Capital, and Innovation. University of Rochester Working Paper. http://www.aibraindrain.org
  11. ↑ 11.0 11.1 11.2 11.3 PricewaterhouseCoopers (2019). National AI Strategy Radar and Ethical AI Principles Analysis. https://www.pwc.com/
  12. ↑ arXiv. AI papers statistics 2010–2019. NESTA analysis. https://arxiv.org/
  13. ↑ 13.0 13.1 Wang, K., Shen, I., Dong, Y. Microsoft Academic Graph Data 2019. https://academic.microsoft.com/
  14. ↑ Stathoulopoulos, K., Mateos-Garcia, J. (2019). Women in AI Research. NESTA. https://www.nesta.org.uk/
  15. ↑ Prates, M., Avelar, P., Lamb, L. (2019). Ethics analysis in AI conferences. Federal University of Rio Grande do Sul.
  16. ↑ Russakovsky, O. et al. ImageNet Large Scale Visual Recognition Challenge. https://www.image-net.org/
  17. ↑ Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. https://gluebenchmark.com/
  18. ↑ Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. https://super.gluebenchmark.com/
  19. ↑ Rajpurkar, P. et al. (2018). Know What You Don't Know: Unanswerable Questions for SQuAD. https://rajpurkar.github.io/SQuAD-explorer/
  20. ↑ Clark, P. et al. (2018). Think you have Solved Question Answering? Try ARC. Allen Institute for AI. https://allenai.org/data/arc
  21. ↑ Savenkov, K. Intento Machine Translation Quality Evaluation. https://inten.to/
  22. ↑ Lake, B. (2019). Omniglot Challenge: 3-year progress report. New York University.
  23. ↑ 23.0 23.1 Bloomberg Government (2019). Federal AI R&D Budget Analysis.
  24. ↑ International Federation of Robotics (2019). World Robotics Report 2019. https://ifr.org/worldrobotics/
  25. ↑ Coursera (2019). Global Skills Index. https://www.coursera.org/gsi
  26. ↑ Joint Research Centre, European Commission (2019). Academic offer and demand for advanced profiles in the EU.
  27. ↑ 27.0 27.1 California Department of Motor Vehicles (2019). Autonomous Vehicle Disengagement and Collision Reports. https://www.dmv.ca.gov/portal/vehicle-industry-services/autonomous-vehicles/
  28. ↑ Boulanin, V., Verbruggen, M. (2019). Mapping the Development of Autonomy in Weapon Systems. SIPRI. https://www.sipri.org/
  29. ↑ GDELT Project. Global AI News Coverage Data 2017–2019. https://www.gdeltproject.org/
  30. ↑ McKinsey Global Institute (2019). Notes from the AI frontier: Applying AI for social good. https://www.mckinsey.com/mgi/overview
Retrieved from "https://systems-analysis.info/int/index.php?title=The_2019_AI_Index_Report_(KO)&oldid=7960"