---
title: "The 2018 AI Index Report (VI)"
source: "https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)"
wiki: "systems-analysis.info/int"
article: "The_2018_AI_Index_Report_(VI)"
language: "vi"
categories:
  - "Category:Machine learning"
  - "Category:Vietnamese"
revision_id: 7949
wiki_created_at: 2026-09-07T01:09:28Z
wiki_modified_at: 2026-09-07T01:09:28Z
downloaded_at: 2026-09-07T23:21:55Z
---

# The 2018 AI Index Report (VI)

**AI Index Report 2018** — ấn bản thường niên lần thứ hai của báo cáo **AI Index**, được Ban Chỉ đạo AI Index tại Đại học Stanford chuẩn bị vào tháng 12 năm 2018<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>. Sứ mệnh của dự án AI Index là cung cấp dữ liệu khách quan cho các cuộc thảo luận về trí tuệ nhân tạo. Báo cáo năm 2018 khác với ấn bản đầu tiên (2017) ở chỗ phạm vi toàn cầu được mở rộng đáng kể: nếu báo cáo trước chủ yếu tập trung vào các vấn đề của Bắc Mỹ, thì ấn bản năm 2018 hướng tới việc bao gồm dữ liệu từ châu Âu, Trung Quốc, Hàn Quốc, Nhật Bản và các khu vực khác trên thế giới. Báo cáo theo dõi, hệ thống hóa và trực quan hóa dữ liệu liên quan đến AI, cung cấp thông tin cho các nhà hoạch định chính sách, nhà nghiên cứu, lãnh đạo doanh nghiệp, nhà báo và công chúng rộng rãi.

## Cấu trúc báo cáo

Báo cáo năm 2018 gồm bốn phần chính<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>:

1.  **Dữ liệu: Khối lượng hoạt động (Volume of Activity)** — các ấn phẩm, đăng ký khóa học, tham dự hội nghị, tải xuống phần mềm robot, startup và đầu tư, vị trí tuyển dụng, bằng sáng chế, ứng dụng AI trong doanh nghiệp, đề cập trong báo cáo lợi nhuận, lắp đặt robot, dự án mã nguồn mở, mức độ quan tâm của công chúng.
2.  **Dữ liệu: Hiệu suất kỹ thuật (Technical Performance)** — thị giác máy tính, xử lý ngôn ngữ tự nhiên, dịch máy, hệ thống hỏi đáp.
3.  **Các thước đo bổ sung (Other Measures)** — các chỉ số phái sinh, sáng kiến chính phủ, thành tựu ngang tầm năng lực con người.
4.  **Phụ lục (Appendix)** — mô tả đầy đủ về nguồn dữ liệu, phương pháp luận và các sắc thái.

## Các kết luận chính của báo cáo

Các tác giả báo cáo năm 2018 đã đưa ra một số luận điểm chính<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>:

### AI là hiện tượng toàn cầu

83% các bài báo về AI trong cơ sở dữ liệu Scopus năm 2017 được công bố bởi các tác giả ngoài Hoa Kỳ. 28% tổng số bài báo về AI thuộc về châu Âu — tỷ lệ cao nhất trong tất cả các khu vực trên thế giới. Số sinh viên đăng ký các khóa học về AI và Machine Learning tăng trên toàn thế giới, đặc biệt rõ rệt tại Đại học Thanh Hoa (Trung Quốc), nơi tổng số đăng ký các khóa học AI và ML năm 2017 cao gấp 16 lần so với năm 2010<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

### Hoạt động trong lĩnh vực AI tăng trưởng gần như ở khắp nơi

Tăng trưởng được ghi nhận trong các ấn phẩm, khóa học, hội nghị, startup, tài trợ mạo hiểm, bằng sáng chế và các thước đo khác. Hiệu suất công nghệ cải thiện trên tất cả các mặt<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

### Machine Learning chiếm ưu thế như một nhánh của AI

Năm 2017, 56% bài báo về AI trên Scopus thuộc danh mục "Machine Learning và suy luận xác suất" (so với 28% năm 2010). Số đăng ký các khóa học nhập môn ML tăng nhanh hơn so với các khóa học về AI nói chung. Các hội nghị NeurIPS và ICML dành riêng cho Machine Learning ghi nhận mức tăng trưởng lượng người tham dự cao nhất<sup>[\[2\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Scopus2018-2)</sup>.

### Đa dạng giới tính vẫn là vấn đề nghiêm trọng

Trung bình 80% giáo sư AI tại các trường đại học hàng đầu (UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford, ETH Zurich) là nam giới. Trung bình 71% ứng viên cho các vị trí liên quan đến AI tại Hoa Kỳ là nam giới<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

## Phần 1. Khối lượng hoạt động: Nghiên cứu

### Ấn phẩm

Số lượng bài báo về AI trên nền tảng Scopus đã tăng gấp 7 lần kể từ năm 1996, trong khi các bài báo về khoa học máy tính (Computer Science) tăng gấp 5 lần trong cùng giai đoạn. Điều này cho thấy sự tăng trưởng của các ấn phẩm AI không chỉ do sự quan tâm chung đến khoa học máy tính, mà còn có động lực riêng<sup>[\[2\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Scopus2018-2)</sup>.

**Phân bổ theo khu vực.** Châu Âu luôn là khu vực có số lượng ấn phẩm AI lớn nhất: năm 2017, 28% bài báo về AI trên Scopus liên quan đến các tác giả châu Âu, tiếp theo là Trung Quốc (25%) và Hoa Kỳ (17%). Trong khi đó, số lượng ấn phẩm từ Trung Quốc tăng 150% trong giai đoạn 2007–2017<sup>[\[2\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Scopus2018-2)</sup>.

**Các danh mục con.** Mức tăng trưởng lớn nhất được ghi nhận trong danh mục mạng nơ-ron: tốc độ tăng trưởng bình quân hàng năm (CAGR) đạt 3% trong giai đoạn 2010–2014 và 37% trong giai đoạn 2014–2017. Các bài báo trên nền tảng arXiv cũng ghi nhận mức tăng trưởng nhanh chóng: thị giác máy tính và nhận dạng mẫu trở thành danh mục con AI lớn nhất trên arXiv kể từ năm 2014<sup>[\[3\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-arXiv2018-3)</sup>.

**Thành phần theo khu vực thể chế.** Số lượng bài báo AI liên quan đến các tổ chức nhà nước Trung Quốc tăng 400% trong giai đoạn 2007–2017, trong khi các ấn phẩm từ doanh nghiệp Trung Quốc chỉ tăng 73%. Tại Hoa Kỳ, ngược lại, tỷ lệ ấn phẩm từ doanh nghiệp cao hơn đáng kể: năm 2017, tỷ lệ bài báo AI từ doanh nghiệp Hoa Kỳ cao gấp 6,6 lần so với Trung Quốc và gấp 4,1 lần so với châu Âu<sup>[\[2\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Scopus2018-2)</sup>.

**Mức độ trích dẫn.** Các tác giả từ Hoa Kỳ được trích dẫn nhiều hơn 83% so với mức trung bình toàn cầu. Mặc dù châu Âu dẫn đầu về số lượng ấn phẩm tuyệt đối, mức độ trích dẫn của châu Âu vẫn ở mức trung bình toàn cầu. Trung Quốc đã cải thiện đáng kể mức độ trích dẫn: năm 2016, các tác giả Trung Quốc được trích dẫn nhiều hơn 44% so với năm 2000<sup>[\[2\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Scopus2018-2)</sup>.

**Tính di động của tác giả.** Các tác giả di động (công bố bài báo ngoài khu vực quê hương của họ) có mức độ trích dẫn và năng suất cao hơn so với các tác giả "tại chỗ" (sedentary). Trong số ba khu vực, Trung Quốc có tỷ lệ tác giả tại chỗ cao nhất (76%), tiếp theo là châu Âu (52%) và Hoa Kỳ (38%)<sup>[\[2\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Scopus2018-2)</sup>.

**Hội nghị AAAI.** Tại hội nghị AAAI 2018, khoảng 70% bài nộp và 67% bài được chấp nhận có liên quan đến Hoa Kỳ hoặc Trung Quốc. Mặc dù Trung Quốc nộp số lượng bài báo nhiều nhất, Hoa Kỳ và Trung Quốc có số lượng bài được chấp nhận gần như bằng nhau (268 và 265 tương ứng). Tỷ lệ chấp nhận của Hoa Kỳ là 29%, của Trung Quốc là 21%<sup>[\[4\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AAAI2018-4)</sup>.

### Đăng ký khóa học

**Các trường đại học Hoa Kỳ.** Số đăng ký các khóa học nhập môn ML năm 2017 cao gấp 5 lần so với năm 2012. Tại UC Berkeley, mức tăng là 6,8 lần. Số đăng ký các khóa học nhập môn AI tăng 3,6 lần trong cùng giai đoạn. Trong đó, 74–79% sinh viên tại các khóa học nhập môn AI và ML ở Stanford và Berkeley là nam giới<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

**Các trường đại học quốc tế.** Tổng số đăng ký các khóa học AI+ML tại Đại học Thanh Hoa năm 2017 cao hơn 16 lần so với năm 2010. Mức tăng trưởng cũng được ghi nhận tại Đại học Edinburgh, USTC và SJTU (Trung Quốc), PUC (Chile) và các trường đại học khác<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

### Tham dự hội nghị

**Các hội nghị lớn.** NeurIPS và ICML ghi nhận mức tăng trưởng lớn nhất: năm 2018, lượng người tham dự NeurIPS cao gấp 4,8 lần so với năm 2012, còn ICML cao gấp 6,8 lần. Điều này phản ánh sự quan tâm liên tục đến Machine Learning<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

**Các hội nghị nhỏ.** Lượng người tham dự ICLR (International Conference on Learning Representations) năm 2018 cao gấp 20 lần so với năm 2012 — có thể do sự quan tâm ngày càng tăng đến deep learning và Reinforcement Learning<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

| Hội nghị | Lượng người tham dự (2018, ước tính) | Tăng trưởng từ năm 2012 |
|----------|--------------------------------------|-------------------------|
| NeurIPS  | ~8 000                               | 4,8x                    |
| CVPR     | ~6 500                               | 2,5x                    |
| ICML     | ~5 000                               | 6,8x                    |
| ICLR     | ~2 000                               | 20x                     |
| IJCAI    | ~3 000                               | 1,5x                    |
| AAAI     | ~3 500                               | 2,0x                    |

**Các tổ chức hòa nhập.** Số đăng ký hội thảo Women in Machine Learning (WiML) tăng 600% kể từ năm 2014. Số học viên tốt nghiệp AI4ALL (sáng kiến tăng cường sự đa dạng trong AI) tăng 900% kể từ năm 2015<sup>[\[5\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-WiML2018-5)[\[6\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AI4ALL2018-6)</sup>.

### Tải xuống phần mềm robot

Số lượt tải xuống duy nhất các gói ROS (Robot Operating System) từ trang ROS.org tăng 567% kể từ năm 2014. Số lượt xem trang ROS.org từ Trung Quốc năm 2017 cao gấp 18 lần so với năm 2012<sup>[\[7\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-ROS2018-7)</sup>.

### Đa dạng giới tính trong giới học thuật

Phân tích đội ngũ giảng viên AI tại bảy trường đại học hàng đầu thế giới cho thấy trung bình 80% giáo sư AI là nam giới. Các trường được phân tích gồm UC Berkeley, Stanford, UIUC, CMU, University College London, Oxford và ETH Zurich. Không có sự khác biệt đáng kể nào được tìm thấy giữa các khu vực<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

## Phần 2. Khối lượng hoạt động: Ngành công nghiệp

### Startup và đầu tư

Số lượng startup AI đang hoạt động tại Hoa Kỳ được hỗ trợ bởi vốn mạo hiểm tăng 113% từ tháng 1 năm 2015 đến tháng 1 năm 2018, trong khi tổng số startup chỉ tăng 28%<sup>[\[8\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-SandHill2018-8)</sup>.

Tài trợ mạo hiểm cho các startup AI tại Hoa Kỳ tăng 350% từ năm 2013 đến năm 2017, trong khi tổng tài trợ mạo hiểm tăng 100% trong cùng giai đoạn<sup>[\[8\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-SandHill2018-8)</sup>.

### Vị trí tuyển dụng

Deep learning là kỹ năng có mức tăng trưởng nhu cầu nhanh nhất: số lượng vị trí tuyển dụng yêu cầu kỹ năng deep learning tăng gấp 34 lần từ năm 2015 đến năm 2017. Machine Learning vẫn là kỹ năng được yêu cầu nhiều nhất theo khối lượng tuyệt đối<sup>[\[9\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Monster2018-9)</sup>.

**Phân bổ theo giới tính.** Trung bình nam giới chiếm 71% nhóm ứng viên cho các vị trí liên quan đến AI tại Hoa Kỳ. Sự đa dạng giới tính lớn nhất được ghi nhận trong số ứng viên cho các vị trí liên quan đến deep learning và robot<sup>[\[9\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Monster2018-9)</sup>.

### Bằng sáng chế

Năm 2014, khoảng 30% bằng sáng chế trong lĩnh vực AI được đăng ký tại Hoa Kỳ, tiếp theo là Hàn Quốc và Nhật Bản (mỗi nước 16%). Hàn Quốc và Đài Loan ghi nhận mức tăng trưởng lớn nhất: số lượng bằng sáng chế AI năm 2014 cao gần gấp 5 lần so với năm 2004<sup>[\[10\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-amplified2018-10)</sup>.

### Ứng dụng AI trong doanh nghiệp

Theo dữ liệu khảo sát của McKinsey & Company (2.135 người được hỏi), các công nghệ AI phổ biến nhất là tự động hóa quy trình bằng robot và Machine Learning. Các tổ chức thường triển khai AI trong các chức năng kinh doanh mang lại lợi nhuận cao nhất trong ngành của họ: các công ty tài chính tích cực ứng dụng AI trong quản lý rủi ro, các công ty ô tô — trong sản xuất, bán lẻ — trong marketing và bán hàng<sup>[\[11\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-McKinsey2018-11)</sup>.

| Khu vực                                     | Các khả năng AI phổ biến nhất (% người được hỏi)     |
|---------------------------------------------|------------------------------------------------------|
| Bắc Mỹ                                      | Tự động hóa quy trình (23%), Machine Learning (23%)  |
| Châu Âu                                     | Tự động hóa quy trình (27%), Machine Learning (21%)  |
| Các thị trường mới nổi (bao gồm Trung Quốc) | Thị giác máy tính (26%), tự động hóa quy trình (23%) |
| Ấn Độ                                       | Machine Learning (25%), tự động hóa quy trình (30%)  |

### Đề cập AI trong báo cáo doanh nghiệp

Các đề cập đến "trí tuệ nhân tạo" và "machine learning" trong báo cáo lợi nhuận của các công ty niêm yết trên Sở Giao dịch Chứng khoán New York tăng mạnh kể từ năm 2015. Trong lĩnh vực công nghệ thông tin, NVIDIA dẫn đầu về số lượng đề cập AI (93 lần năm 2017), tiếp theo là LivePerson (50) và Pegasystems (44). Về số lượng đề cập ML, Alphabet dẫn đầu (57)<sup>[\[12\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Prattle2018-12)</sup>.

### Lắp đặt robot công nghiệp

Trung Quốc ghi nhận mức tăng 500% trong số lượng lắp đặt robot công nghiệp hàng năm từ năm 2012 đến năm 2017. Hàn Quốc và châu Âu tăng lần lượt 105% và 122%. Trong số các thị trường nhỏ hơn, Đài Loan ghi nhận khối lượng và mức tăng trưởng lớn nhất<sup>[\[13\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-IFR2018-13)</sup>.

### Phần mềm mã nguồn mở

Phân tích số lượt đánh dấu sao (stars) trên các kho lưu trữ GitHub cho thấy sự tăng trưởng đáng kể về mức độ phổ biến của các framework được hỗ trợ bởi các công ty lớn: TensorFlow (Google), PyTorch (Facebook), MXNet (Amazon). TensorFlow vượt trội hơn hẳn so với các framework khác về mức độ phổ biến, đạt hơn 100.000 lượt đánh dấu sao vào năm 2018<sup>[\[14\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-GitHub2018-14)</sup>.

## Phần 3. Khối lượng hoạt động: Sự quan tâm của công chúng

### Sắc thái đưa tin trên truyền thông

Các bài báo chứa thuật ngữ "trí tuệ nhân tạo" trở nên ít trung lập hơn và tích cực hơn: tỷ lệ bài báo có sắc thái tích cực tăng từ 12% vào tháng 1 năm 2016 lên 30% vào tháng 7 năm 2016 và duy trì ở mức này đến năm 2018<sup>[\[15\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-TrendKite2018-15)</sup>.

### Đề cập trong các văn kiện chính phủ

Các đề cập đến "trí tuệ nhân tạo" và "machine learning" trong biên bản Quốc hội Hoa Kỳ, nghị viện Canada và Vương quốc Anh tăng mạnh kể từ năm 2016. Đáng chú ý là "machine learning" hầu như không được đề cập trong các văn kiện nghị viện trước năm 2016<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

## Phần 4. Hiệu suất kỹ thuật

### Thị giác máy tính: ImageNet

**Độ chính xác.** Hiệu suất trên ImageNet tiếp tục tăng ngay cả sau khi cuộc thi chính thức kết thúc vào năm 2017. AI Index theo dõi tiến độ dựa trên kết quả trên tập dữ liệu kiểm định ImageNet 2012. Độ chính xác phân loại hình ảnh vượt đáng kể so với mức của con người (khoảng 5% lỗi)<sup>[\[16\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-ImageNet2018-16)</sup>.

**Tốc độ huấn luyện.** Thời gian huấn luyện mạng nơ-ron để phân loại hình ảnh ImageNet giảm từ khoảng 60 phút (tháng 6 năm 2017) xuống còn 3,7 phút (tháng 11 năm 2018) — tăng tốc 16 lần trong vòng một năm rưỡi. Điều này phản ánh cả sự đổi mới về thuật toán lẫn đầu tư vào cơ sở hạ tầng (phần cứng và phần mềm)<sup>[\[17\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-DAWNBench2018-17)</sup>.

| Ngày              | Thời gian huấn luyện ImageNet |
|-------------------|-------------------------------|
| Tháng 6 năm 2017  | ~60 phút                      |
| Tháng 11 năm 2017 | ~30 phút                      |
| Tháng 11 năm 2017 | ~15 phút                      |
| Tháng 7 năm 2018  | ~6,6 phút                     |
| Tháng 11 năm 2018 | ~3,7 phút                     |

### Thị giác máy tính: COCO

Tại cuộc thi COCO (Common Objects in Context) về phân đoạn đối tượng, độ chính xác trung bình cao nhất tăng 72% từ năm 2015 đến năm 2018 (từ 0,28 lên 0,48). Cộng đồng thị giác máy tính đã chuyển từ các nhiệm vụ tương đối đơn giản (phân loại) sang các nhiệm vụ phức tạp hơn (định vị đối tượng ở cấp độ pixel, phân đoạn ngữ nghĩa)<sup>[\[18\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-COCO2018-18)</sup>.

### Xử lý ngôn ngữ tự nhiên: phân tích cú pháp

Chỉ số F1 cho phân tích cú pháp câu (Penn Treebank) tăng 9 điểm phần trăm từ năm 2003 đến năm 2018 (từ ~86% lên ~95%). Phân tích cú pháp đã gần như chuyển hoàn toàn từ các phương pháp tương tự phân tích cú pháp ngôn ngữ lập trình sang các phương pháp dựa trên deep learning<sup>[\[19\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-PennTreebank-19)</sup>.

### Dịch máy

Điểm BLEU cho dịch từ tiếng Anh sang tiếng Đức tại cuộc thi WMT tăng gấp 3,5 lần so với năm 2008; cho dịch từ tiếng Đức sang tiếng Anh — tăng gấp 2,5 lần. Sự tiến bộ được thúc đẩy bởi kiến trúc Transformer và việc sử dụng dữ liệu hiệu quả hơn<sup>[\[20\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-WMT2018-20)</sup>.

### Hệ thống hỏi đáp: ARC

Trên benchmark AI2 Reasoning Challenge (ARC), được Allen Institute for AI phát hành vào tháng 4 năm 2018, hiệu suất trên Challenge Set (các câu hỏi khó ở cấp độ lớp 3–9 của trường học Mỹ) được cải thiện từ 27% lên 42%, còn trên Easy Set — từ 63% lên 69% trong giai đoạn từ tháng 4 đến tháng 11 năm 2018<sup>[\[21\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-ARC2018-21)</sup>.

### Hệ thống hỏi đáp: GLUE

Benchmark GLUE (General Language Understanding Evaluation), phát hành vào tháng 5 năm 2018, được thiết kế để kiểm tra các hệ thống hiểu ngôn ngữ tự nhiên trên chín nhiệm vụ con. Mặc dù benchmark chỉ tồn tại chưa đầy nửa năm, hiệu suất đã thu hẹp khoảng cách giữa chỉ số cơ sở đầu tiên được công bố và mức ước tính của con người (~90%) khoảng một nửa. Mô hình BERT của Google trở thành tiêu chuẩn mới — được trích dẫn tám lần trong tháng đầu tiên sau khi ra mắt<sup>[\[22\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-GLUE2018-22)[\[23\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-BERT2018-23)</sup>.

## Phần 5. Các thước đo phái sinh

### Động lực "học thuật — công nghiệp"

Để nghiên cứu mối quan hệ giữa hoạt động học thuật và công nghiệp trong AI, các tác giả đã đối chiếu ba chỉ số được chuẩn hóa: các ấn phẩm trên Scopus, số đăng ký các khóa học AI/ML tại các trường đại học Hoa Kỳ và đầu tư mạo hiểm vào các startup AI. Cả ba chỉ số đều tăng kể từ năm 2010, nhưng đầu tư mạo hiểm tăng nhanh hơn đáng kể so với các chỉ số còn lại<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

### Chỉ số sức sống AI (AI Vibrancy Index)

Chỉ số sức sống tổng hợp ba thước đo (ấn phẩm, đăng ký, đầu tư mạo hiểm) thành một chỉ số duy nhất, được chuẩn hóa về năm 2010. Đến năm 2017, chỉ số đã tăng khoảng 7–9 lần so với giá trị cơ sở năm 2010, chủ yếu nhờ sự tăng trưởng của tài trợ mạo hiểm<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

## Phần 6. Sáng kiến chính phủ

Báo cáo lần đầu tiên bao gồm tổng quan về các sáng kiến chính phủ trong lĩnh vực AI theo ba khu vực<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)[\[24\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-Dutton2018-24)</sup>:

### Hoa Kỳ

Vào tháng 10 năm 2016, chính quyền Obama đề xuất chiến lược AI quốc gia và công bố báo cáo chính sách đầu tiên về chuẩn bị cho tương lai AI (*Preparing for the Future of Artificial Intelligence*). Vào tháng 5 năm 2018, chính quyền Trump tổ chức Hội nghị Thượng đỉnh về AI và thành lập Ủy ban Đặc biệt về Trí tuệ Nhân tạo. Vào tháng 9 năm 2018, DARPA công bố kế hoạch đầu tư hơn 2 tỷ USD vào chương trình AI Next. Các công ty tư nhân đóng vai trò trung tâm: năm 2017, Amazon và Alphabet đầu tư vào R&D lần lượt 16,1 tỷ và 13,9 tỷ USD — nhiều hơn đáng kể so với tổng ngân sách của NSF, DARPA và DOT (~5,3 tỷ USD)<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

### Châu Âu

Vào tháng 4 năm 2018, các quốc gia thành viên EU đã ký kết Tuyên bố Hợp tác về AI, và Ủy ban châu Âu phân bổ 1,5 tỷ euro để hỗ trợ nghiên cứu AI trong giai đoạn 2018–2020 (ngoài 2,6 tỷ euro từ chương trình Horizon 2020). Mục tiêu là thu hút 20 tỷ euro đầu tư vào AI trong 10 năm. Vương quốc Anh công bố AI Sector Deal với khoản đầu tư 950 triệu bảng Anh. Pháp công bố ba báo cáo, bao gồm "Mission Villani", tập trung vào chính sách, ngăn chặn chảy máu chất xám và sự đa dạng trong AI<sup>[\[25\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-EC2018-25)</sup>.

### Trung Quốc

Từ năm 2014, chính phủ Trung Quốc đã khởi động một loạt sáng kiến quốc gia với mục tiêu tạo ra thị trường AI trị giá 14,7 tỷ USD vào năm 2018 và đảm bảo vị trí dẫn đầu thế giới của Trung Quốc trong AI vào năm 2030. Văn kiện chủ chốt là "Kế hoạch Phát triển AI thế hệ mới" (tháng 7 năm 2017), đề ra mục tiêu đạt trình độ các nước tiên tiến vào năm 2020, đạt đột phá lớn vào năm 2025 và trở thành trung tâm đổi mới sáng tạo AI toàn cầu vào năm 2030<sup>[\[26\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-ChinaAI2017-26)</sup>.

## Phần 7. Thành tựu ngang tầm năng lực con người

Báo cáo tiếp tục dòng thời gian về các trường hợp AI đạt đến hoặc vượt qua trình độ con người. Năm 2018 bổ sung thêm bốn thành tựu mới<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>:

| Năm      | Thành tựu                             | Mô tả                                                                                                                   |
|----------|---------------------------------------|-------------------------------------------------------------------------------------------------------------------------|
| 1980     | Othello                               | Chương trình BILL (Kuo-Fu Lee và S. Mahajan) đánh bại nhà vô địch Mỹ; năm 1997 Logistello đánh bại nhà vô địch thế giới |
| 1995     | Cờ đam                                | Chương trình Chinook đánh bại nhà vô địch thế giới                                                                      |
| 1997     | Cờ vua                                | IBM DeepBlue đánh bại Garry Kasparov                                                                                    |
| 2011     | Jeopardy!                             | IBM Watson đánh bại các nhà vô địch Brad Rutter và Ken Jennings                                                         |
| 2015     | Atari                                 | DeepMind đạt trình độ con người trong 49 trò chơi Atari                                                                 |
| 2016     | Cờ vây (Go)                           | AlphaGo đánh bại Lee Sedol (4–1); AlphaGo Zero đánh bại AlphaGo 100–0                                                   |
| 2016     | Phát hiện đối tượng (ImageNet)        | Tỷ lệ lỗi phân loại giảm từ 28% (năm 2010) xuống dưới 3% so với mức ~5% của con người                                   |
| 2017     | Nhận dạng giọng nói (Switchboard)     | Microsoft và IBM đạt độ chính xác gần ngang bằng con người                                                              |
| 2017     | Poker                                 | Libratus (CMU) đánh bại bốn người chơi chuyên nghiệp trong 120.000 ván; DeepStack (Alberta) đánh bại 11 chuyên gia      |
| 2017     | Phân loại ung thư da                  | Hệ thống AI (Esteva et al., Nature) đạt trình độ của 21 bác sĩ da liễu được chứng nhận                                  |
| 2017     | Ms. Pac-Man                           | Nhóm Maluuba (Microsoft) đạt điểm tối đa 999.900 trên Atari 2600                                                        |
| **2018** | **Capture the Flag**                  | **Tác nhân DeepMind đạt trình độ con người trong phiên bản sửa đổi của Quake III Arena CTF**                            |
| **2018** | **Dota 2**                            | **OpenAI Five đánh bại các đội nghiệp dư (với hạn chế), nhưng thua các đội chuyên nghiệp**                              |
| **2018** | **Chấm điểm ung thư tuyến tiền liệt** | **Hệ thống Google đạt độ chính xác tổng thể 70% so với 61% của các bác sĩ bệnh lý**                                     |
| **2018** | **Dịch tiếng Trung — tiếng Anh**      | **Hệ thống Microsoft đạt trình độ con người trên tập dữ liệu newstest2017**                                             |

Các tác giả báo cáo nhấn mạnh rằng không nên đánh giá quá cao những kết quả này: các nhiệm vụ đều mang tính chuyên biệt hẹp, và các thành tựu không chứng minh khả năng tổng quát hóa của các hệ thống<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

## Phần 8. Còn thiếu gì? (What's Missing?)

Phần này trình bày ý kiến của ba chuyên gia về các hướng phát triển của chỉ số<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

**Francesca Rossi** (IBM, Đại học Padua) đề xuất bổ sung các thước đo cho suy luận thông thường (common sense reasoning), hiểu ngôn ngữ tự nhiên sâu, hợp tác giữa người và máy (thay vì đối lập), kết hợp Machine Learning với AI biểu tượng và suy luận nhân quả (causality)<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

**Rodney Brooks** (MIT) lưu ý đến sự hạn chế của thước đo robot công nghiệp, vốn thường không có thành phần AI. Ông đề xuất theo dõi các robot có thành phần AI: drone (SLAM và các thuật toán khác), robot gia dụng (Roomba) và các robot xã hội tiềm năng<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

**Toby Walsh** (UNSW Sydney, TU Berlin) chỉ ra sự cần thiết của các thước đo định lượng để đo lường các khoản đầu tư nhà nước và tư nhân ngày càng tăng (Vương quốc Anh — 1 tỷ bảng, Pháp — 1,5 tỷ euro, Đức — 3 tỷ euro, Alibaba — 15 tỷ USD), cũng như để theo dõi các ứng dụng quân sự của AI, bao gồm vũ khí tự động<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

## Phương pháp luận

Báo cáo sử dụng dữ liệu từ nhiều nguồn khác nhau<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>:

- **Ấn phẩm:** Elsevier Scopus (~70 triệu tài liệu, ~800 từ khóa AI), arXiv.org.
- **Hội nghị:** AAAI, NeurIPS, ICML, CVPR, ICLR, IJCAI, ACL, ICRA, ICAPS, UAI, KR, AAMAS, WiML, AI4ALL.
- **Khóa học:** dữ liệu trực tiếp từ các trường đại học (17 trường ở 10 quốc gia).
- **Startup và đầu tư:** Sand Hill Econometrics (Dow Jones VentureSource), Crunchbase API.
- **Vị trí tuyển dụng:** Monster.com, Gartner TalentNeuron.
- **Bằng sáng chế:** amplified (mã IPC: Cognition and meaning understanding, Human-interface technology).
- **Ứng dụng AI:** McKinsey & Company (khảo sát 2.135 người được hỏi).
- **Báo cáo doanh nghiệp:** Prattle (phân tích văn bản báo cáo lợi nhuận với FactSet).
- **Robot:** International Federation of Robotics (IFR), ROS.org.
- **Truyền thông:** TrendKite (phân tích sắc thái bài báo).
- **Chính phủ:** Congressional Record (Hoa Kỳ), Hansards (Vương quốc Anh và Canada), McKinsey Global Institute.
- **Benchmark:** ImageNet (LSVRC), COCO, Penn Treebank, WMT (EuroMatrix), ARC (Allen Institute for AI), GLUE.

## Tập thể tác giả

Báo cáo được chuẩn bị bởi Ban Chỉ đạo AI Index dưới sự chủ trì của **Yoav Shoham** (Stanford University) với sự tham gia của **Raymond Perrault** (SRI International), **Erik Brynjolfsson** (MIT), **Jack Clark** (OpenAI), **James Manyika** (McKinsey Global Institute), **Juan Carlos Niebles** (Stanford University), **Terah Lyons** (Partnership on AI), **John Etchemendy** (Stanford University) và **Barbara Grosz** (Harvard University). Quản lý dự án là **Zoe Bauer**. AI Index ban đầu được khởi xướng trong khuôn khổ dự án One Hundred Year Study on AI (AI100) và sau đó được đặt tại Viện HAI (Human-Centered AI) của Stanford<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

## Bối cảnh và ý nghĩa

AI Index Report 2018 là một mốc quan trọng trong sự phát triển của việc giám sát tiến bộ AI một cách có hệ thống. Báo cáo đã ghi lại một số bước ngoặt: sự phát triển nhanh chóng của deep learning và sự thống trị của nó trong các phương pháp tiếp cận AI, sự chuyển dịch của cộng đồng thị giác máy tính sang các nhiệm vụ phức tạp hơn sau khi ImageNet "bão hòa", tác động mang tính cách mạng của mô hình BERT đối với xử lý ngôn ngữ tự nhiên, cũng như sự tham gia chưa từng có của ngành công nghiệp vào việc phát triển các hệ thống AI tiên tiến. Báo cáo cũng lần đầu tiên ghi lại một cách có hệ thống "cuộc đua" giữa các quốc gia trong tài trợ và lập kế hoạch chiến lược về AI — xu hướng sẽ định hình sự phát triển của ngành trong những năm tiếp theo<sup>[\[1\]](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_note-AIIndex2018-1)</sup>.

## Liên kết ngoài

- Stanford HAI — AI Index (tất cả các báo cáo): <a href="https://aiindex.stanford.edu/report/" class="external free" rel="nofollow">https://aiindex.stanford.edu/report/</a>
- AI Index 2018 Report (toàn văn, PDF): <a href="https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf" class="external free" rel="nofollow">https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf</a>
- Elsevier Scopus — cơ sở dữ liệu ấn phẩm khoa học: <a href="https://www.scopus.com/" class="external free" rel="nofollow">https://www.scopus.com/</a>
- Elsevier AI Resource Center: <a href="https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts" class="external free" rel="nofollow">https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts</a>
- arXiv.org — kho lưu trữ bản thảo khoa học: <a href="https://arxiv.org/" class="external free" rel="nofollow">https://arxiv.org/</a>
- ImageNet (LSVRC): <a href="https://image-net.org/challenges/LSVRC/" class="external free" rel="nofollow">https://image-net.org/challenges/LSVRC/</a>
- COCO — Common Objects in Context: <a href="https://cocodataset.org/" class="external free" rel="nofollow">https://cocodataset.org/</a>
- GLUE Benchmark: <a href="https://gluebenchmark.com/" class="external free" rel="nofollow">https://gluebenchmark.com/</a>
- ARC — AI2 Reasoning Challenge: <a href="https://allenai.org/data/arc" class="external free" rel="nofollow">https://allenai.org/data/arc</a>
- WMT — Workshop on Machine Translation / EuroMatrix: <a href="http://www.statmt.org/" class="external free" rel="nofollow">http://www.statmt.org/</a>
- McKinsey & Company — Khảo sát ứng dụng AI: <a href="https://www.mckinsey.com/featured-insights/artificial-intelligence" class="external free" rel="nofollow">https://www.mckinsey.com/featured-insights/artificial-intelligence</a>
- International Federation of Robotics: <a href="https://ifr.org/" class="external free" rel="nofollow">https://ifr.org/</a>
- ROS.org — Robot Operating System: <a href="https://www.ros.org/" class="external free" rel="nofollow">https://www.ros.org/</a>
- Sand Hill Econometrics: <a href="https://www.sandhillecon.com/" class="external free" rel="nofollow">https://www.sandhillecon.com/</a>
- Partnership on AI: <a href="https://partnershiponai.org/" class="external free" rel="nofollow">https://partnershiponai.org/</a>
- Women in Machine Learning (WiML): <a href="https://wimlworkshop.org/" class="external free" rel="nofollow">https://wimlworkshop.org/</a>
- AI4ALL: <a href="https://ai-4-all.org/" class="external free" rel="nofollow">https://ai-4-all.org/</a>
- Tim Dutton — Tổng quan về các chiến lược AI quốc gia: <a href="https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd" class="external free" rel="nofollow">https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd</a>
- NLP Progress — theo dõi tiến bộ trong NLP: <a href="https://nlpprogress.com/" class="external free" rel="nofollow">https://nlpprogress.com/</a>

## Tài liệu tham khảo

- Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). *The AI Index 2018 Annual Report*. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. <a href="https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf" class="external free" rel="nofollow">https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf</a>
- Elsevier (2018). *Artificial Intelligence: How knowledge is created, transferred, and used*. <a href="https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts" class="external free" rel="nofollow">https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts</a>
- Devlin, J. et al. (2018). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. <a href="https://arxiv.org/abs/1810.04805" class="external free" rel="nofollow">https://arxiv.org/abs/1810.04805</a>
- Wang, A. et al. (2018). *GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding*. <a href="https://arxiv.org/abs/1804.07461" class="external free" rel="nofollow">https://arxiv.org/abs/1804.07461</a>
- Clark, P. et al. (2018). *Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge*. <a href="https://arxiv.org/abs/1803.05457" class="external free" rel="nofollow">https://arxiv.org/abs/1803.05457</a>
- Esteva, A. et al. (2017). *Dermatologist-level classification of skin cancer with deep neural networks*. *Nature*, 542(7639). <a href="https://doi.org/10.1038/nature21056" class="external free" rel="nofollow">https://doi.org/10.1038/nature21056</a>
- Silver, D. et al. (2017). *Mastering the game of Go without human knowledge*. *Nature*, 550(7676). <a href="https://doi.org/10.1038/nature24270" class="external free" rel="nofollow">https://doi.org/10.1038/nature24270</a>
- Jaderberg, M. et al. (2018). *Human-level performance in first-person multiplayer games with population-based deep reinforcement learning*. <a href="https://arxiv.org/abs/1807.01281" class="external free" rel="nofollow">https://arxiv.org/abs/1807.01281</a>
- OpenAI (2018). *OpenAI Five*. <a href="https://openai.com/blog/openai-five/" class="external free" rel="nofollow">https://openai.com/blog/openai-five/</a>
- Hassan, H. et al. (2018). *Achieving Human Parity on Automatic Chinese to English News Translation*. <a href="https://arxiv.org/abs/1803.05567" class="external free" rel="nofollow">https://arxiv.org/abs/1803.05567</a>
- McKinsey & Company (2018). *Notes from the AI frontier: AI adoption advances, but foundational barriers remain*. <a href="https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain" class="external free" rel="nofollow">https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain</a>
- International Federation of Robotics (2017). *World Robotics Report 2017*. <a href="https://ifr.org/worldrobotics/" class="external free" rel="nofollow">https://ifr.org/worldrobotics/</a>
- Dutton, T. (2018). *An Overview of National AI Strategies*. <a href="https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd" class="external free" rel="nofollow">https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd</a>
- State Council of the People's Republic of China (2017). *New Generation Artificial Intelligence Development Plan*. <a href="https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/" class="external free" rel="nofollow">https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/</a>
- European Commission (2018). *Communication on Artificial Intelligence for Europe*. <a href="https://ec.europa.eu/digital-single-market/en/artificial-intelligence" class="external free" rel="nofollow">https://ec.europa.eu/digital-single-market/en/artificial-intelligence</a>
- Russakovsky, O. et al. (2015). *ImageNet Large Scale Visual Recognition Challenge*. *International Journal of Computer Vision*, 115(3). <a href="https://doi.org/10.1007/s11263-015-0816-y" class="external free" rel="nofollow">https://doi.org/10.1007/s11263-015-0816-y</a>
- He, K. et al. (2015). *Deep Residual Learning for Image Recognition*. <a href="https://arxiv.org/abs/1512.03385" class="external free" rel="nofollow">https://arxiv.org/abs/1512.03385</a>

## Ghi chú

1.  <span id="cite_note-AIIndex2018-1">↑ <sup>[1.00](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-0)</sup> <sup>[1.01](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-1)</sup> <sup>[1.02](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-2)</sup> <sup>[1.03](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-3)</sup> <sup>[1.04](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-4)</sup> <sup>[1.05](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-5)</sup> <sup>[1.06](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-6)</sup> <sup>[1.07](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-7)</sup> <sup>[1.08](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-8)</sup> <sup>[1.09](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-9)</sup> <sup>[1.10](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-10)</sup> <sup>[1.11](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-11)</sup> <sup>[1.12](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-12)</sup> <sup>[1.13](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-13)</sup> <sup>[1.14](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-14)</sup> <sup>[1.15](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-15)</sup> <sup>[1.16](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-16)</sup> <sup>[1.17](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-17)</sup> <sup>[1.18](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-18)</sup> <sup>[1.19](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-19)</sup> <sup>[1.20](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-20)</sup> <sup>[1.21](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-21)</sup> <sup>[1.22](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-22)</sup> <sup>[1.23](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-23)</sup> <sup>[1.24](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AIIndex2018_1-24)</sup> Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Niebles, J.C., Lyons, T., Etchemendy, J., Grosz, B. and Bauer, Z. (2018). *The AI Index 2018 Annual Report*. AI Index Steering Committee, Human-Centered AI Initiative, Stanford University. <a href="https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf" class="external free" rel="nofollow">https://aiindex.stanford.edu/wp-content/uploads/2019/01/2018-Artificial-Intelligence-Index.pdf</a></span>
2.  <span id="cite_note-Scopus2018-2">↑ <sup>[2.0](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Scopus2018_2-0)</sup> <sup>[2.1](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Scopus2018_2-1)</sup> <sup>[2.2](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Scopus2018_2-2)</sup> <sup>[2.3](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Scopus2018_2-3)</sup> <sup>[2.4](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Scopus2018_2-4)</sup> <sup>[2.5](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Scopus2018_2-5)</sup> Elsevier (2018). *Artificial Intelligence: How knowledge is created, transferred, and used*. <a href="https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts" class="external free" rel="nofollow">https://www.elsevier.com/connect/the-rise-of-artificial-intelligence-in-6-charts</a></span>
3.  <span id="cite_note-arXiv2018-3">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-arXiv2018_3-0) arXiv.org (2018). *Submission statistics*. <a href="https://arxiv.org/stats/yearly_submissions" class="external free" rel="nofollow">https://arxiv.org/stats/yearly_submissions</a></span>
4.  <span id="cite_note-AAAI2018-4">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AAAI2018_4-0) AAAI (2018). *AAAI 2018 Conference Proceedings*. <a href="https://aaai.org/aaai-conference/" class="external free" rel="nofollow">https://aaai.org/aaai-conference/</a></span>
5.  <span id="cite_note-WiML2018-5">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-WiML2018_5-0) Women in Machine Learning (WiML) (2018). *Workshop data*. <a href="https://wimlworkshop.org/" class="external free" rel="nofollow">https://wimlworkshop.org/</a></span>
6.  <span id="cite_note-AI4ALL2018-6">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-AI4ALL2018_6-0) AI4ALL (2018). *Program data*. <a href="https://ai-4-all.org/" class="external free" rel="nofollow">https://ai-4-all.org/</a></span>
7.  <span id="cite_note-ROS2018-7">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-ROS2018_7-0) ROS.org (2018). *ROS Community Metrics Report*. <a href="https://metrics.ros.org/" class="external free" rel="nofollow">https://metrics.ros.org/</a></span>
8.  <span id="cite_note-SandHill2018-8">↑ <sup>[8.0](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-SandHill2018_8-0)</sup> <sup>[8.1](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-SandHill2018_8-1)</sup> Sand Hill Econometrics (2018). *AI Startup and VC Funding Data*. Dow Jones VentureSource.</span>
9.  <span id="cite_note-Monster2018-9">↑ <sup>[9.0](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Monster2018_9-0)</sup> <sup>[9.1](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Monster2018_9-1)</sup> Monster.com / Gartner TalentNeuron (2018). *AI Job Openings Data*. <a href="https://www.monster.com/" class="external free" rel="nofollow">https://www.monster.com/</a></span>
10. <span id="cite_note-amplified2018-10">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-amplified2018_10-0) amplified (2018). *AI Patent Data*. <a href="https://www.amplified.ai/" class="external free" rel="nofollow">https://www.amplified.ai/</a></span>
11. <span id="cite_note-McKinsey2018-11">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-McKinsey2018_11-0) McKinsey & Company (2018). *Notes from the AI frontier: AI adoption advances, but foundational barriers remain*. <a href="https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain" class="external free" rel="nofollow">https://www.mckinsey.com/featured-insights/artificial-intelligence/notes-from-the-ai-frontier-ai-adoption-advances-but-foundational-barriers-remain</a></span>
12. <span id="cite_note-Prattle2018-12">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Prattle2018_12-0) Prattle (2018). *Earnings call analysis data*. FactSet.</span>
13. <span id="cite_note-IFR2018-13">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-IFR2018_13-0) International Federation of Robotics (2018). *World Robotics Report 2017*. <a href="https://ifr.org/worldrobotics/" class="external free" rel="nofollow">https://ifr.org/worldrobotics/</a></span>
14. <span id="cite_note-GitHub2018-14">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-GitHub2018_14-0) GitHub Archive / Google BigQuery (2018). *GitHub repository stars data*. <a href="https://github.com/" class="external free" rel="nofollow">https://github.com/</a></span>
15. <span id="cite_note-TrendKite2018-15">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-TrendKite2018_15-0) TrendKite (2018). *Media sentiment analysis data*. <a href="https://www.trendkite.com/" class="external free" rel="nofollow">https://www.trendkite.com/</a></span>
16. <span id="cite_note-ImageNet2018-16">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-ImageNet2018_16-0) ImageNet (2018). *LSVRC leaderboard and validation results*. <a href="https://image-net.org/challenges/LSVRC/" class="external free" rel="nofollow">https://image-net.org/challenges/LSVRC/</a></span>
17. <span id="cite_note-DAWNBench2018-17">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-DAWNBench2018_17-0) DAWNBench / Stanford (2018). *ImageNet training time results*. <a href="https://dawn.cs.stanford.edu/benchmark/" class="external free" rel="nofollow">https://dawn.cs.stanford.edu/benchmark/</a></span>
18. <span id="cite_note-COCO2018-18">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-COCO2018_18-0) COCO (2018). *Instance Segmentation Leaderboard*. <a href="https://cocodataset.org/#detection-leaderboard" class="external free" rel="nofollow">https://cocodataset.org/#detection-leaderboard</a></span>
19. <span id="cite_note-PennTreebank-19">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-PennTreebank_19-0) Penn Treebank (2018). *Section 23 parsing results*. See NLPProgress: <a href="https://nlpprogress.com/english/constituency_parsing.html" class="external free" rel="nofollow">https://nlpprogress.com/english/constituency_parsing.html</a></span>
20. <span id="cite_note-WMT2018-20">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-WMT2018_20-0) Workshop on Machine Translation / EuroMatrix (2018). *WMT News Translation Task results*. <a href="http://www.statmt.org/wmt18/" class="external free" rel="nofollow">http://www.statmt.org/wmt18/</a></span>
21. <span id="cite_note-ARC2018-21">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-ARC2018_21-0) Clark, P. et al. (2018). *Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge*. <a href="https://arxiv.org/abs/1803.05457" class="external free" rel="nofollow">https://arxiv.org/abs/1803.05457</a></span>
22. <span id="cite_note-GLUE2018-22">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-GLUE2018_22-0) Wang, A. et al. (2018). *GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding*. <a href="https://arxiv.org/abs/1804.07461" class="external free" rel="nofollow">https://arxiv.org/abs/1804.07461</a></span>
23. <span id="cite_note-BERT2018-23">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-BERT2018_23-0) Devlin, J. et al. (2018). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. <a href="https://arxiv.org/abs/1810.04805" class="external free" rel="nofollow">https://arxiv.org/abs/1810.04805</a></span>
24. <span id="cite_note-Dutton2018-24">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-Dutton2018_24-0) Dutton, T. (2018). *An Overview of National AI Strategies*. <a href="https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd" class="external free" rel="nofollow">https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd</a></span>
25. <span id="cite_note-EC2018-25">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-EC2018_25-0) European Commission (2018). *Communication on Artificial Intelligence for Europe*. <a href="https://ec.europa.eu/digital-single-market/en/artificial-intelligence" class="external free" rel="nofollow">https://ec.europa.eu/digital-single-market/en/artificial-intelligence</a></span>
26. <span id="cite_note-ChinaAI2017-26">[↑](https://systems-analysis.info/int/The_2018_AI_Index_Report_(VI)#cite_ref-ChinaAI2017_26-0) State Council of the People's Republic of China (2017). *New Generation Artificial Intelligence Development Plan*. <a href="https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/" class="external free" rel="nofollow">https://flia.org/notice-state-council-issuing-new-generation-artificial-intelligence-development-plan/</a></span>