The 2017 AI Index Report (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

AI Index Report 2017 — รายงานประจำปีฉบับแรก (ฉบับเปิดตัว) ของโครงการ AI Index ที่เผยแพร่ในเดือนพฤศจิกายน ปี 2017[1] โครงการนี้ก่อตั้งขึ้นภายใต้กรอบของโครงการริเริ่ม One Hundred Year Study on AI (AI100) ที่มหาวิทยาลัย Stanford และเป็นโครงการเปิดที่ไม่แสวงหาผลกำไรสำหรับการติดตามกิจกรรมและความก้าวหน้าในด้านปัญญาประดิษฐ์ รายงานปี 2017 ถือเป็นความพยายามครั้งแรกในการรวบรวมและแสดงภาพข้อมูลเกี่ยวกับสถานะของ AI อย่างเป็นระบบ ครอบคลุมปริมาณกิจกรรมในแวดวงวิชาการและอุตสาหกรรม ประสิทธิภาพทางเทคนิคของระบบ AI เมตริกที่ได้รับมา และความก้าวหน้าสู่ระดับมนุษย์ ผู้เขียนเน้นย้ำว่าหากปราศจากข้อมูลที่เกี่ยวข้องเกี่ยวกับสถานะของเทคโนโลยี AI สังคมจะ «บินอย่างตาบอด» ในการอภิปรายและการตัดสินใจที่เกี่ยวข้องกับปัญญาประดิษฐ์[1]

บริบทและวัตถุประสงค์

ภายในปี 2017 ปัญญาประดิษฐ์ได้ก้าวขึ้นสู่แถวหน้าของวาทกรรมระดับโลก ดึงดูดความสนใจจากผู้ปฏิบัติงาน ผู้นำอุตสาหกรรม นักการเมือง และสาธารณชนทั่วไป สาขา AI พัฒนาอย่างรวดเร็วจนแม้แต่ผู้เชี่ยวชาญก็ประสบความยากลำบากในการทำความเข้าใจและติดตามความก้าวหน้า AI Index ได้รับการออกแบบมาเป็นเครื่องมือสำหรับการสนทนาเกี่ยวกับ AI ที่มีข้อมูลรองรับ โดยอิงจากข้อมูลจริงมากกว่าการคาดเดาหรือหลักฐานที่เป็นเพียงเรื่องเล่า[1]

แนวคิดของโครงการเกิดขึ้นระหว่างการอภิปรายของคณะกรรมการถาวร AI100 ในปี 2015[2] รายงานนี้รวบรวมทั้งข้อมูลที่เข้าถึงได้อย่างเสรีจากอินเทอร์เน็ตและข้อมูลต้นฉบับ รวมถึงดึงเมตริกใหม่จากการรวมกันของชุดข้อมูลที่มีอยู่ ข้อมูลทั้งหมดที่ใช้ในการจัดทำรายงานได้รับการเผยแพร่แบบเปิดบนเว็บไซต์ aiindex.org[1]

โครงสร้างของรายงาน

รายงานปี 2017 ประกอบด้วยส่วนข้อมูลหลักสี่ส่วนและส่วนการอภิปรายหลายส่วน[1]:

  1. ปริมาณกิจกรรม (Volume of Activity) — เมตริก «จำนวนเท่าใด»: สิ่งพิมพ์ การรับเข้าเรียนในหลักสูตร การเข้าร่วมการประชุม สตาร์ทอัพ การระดมทุน ตำแหน่งงาน การนำเข้าหุ่นยนต์ ซอฟต์แวร์โอเพนซอร์ส ความสนใจของสาธารณชน
  2. ประสิทธิภาพทางเทคนิค (Technical Performance) — เมตริก «ดีแค่ไหน»: Computer Vision การประมวลผลภาษาธรรมชาติ การจดจำเสียงพูด การพิสูจน์ทฤษฎีบท การแก้ปัญหา SAT
  3. เมตริกที่ได้รับมา (Derivative Measures) — ความสัมพันธ์ระหว่างแนวโน้ม พลวัต «วิชาการ — อุตสาหกรรม» ดัชนีความมีชีวิตชีวาของ AI (AI Vibrancy Index)
  4. สู่ระดับมนุษย์? (Towards Human-Level Performance?) — รายการความสำเร็จที่ AI เข้าใกล้หรือเกินระดับมนุษย์
  5. สิ่งที่ขาดหายไป? (What's Missing?) — การยอมรับข้อจำกัดของรายงานและทิศทางสำหรับงานในอนาคต
  6. เวทีผู้เชี่ยวชาญ (Expert Forum) — ความคิดเห็นจากผู้เชี่ยวชาญชั้นนำในสาขา AI

ปริมาณกิจกรรม

สิ่งพิมพ์ทางวิชาการ

จำนวนบทความวิชาการด้าน AI ที่เผยแพร่และจัดทำดัชนีในฐานข้อมูล Scopus (สำนักพิมพ์ Elsevier) ด้วยคำสำคัญ «Artificial Intelligence» ในสาขาวิชา «Computer Science» เพิ่มขึ้น มากกว่า 9 เท่านับตั้งแต่ปี 1996[3] เพื่อการเปรียบเทียบ: จำนวนสิ่งพิมพ์ทั้งหมดในสาขาวิทยาการคอมพิวเตอร์ในช่วงเวลาเดียวกันเพิ่มขึ้นประมาณ 6 เท่า ซึ่งบ่งชี้ว่าการเติบโตของสิ่งพิมพ์ด้าน AI ไม่ได้เกิดจากการขยายตัวของความสนใจในวิทยาการคอมพิวเตอร์โดยทั่วไปเท่านั้น แต่เกิดจากความสนใจที่เพิ่มขึ้นอย่างชัดเจนในปัญญาประดิษฐ์[1]

ในขณะที่จัดทำรายงาน ฐานข้อมูล Scopus มีบทความในสาขาวิทยาการคอมพิวเตอร์ที่มีคำสำคัญ «Artificial Intelligence» มากกว่า 200,000 บทความ และบทความวิทยาการคอมพิวเตอร์โดยรวมเกือบ 5 ล้านบทความ จากเอกสารที่จัดทำดัชนีทั้งหมดประมาณ 70 ล้านรายการ[3]

การรับเข้าเรียนในหลักสูตร

จำนวนนักศึกษาที่ลงทะเบียนในหลักสูตรเบื้องต้นด้านปัญญาประดิษฐ์และ Machine Learning แสดงให้เห็นการเติบโตอย่างรวดเร็ว ที่มหาวิทยาลัย Stanford การรับเข้าเรียนในหลักสูตรเบื้องต้นด้าน AI เพิ่มขึ้น 11 เท่านับตั้งแต่ปี 1996[1] Machine Learning (ML) ในฐานะสาขาย่อยของ AI ถูกแยกออกมาต่างหากเนื่องจากการเติบโตของการรับเข้าเรียนที่รวดเร็วเป็นพิเศษและบทบาทสำคัญของเทคนิค ML ในความสำเร็จล่าสุดของ AI

แนวโน้มที่คล้ายกันนี้สังเกตพบในมหาวิทยาลัยชั้นนำอื่น ๆ ได้แก่ มหาวิทยาลัยแคลิฟอร์เนียเบิร์กลีย์ มหาวิทยาลัย Carnegie Mellon สถาบันเทคโนโลยีจอร์เจีย มหาวิทยาลัยอิลลินอยส์ที่เออร์แบนา-แชมเปญ สถาบันเทคโนโลยีแมสซาชูเซตส์ และมหาวิทยาลัยวอชิงตัน[1] ผู้เขียนรายงานระบุว่าข้อมูลเหล่านี้แสดงถึงเพียงส่วนเล็กน้อยของภูมิทัศน์การศึกษาระดับอุดมศึกษา และอาจไม่เป็นตัวแทนของสถาบันการศึกษาในวงกว้างกว่านี้

การเข้าร่วมการประชุมวิชาการ

ข้อมูลการเข้าร่วมการประชุมวิชาการด้าน AI ชั้นนำ (AAAI, AAMAS, ACL, CP, CVPR, ECAI, ICAPS, ICRA, ICLR, ICML, IJCAI, IROS, KR, NIPS, UAI) ยืนยัน การเปลี่ยนแปลงจุดเน้นการวิจัยจากการอนุมานเชิงสัญลักษณ์ไปสู่ Machine Learning และ Deep Learning[1] การประชุมด้าน Machine Learning (NIPS, ICML, ICLR) แสดงการเติบโตของการเข้าร่วมที่มากที่สุด ในขณะที่การประชุมด้านวิธีการเชิงสัญลักษณ์ (KR, CP, ICAPS) ยังคงมีชุมชนที่มั่นคงแต่เล็กกว่าซึ่งยังคงบรรลุความก้าวหน้าอย่างต่อเนื่อง[1]

สตาร์ทอัพในสาขา AI

จำนวนสตาร์ทอัพอเมริกันที่ยังดำเนินกิจการอยู่ซึ่งพัฒนาระบบ AI ด้วยเงินทุนจาก Venture Capital เพิ่มขึ้น 14 เท่านับตั้งแต่ปี 2000[4][5] สำหรับการระบุบริษัท AI ใช้หมวดหมู่ Crunchbase (Artificial Intelligence, Machine Learning, Natural Language Processing, Computer Vision, Facial Recognition, Image Recognition, Speech Recognition, Semantic Search, Semantic Web, Text Analytics, Virtual Assistant, Visual Search, Predictive Analytics, Intelligent System) พร้อมการตรวจสอบข้ามกับฐานข้อมูล VentureSource[1]

การระดมทุนจาก Venture Capital

ปริมาณการลงทุน Venture Capital รายปีในสตาร์ทอัพด้าน AI ในสหรัฐอเมริกา เพิ่มขึ้น 6 เท่านับตั้งแต่ปี 2000[5] ข้อมูลครอบคลุมทุกขั้นตอนของการระดมทุนและได้รับการรวบรวมโดย Sand Hill Econometrics จากฐานข้อมูล VentureSource[1]

ตลาดแรงงาน

ข้อมูลจากแพลตฟอร์มประกาศงานออนไลน์ที่ใหญ่ที่สุดสองแห่ง ได้แก่ Indeed.com และ Monster.com แสดงให้เห็นความต้องการผู้เชี่ยวชาญด้าน AI ที่เพิ่มขึ้นอย่างมีนัยสำคัญ[6][7]

Indeed.com: สัดส่วนตำแหน่งงานที่ต้องการทักษะด้าน AI บนแพลตฟอร์มในสหรัฐอเมริกา เพิ่มขึ้น 4.5 เท่านับตั้งแต่ปี 2013[6] การเติบโตอย่างรวดเร็วในลักษณะเดียวกันพบในแคนาดาและสหราชอาณาจักร แม้ว่าขนาดตลาดของทั้งสองประเทศโดยรวมจะคิดเป็น 5% และ 27% ของตลาดอเมริกาตามลำดับ[1]

Monster.com: การวิเคราะห์จำนวนตำแหน่งงาน AI โดยรวมแยกตามทักษะที่ต้องการ (Machine Learning, Computer Vision, การประมวลผลภาษาธรรมชาติ และอื่น ๆ) ยังยืนยันการเติบโตอย่างต่อเนื่อง ตำแหน่งงานหนึ่งอาจต้องการทักษะหลายอย่างพร้อมกัน[7]

การนำเข้าหุ่นยนต์

ข้อมูลจากรายงานประจำปี World Robotics Report ที่จัดทำโดยสหพันธ์หุ่นยนต์นานาชาติ (IFR) แสดงให้เห็นการเติบโตอย่างต่อเนื่องของการนำเข้าหุ่นยนต์อุตสาหกรรมทั้งในอเมริกาเหนือและในระดับโลก[8] ผู้เขียนรายงานระบุว่าไม่มีวิธีที่ง่ายในการระบุว่าหุ่นยนต์กี่เปอร์เซ็นต์ใช้ซอฟต์แวร์ที่จัดว่าเป็น «AI» และในระดับใดที่การพัฒนาด้าน AI มีส่วนทำให้การใช้หุ่นยนต์อุตสาหกรรมเพิ่มขึ้น[1]

ซอฟต์แวร์โอเพนซอร์ส

ความสนใจของนักพัฒนาในเฟรมเวิร์ก AI บน GitHub แสดงการเติบโตที่มีนัยสำคัญ จำนวน Stars สำหรับแพ็กเกจ Machine Learning และ Deep Learning หลัก ได้แก่ TensorFlow, Scikit-Learn, Keras, PyTorch, Caffe, MXNet, CNTK และ Theano เพิ่มขึ้นอย่างรวดเร็ว[9] TensorFlow จาก Google และ Scikit-Learn ถูกระบุว่าเป็นแพ็กเกจที่ได้รับความนิยมสูงสุด โดยแนวโน้มตาม Stars และ Forks เกือบจะเหมือนกัน[1]

ความสนใจของสาธารณชน: อารมณ์ของสื่อ

การวิเคราะห์อารมณ์ของสิ่งพิมพ์ในสื่อยอดนิยมที่มีคำว่า «Artificial Intelligence» โดยอิงจากข้อมูลของ TrendKite แสดงให้เห็นพลวัตของอัตราส่วนบทความเชิงบวกและเชิงลบ[10] ระบบจำแนกประเภทของ TrendKite แบ่งบทความภาษาอังกฤษ (ยกเว้นข่าวประชาสัมพันธ์ ข่าวการเงิน และคำไว้อาลัย) ออกเป็นประเภท «เชิงบวก» «เชิงลบ» และ «เป็นกลาง»[1]

ประสิทธิภาพทางเทคนิค

ส่วนประสิทธิภาพทางเทคนิคติดตามความก้าวหน้าของระบบ AI ในงาน Computer Vision การประมวลผลภาษาธรรมชาติ การจดจำเสียงพูด การพิสูจน์ทฤษฎีบท และการแก้ปัญหา SAT[1]

Computer Vision

การตรวจจับวัตถุ (Object Detection)

ในการแข่งขัน Large Scale Visual Recognition Challenge (LSVRC) บนชุดข้อมูล ImageNet อัตราข้อผิดพลาดในการจดจำภาพลดลงจาก 28.5% เหลือน้อยกว่า 2.5% ในช่วงปี 2010 ถึง 2017[11] เพื่อการเปรียบเทียบ: ระดับข้อผิดพลาดของมนุษย์ประเมินไว้ที่ประมาณ 5%[12] หมายความว่าภายในปี 2017 ระบบ AI ได้เกินระดับมนุษย์อย่างมีนัยสำคัญบน benchmark นี้แล้ว การแข่งขัน ImageNet สิ้นสุดลงในปี 2017[1]

การตอบคำถามด้วยภาพ (Visual Question Answering)

บนชุดข้อมูล VQA 1.0 — งานการสร้างคำตอบแบบเปิดสำหรับคำถามเกี่ยวกับภาพ — ระบบ AI แสดงความก้าวหน้าอย่างต่อเนื่อง[13] ผู้เขียนระบุว่าชุดข้อมูล VQA 1.0 ถูกแทนที่ด้วย VQA 2.0 แล้ว และยังไม่ชัดเจนว่าจะมีความสนใจต่อเวอร์ชันดั้งเดิมมากเพียงใด[1]

การประมวลผลภาษาธรรมชาติ

การวิเคราะห์ทางวากยสัมพันธ์ (Parsing)

บนชุดข้อมูลทดสอบมาตรฐาน — ส่วนที่ 23 ของ Wall Street Journal corpus จาก Penn Treebank — ตัววิเคราะห์อัตโนมัติแสดงการเติบโตอย่างต่อเนื่องในเมตริก F1[14] ผลลัพธ์ถูกบันทึกทั้งสำหรับประโยคที่มีความยาวน้อยกว่า 40 คำและสำหรับชุดประโยคทั้งหมด[1]

การแปลด้วยเครื่อง (Machine Translation)

ในการแข่งขันประจำปี Workshop on Machine Translation (WMT) สำหรับงานการแปลข่าวระหว่างภาษาอังกฤษและเยอรมัน ระบบที่ดีที่สุดแสดงแนวโน้มขาขึ้นโดยรวมในเมตริก BLEU[15] เมตริก BLEU — วิธีการอัตโนมัติในการเปรียบเทียบการแปลด้วยเครื่องกับการแปลหลายฉบับที่ทำโดยมนุษย์ — เป็นเวอร์ชันปรับปรุงของ precision ที่มีค่าตั้งแต่ 0 ถึง 1 แม้ว่า BLEU จะสัมพันธ์กับการประเมินคุณภาพการแปลโดยผู้เชี่ยวชาญ แต่ไม่สามารถใช้เปรียบเทียบระหว่างคอร์ปัส และการเปรียบเทียบระหว่างระบบอาจทำให้เข้าใจผิดได้[1]

ในปี 2017 คะแนน BLEU ลดลงอย่างเห็นได้ชัดเมื่อเทียบกับปี 2016 (แม้ยังคงสูงกว่าระดับปี 2015) ซึ่งน่าจะเกิดจากลักษณะเฉพาะของชุดทดสอบ มากกว่าจะเป็นการลดลงของคุณภาพจริงของระบบ Machine Translation[15]

การตอบคำถาม (Question Answering)

บนชุดข้อมูล Stanford Question Answering Dataset (SQuAD) — บทความกว่า 500 บทความและคู่คำถาม-คำตอบกว่า 100,000 คู่ — ระบบ AI แสดงการเติบโตอย่างรวดเร็วในเมตริก Exact Match (EM) ซึ่งวัดเปอร์เซ็นต์ของคำตอบที่ตรงกับคำตอบอ้างอิงทุกประการ[16] ระดับประสิทธิภาพของมนุษย์บน SQuAD อยู่ที่ 82.3%[1] คะแนนบน SQuAD เติบโตอย่างรวดเร็วนับตั้งแต่ชุดข้อมูลถูกสร้างขึ้นในเดือนมิถุนายน 2016

การจดจำเสียงพูด

บนชุดข้อมูลมาตรฐาน Switchboard Hub5'00 — งานการจดจำเสียงพูดจากการสนทนาทางโทรศัพท์ — Microsoft และ IBM ในปี 2017 บรรลุประสิทธิภาพใกล้เคียงกับ «ความเทียบเท่าของมนุษย์»[17] เมตริก Word Error Rate (WER) — จำนวนข้อผิดพลาด (การแทนที่ การลบ และการแทรกคำ) ที่ทำให้เป็นมาตรฐานตามความยาวประโยค — ลดลงมาหลายปีแล้ว มีความเห็นไม่ตรงกันเกี่ยวกับระดับข้อผิดพลาดของมนุษย์ที่แน่นอน: มีการอ้างค่า 5.1% และ 5.9% และแม้แต่ต่ำกว่า 5% ในรายงานนี้ใช้เกณฑ์ 5.1%[1]

ผู้เขียนแสดงความกังวลว่าการใช้ชุดข้อมูล Switchboard เป็นเวลานานอาจทำให้ระบบ AI มีการ overfitting กับข้อมูลเฉพาะเหล่านั้นอย่างมีนัยสำคัญ[1]

การพิสูจน์ทฤษฎีบท

บนชุดปัญหา Thousands of Problems for Theorem Provers (TPTP) ได้มีการติดตาม «tractability» เฉลี่ย — สัดส่วนของระบบพิสูจน์ทฤษฎีบทอัตโนมัติสมัยใหม่ (ATP) ที่สามารถแก้ปัญหาได้[18] วิเคราะห์ชุดย่อยของปัญหาที่ไม่ได้รับการอัปเดตตั้งแต่เวอร์ชัน TPTP v5.0.0 (ปี 2010) เมตริกนี้มีลักษณะเฉพาะ: การปรากฏตัวของระบบ ATP ใหม่ที่มีประสิทธิภาพซึ่งแก้ปัญหาใหม่ได้ดีแต่ไม่สามารถจัดการกับปัญหาที่ระบบอื่นแก้ได้ อาจทำให้ tractability เฉลี่ยลดลง[1]

การแก้ปัญหา SAT

ในตัวอย่างปัญหาอุตสาหกรรมจากการแข่งขัน SAT Competition มีการบันทึกการเพิ่มขึ้นของเปอร์เซ็นต์ปัญหาที่แก้ได้[19] นักวิจัย Holger Hoos และ Kevin Leyton-Brown ทดสอบตัวแก้ปัญหา 69 ตัวบนตัวอย่างปัญหา 1,076 ตัวอย่างที่นำเสนอในการแข่งขันตั้งแต่ปี 2007 โดยเรียกใช้ตัวแก้ปัญหาทั้งหมดบนฮาร์ดแวร์เดียวกันเพื่อการเปรียบเทียบที่ถูกต้อง[1] ผู้เขียนระบุว่าการปรับปรุงบางส่วนอาจสะท้อนถึงความสำเร็จทางวิศวกรรมมากกว่าการก้าวกระโดดทางอัลกอริทึม[1]

เมตริกที่ได้รับมา

พลวัต «วิชาการ — อุตสาหกรรม»

เพื่อศึกษาความสัมพันธ์ระหว่างกิจกรรม AI ในแวดวงวิชาการและอุตสาหกรรม ได้เลือกเมตริกสามตัวที่เป็นตัวแทน ได้แก่ จำนวนสิ่งพิมพ์ด้าน AI จำนวนการลงทะเบียนรวมในหลักสูตรเบื้องต้นด้าน AI และ ML ที่ Stanford และปริมาณการลงทุน Venture Capital ในสตาร์ทอัพ AI เมตริกทั้งหมดถูกทำให้เป็นมาตรฐานเทียบกับปี 2000[1]

การวิเคราะห์แสดงให้เห็นว่า ในช่วงแรกกิจกรรมทางวิชาการ (สิ่งพิมพ์และการลงทะเบียนเรียน) เป็นพลังขับเคลื่อนความก้าวหน้าที่มั่นคง ประมาณปี 2010 นักลงทุนเริ่มให้ความสนใจกับสาขานี้ และภายในปี 2013 กลายเป็นพลังขับเคลื่อนหลักของการเพิ่มขึ้นอย่างรวดเร็วของกิจกรรมโดยรวม หลังจากนั้นแวดวงวิชาการก็ตามทัน «ความกระตือรือร้น» ของอุตสาหกรรม[1]

ดัชนีความมีชีวิตชีวาของ AI (AI Vibrancy Index)

AI Vibrancy Index คือเมตริกรวมเชิงทดลองที่รวบรวมตัวชี้วัดสิ่งพิมพ์ การลงทะเบียนเรียน และการลงทุน Venture Capital ที่ทำให้เป็นมาตรฐานเพื่อประเมินเชิงปริมาณถึง «ความมีชีวิตชีวา» ของ AI ในฐานะสาขาวิชา[1] ดัชนีคำนวณเป็นค่าเฉลี่ยของเมตริกที่ทำให้เป็นมาตรฐานตามเวลา และแสดงการเติบโตอย่างรวดเร็วที่สะท้อนถึงการเพิ่มขึ้นพร้อมกันของทั้งสามองค์ประกอบ ผู้เขียนแสดงความหวังว่าเมตริกที่ได้รับมาในลักษณะนี้จะกระตุ้นความสนใจในการวิเคราะห์ข้อมูล AI Index ต่อไป[1]

สู่ระดับมนุษย์

รายงานได้รวบรวมกรณีที่น่าเชื่อถือซึ่งระบบคอมพิวเตอร์บรรลุหรือเกินระดับประสิทธิภาพของมนุษย์ พร้อมข้อแม้ที่สำคัญหลายประการ[1]

ข้อจำกัดสำคัญของการเปรียบเทียบ: เครื่องจักรมักเหนือกว่ามนุษย์ในงานที่มีความเฉพาะเจาะจงสูง แต่ประสิทธิภาพอาจลดลงอย่างรวดเร็วเมื่อมีการปรับเปลี่ยนเงื่อนไขเพียงเล็กน้อย ตัวอย่างเช่น มนุษย์ที่อ่านตัวอักษรจีนได้น่าจะเข้าใจภาษาจีนพูด รู้บางอย่างเกี่ยวกับวัฒนธรรมจีน และสามารถแนะนำอาหารในร้านอาหารจีนได้ สำหรับ AI แต่ละงานเหล่านี้จะต้องใช้ระบบที่แยกจากกันโดยสิ้นเชิง[1]

เหตุการณ์สำคัญของความสำเร็จ

ความสำเร็จ ปี คำอธิบาย
Othello ทศวรรษ 1980 / 1997 ในปี 1989 โปรแกรม BILL (Kai-Fu Lee, Sanjoy Mahajan) เอาชนะผู้เล่นอเมริกันที่แข็งแกร่งที่สุด Brian Rose (56–8) ในปี 1997 โปรแกรม Logistello ชนะทุกเกมในการแข่งขันหกเกมกับแชมป์โลกคนปัจจุบัน[1]
หมากฮอส 1995 โปรแกรม Chinook เอาชนะแชมป์โลกคนปัจจุบัน โปรแกรมหมากฮอสที่เรียนรู้ด้วยตนเองชุดแรกสร้างขึ้นโดย Arthur Samuel ตั้งแต่ปี 1952[1]
หมากรุก 1997 IBM Deep Blue เอาชนะแชมป์โลก Garry Kasparov นักวิทยาศาสตร์บางคนในช่วงทศวรรษ 1950 ทำนายว่าคอมพิวเตอร์จะเอาชนะแชมป์โลกได้ภายในปี 1967[20] ภายในปี 2017 โปรแกรมหมากรุกบนสมาร์ทโฟนเล่นได้ในระดับ Grandmaster[1]
Jeopardy! 2011 ระบบ IBM Watson เอาชนะอดีตผู้ชนะรายการ Brad Rutter และ Ken Jennings ชนะรางวัลใหญ่ 1 ล้านดอลลาร์[1]
เกม Atari 2015 ทีม Google DeepMind ใช้ระบบ Reinforcement Learning เพื่อฝึกให้เล่นเกม Atari 49 เกม บรรลุระดับมนุษย์ในส่วนใหญ่ (เช่น Breakout) แม้ว่าบางเกม (เช่น Montezuma's Revenge) ยังอยู่นอกเหนือการเข้าถึง[21]
การตรวจจับวัตถุ (ImageNet) 2016 อัตราข้อผิดพลาดของการจำแนกภาพ ImageNet อัตโนมัติลดลงจาก 28% (2010) เหลือน้อยกว่า 3% เมื่อเทียบกับระดับมนุษย์ที่ประมาณ 5%[12]
โกะ 2016–2017 AlphaGo (Google DeepMind) เอาชนะ Lee Sedol 4–1 ในเดือนมีนาคม 2016 จากนั้น AlphaGo Master เอาชนะ Ke Jie ในเดือนมีนาคม 2017 ในเดือนตุลาคม 2017 AlphaGo Zero เอาชนะ AlphaGo เดิม 100–0[22][23]
การจำแนกมะเร็งผิวหนัง 2017 ระบบ AI ที่ฝึกบนภาพทางคลินิก 129,450 ภาพจากโรค 2,032 โรค แสดงระดับความสามารถในการจำแนกมะเร็งผิวหนังที่เทียบเท่ากับแพทย์ผิวหนังที่ได้รับการรับรอง 21 คน[24]
การจดจำเสียงพูด (Switchboard) 2017 Microsoft และ IBM บรรลุประสิทธิภาพใกล้เคียงกับ «ความเทียบเท่าของมนุษย์» ในงานการจดจำเสียงพูดบนชุดข้อมูล Switchboard[17]
โป๊กเกอร์ 2017 โปรแกรม Libratus (CMU) เอาชนะผู้เล่นชั้นนำสี่คนในการแข่งขัน 120,000 มือของ Texas Hold'em แบบไม่จำกัดเดิมพัน โปรแกรม DeepStack (มหาวิทยาลัย Alberta) พิสูจน์นัยสำคัญทางสถิติของความเหนือกว่าเหนือมืออาชีพ 11 คนในมากกว่า 3,000 มือต่อคน[25]
Ms. Pac-Man 2017 ทีม Maluuba (ที่ Microsoft เข้าซื้อ) สร้างระบบ AI ที่บรรลุคะแนนสูงสุด 999,900 คะแนนบน Atari 2600[1]

สิ่งที่ขาดหายไปในรายงาน

ผู้เขียนยอมรับอย่างตรงไปตรงมาถึงข้อจำกัดที่สำคัญหลายประการของรายงานฉบับเปิดตัว[1]:

ประสิทธิภาพทางเทคนิค

หลายสาขาเทคนิคที่สำคัญไม่ได้รับการครอบคลุม ได้แก่ ระบบโต้ตอบ (ซึ่งขาด benchmark ที่เป็นมาตรฐาน) การวางแผน การควบคุมต่อเนื่องในหุ่นยนต์ การอนุมานสามัญสำนึก (common sense reasoning) ระบบแนะนำ และการทดสอบมาตรฐาน ผู้เขียนเตือนว่าการติดตามความก้าวหน้ามักเกิดขึ้นในสาขาที่ให้ผลลัพธ์ที่ดี ซึ่งสร้าง อคติในแง่ดี ในการประเมินสถานะของ AI[1]

ความครอบคลุมระดับนานาชาติ

รายงานได้รับการยอมรับว่า มีความเป็นอเมริกันเกินไป แม้ว่าจะมีกิจกรรม AI ที่สำคัญในประเทศอื่น ๆ ระดับการลงทุนและกิจกรรมในจีนถูกระบุว่า «น่าทึ่ง» แต่อยู่นอกขอบเขตของรายงานฉบับเปิดตัว[1]

ความหลากหลายและการมีส่วนร่วม

รายงาน ไม่มีการแบ่งข้อมูลตามเพศ เชื้อชาติ อัตลักษณ์ทางเพศ ชาติพันธุ์ รสนิยมทางเพศ หรือลักษณะอื่น ๆ ผู้เขียนยอมรับว่าคำถามเกี่ยวกับว่าใครมีส่วนร่วมในการสนทนาเกี่ยวกับ AI และใครมีอำนาจในการมีอิทธิพลต่อการวิจัยและการนำ AI ไปใช้ในอนาคต มีความเชื่อมโยงอย่างใกล้ชิดกับพลวัตของอำนาจในอุตสาหกรรมเทคโนโลยีและ Venture Capital รวมถึงพลังของการเลือกปฏิบัติที่เป็นระบบในวงกว้างขึ้น[1]

การลงทุนของรัฐและองค์กร

ข้อมูลการระดมทุน Venture Capital ครอบคลุมเฉพาะสหรัฐอเมริกาและแสดงถึงเพียงส่วนเล็กน้อยของการลงทุนด้านการวิจัยและพัฒนา AI ทั้งหมด ไม่มีข้อมูลเกี่ยวกับการลงทุนของภาครัฐและองค์กร[1]

ผลกระทบต่ออุตสาหกรรมเฉพาะ

เมตริกผลกระทบของ AI ต่อการดูแลสุขภาพ อุตสาหกรรมยานยนต์ การเงิน การศึกษา และสาขาแนวตั้งอื่น ๆ ไม่ได้รับการนำเสนอ[1]

การลดความเสี่ยงทางสังคม

ประเด็นด้านความปลอดภัยของ AI ความสามารถในการคาดการณ์ ความยุติธรรมของอัลกอริทึม ความเป็นส่วนตัว และผลทางจริยธรรมของระบบอัตโนมัติไม่ได้รับการกล่าวถึง[1]

เวทีผู้เชี่ยวชาญ

รายงานประกอบด้วยความคิดเห็นจากผู้เชี่ยวชาญชั้นนำที่เป็นตัวแทนจากแวดวงวิชาการ อุตสาหกรรม ภาครัฐ และสื่อ[1]

Barbara Grosz (Harvard)

Barbara Grosz เน้นย้ำถึงความสำคัญของการพัฒนาเมตริกที่คำนึงถึงไม่เพียงแค่ประสิทธิภาพของระบบ AI ในสุญญากาศ แต่ยัง คุณภาพของการโต้ตอบระหว่าง AI กับมนุษย์ และผลกระทบของระบบ AI ต่อผู้คนทั้งในระดับบุคคลและในสังคม เธอชี้ให้เห็นถึงช่องว่างในรายงาน: ส่วนการประมวลผลภาษาธรรมชาติครอบคลุม Parsing Machine Translation และการค้นหาคำตอบ แต่ไม่รวมระบบโต้ตอบซึ่งต้องการการพิจารณาสภาวะทางจิตของคู่สนทนา Grosz ยังเรียกร้องให้ติดตามสัดส่วนของหลักสูตร AI ที่รวมมุมมองด้านจริยธรรม และจำนวนบริษัทที่ตั้งคำถามว่าควรสร้างระบบ AI บางอย่างขึ้นมาเลยหรือไม่[1]

Eric Horvitz (Microsoft)

Eric Horvitz ระบุว่าการเผยแพร่รายงานฉบับเปิดตัวเป็น ก้าวสำคัญในการดึงชุมชนในวงกว้างเข้าสู่การสนทนา เขาตั้งข้อสังเกตถึงคุณค่าของส่วนเมตริกที่ได้รับมาและ AI Vibrancy Index โดยเสนอให้ตรวจสอบความถูกต้องโดยการเปรียบเทียบกับข้อมูลเกี่ยวกับการจ้างงาน องค์ประกอบ และค่าตอบแทนของผู้มีความสามารถด้าน AI ในองค์กรต่าง ๆ Horvitz เน้นย้ำเป็นพิเศษถึงความสำคัญของการติดตามความก้าวหน้าใน common sense reasoning «ซึ่งแม้แต่เด็กเล็กก็มี» แต่ยังอยู่นอกเหนือการเข้าถึงของเทคโนโลยี AI ในปัจจุบัน[2]

Kai-Fu Lee (Sinovation Ventures)

Kai-Fu Lee เติมเต็มช่องว่างของรายงานในด้านความครอบคลุมระดับนานาชาติโดยนำเสนอ ภาพรวมสถานะ AI ในจีน เขาระบุว่าจีนมีโทรศัพท์มือถือและผู้ใช้อินเทอร์เน็ตมากกว่าสหรัฐอเมริกาหรืออินเดียสามเท่า และช่องว่างในปริมาณข้อมูลที่สร้างขึ้นเกินกว่าปัจจัยสาม: ชาวจีนทำการชำระเงินผ่านมือถือมากกว่าชาวอเมริกัน 50 เท่า ปริมาณการจัดส่งอาหารมากกว่า 10 เท่า และบริษัท Didi ได้เริ่มบูรณาการข้อมูลกับระบบจัดการการจราจรแล้ว Lee ยกตัวอย่างสตาร์ทอัพจีน Face++ ซึ่งได้อันดับหนึ่งในการแข่งขัน Computer Vision สามรายการ เอาชนะ Google, Microsoft, Facebook และ CMU เขาชี้ให้เห็นถึงแผนของสภาแห่งรัฐจีนในเดือนกรกฎาคม 2017 ที่จะเป็นศูนย์กลางนวัตกรรม AI ของโลกภายในปี 2030 และทำนายว่า ระบบสองขั้วระหว่างสหรัฐอเมริกาและจีนใน AI ไม่เพียงแต่หลีกเลี่ยงไม่ได้ แต่ได้เริ่มต้นขึ้นแล้ว[1]

Andrew Ng (Coursera, Stanford)

Andrew Ng บรรยาย AI ว่าเป็น «ไฟฟ้าชนิดใหม่» ที่กำลังเปลี่ยนแปลงหลายอุตสาหกรรม เขาอธิบายลำดับของการเปลี่ยนแปลงสาขาย่อยของ AI ด้วย Deep Learning: เริ่มจากการจดจำเสียงพูด จากนั้น Computer Vision จากนั้น NLP (ซึ่งนำไปสู่การเฟื่องฟูของ chatbot) และต่อไปยังหุ่นยนต์ (ความสามารถการผลิตใหม่ ๆ) Ng เน้นย้ำว่าประเทศที่มีนโยบาย AI ที่ฉลาดกว่าจะก้าวหน้าเร็วกว่า ในขณะที่ประเทศที่มีมาตรการที่ไม่ได้รับการคิดอย่างดีเสี่ยงต่อการล้าหลัง[1]

Daniela Rus (MIT)

Daniela Rus นำเสนอมุมมองที่มองโลกในแง่ดีเกี่ยวกับ AI ในฐานะแรงผลักดันเชิงบวก: ตั้งแต่การต่อสู้กับการเปลี่ยนแปลงสภาพภูมิอากาศและการทำให้การศึกษาเป็นประชาธิปไตยไปจนถึงยานยนต์อัตโนมัติและการดูแลสุขภาพแบบเฉพาะบุคคล เธอเน้นย้ำว่าตรงกันข้ามกับความเชื่อที่แพร่หลาย AI จะนำไปสู่งานที่น่าพึงพอใจมากขึ้น ไม่ใช่น้อยลง เนื่องจากการเพิ่มผลิตภาพจาก AI และหุ่นยนต์จะปลดปล่อยผู้คนจากงานซ้ำซาก[1]

Sebastian Thrun (Stanford, Udacity)

Sebastian Thrun ยกตัวอย่างทางประวัติศาสตร์: ก่อนการประดิษฐ์เครื่องจักรไอน้ำ ผู้คนส่วนใหญ่เป็นชาวนาที่กำหนดตัวตนโดยแรงกาย เครื่องจักรเปลี่ยนชาวนาให้กลายเป็น «มนุษย์เหนือธรรมชาติ» — ชาวนาอเมริกันคนหนึ่งเลี้ยงคนได้ 155 คน และน้อยกว่า 2% ของประชากรสหรัฐทำงานในภาคเกษตรกรรม ในทำนองเดียวกัน AI สามารถเรียนรู้รูปแบบงานซ้ำซากของเราและช่วยให้เราเป็น «มนุษย์เหนือธรรมชาติ» Thrun ทำนายถึงการมาถึงของ ยุคแห่งความคิดสร้างสรรค์ของมนุษย์ที่ไม่เคยมีมาก่อน แต่เตือนถึงความจำเป็นในการเป็น «ผู้เรียนตลอดชีวิต» และปรับตัวให้เข้ากับการเปลี่ยนแปลง[1]

Michael Wooldridge (Oxford)

Michael Wooldridge ตั้งคำถามสำคัญ: มี «ฟองสบู่ AI» อยู่หรือไม่ และมันจะแตก (เหมือนฟองสบู่ดอตคอมปี 1996–2001) หรือค่อย ๆ ยุบตัวลงอย่างนุ่มนวล? ความกังวลหลักของเขาคือ «ฤดูหนาว AI» ใหม่ที่เกิดจากความผิดหวังหลังการลงทุนเชิงเก็งกำไรจำนวนมาก อย่างไรก็ตาม เขาแสดงความมองโลกในแง่ดีอย่างระมัดระวัง: ต่างจากรอบก่อน ๆ ภายใต้ฟองสบู่ในปัจจุบันมีสาระที่แท้จริง — ระบบ AI แสดงความก้าวหน้าที่มั่นคง และบริษัทขนาดใหญ่ได้เรียนรู้วิธีใช้เทคนิค AI อย่างมีประสิทธิผล Wooldridge ยังตั้งคำถามเกี่ยวกับการวัดความก้าวหน้าในทิศทางของ General AI โดยระบุว่าทั้งเขาและใครก็ตามไม่รู้ว่าจะวัดสิ่งนั้นอย่างไร[1]

Megan Smith และ Sueann Alzner

อดีต CTO ของสหรัฐอเมริกา Megan Smith และ Sueann Alzner (บริการประสานงาน NGO ที่ UN) เน้นย้ำ ความสำคัญสูงสุดของความหลากหลายและการมีส่วนร่วม พวกเธอชี้ว่ามนุษย์ส่วนใหญ่ถูกกีดกันออกจากการสนทนาและทีมออกแบบเนื่องจาก «อคติโดยเจตนาและไม่ตั้งใจในวงกว้าง รูปแบบวัฒนธรรมเลือกปฏิบัติอย่างมีนัยสำคัญ และพฤติกรรมการกีดกันเชิงระบบที่เรียนรู้มา» ผู้เขียนอ้างถึงโครงการริเริ่มสำคัญหลายอย่าง: Algorithmic Justice League คำร้องถึง UN เกี่ยวกับ AI อาวุธ ขบวนการ CS for All และโครงการ AI4All[1]

วิธีการ

รายงานใช้ข้อมูลจากหลายแหล่ง[1]:

  • สิ่งพิมพ์: Elsevier Scopus — ฐานข้อมูลเอกสารเกือบ 70 ล้านรายการ; การสืบค้นด้วยคำสำคัญ «Artificial Intelligence» ในสาขาวิชา «Computer Science» สำหรับช่วงปี 1996 เป็นต้นมา[3]
  • การลงทะเบียนเรียนในหลักสูตร: บันทึกของมหาวิทยาลัย — UC Berkeley, Carnegie Mellon, Georgia Tech, UIUC, MIT, Stanford, University of Washington[1]
  • การเข้าร่วมการประชุมวิชาการ: ข้อมูลจากผู้จัดการประชุม 15 แห่ง (AAAI, AAMAS, ACL, CP, CVPR, ECAI, ICAPS, ICRA, ICLR, ICML, IJCAI, IROS, KR, NIPS, UAI)[1]
  • สตาร์ทอัพและการระดมทุน: Crunchbase (API สำหรับระบุบริษัทตามหมวดหมู่), VentureSource (ข้อมูล Venture Capital), Sand Hill Econometrics (การรวบรวม)[4][5]
  • ตลาดแรงงาน: Indeed.com (สัดส่วนตำแหน่งงาน AI แยกตามประเทศ), Monster.com / CEB TalentNeuron (จำนวนตำแหน่งงานโดยรวมแยกตามทักษะ)[6][7]
  • การนำเข้าหุ่นยนต์: International Federation of Robotics, World Robotics Report[8]
  • GitHub: GitHub Archive ผ่าน Google BigQuery — การนับเหตุการณ์ WatchEvent สำหรับ repository ของเฟรมเวิร์ก AI[9]
  • อารมณ์ของสื่อ: TrendKite — การจำแนกบทความภาษาอังกฤษพร้อมการกรองข่าวประชาสัมพันธ์ ข่าวการเงิน และคำไว้อาลัย[10]
  • Benchmark: LSVRC ImageNet, VQA 1.0, Penn Treebank, WMT / EuroMatrix, SQuAD, Switchboard Hub5'00, TPTP, SAT Competition[1]

คณะกรรมการบริหารและทีมผู้เขียน

โครงการ AI Index 2017 จัดทำขึ้นภายใต้การนำของคณะกรรมการบริหาร[1]:

  • Yoav Shoham (มหาวิทยาลัย Stanford) — ประธาน
  • Raymond Perrault (SRI International)
  • Erik Brynjolfsson (MIT)
  • Jack Clark (OpenAI)
  • Calvin LeGassick — ผู้จัดการโครงการ

คณะกรรมการที่ปรึกษาประกอบด้วย Michael Bowling, Ernie Davis, Julia Hirschberg, Eric Horvitz, Karen Levy, Alan Mackworth, Tom Mitchell, Sandy Pentland, Chris Ré, Daniela Rus, Sebastian Thrun, Hal Varian และ Toby Walsh[1]

องค์กรพันธมิตร ได้แก่: Allen Institute for Artificial Intelligence, Crunchbase, Electronic Frontier Foundation, Elsevier, EuroMatrix, Google Brain, Indeed.com, Monster.com, Sand Hill Econometrics, Sinovation Ventures, TrendKite, VentureSource เงินทุนเริ่มต้นมาจาก Google, Microsoft และ Bytedance (Toutiao) แต่ AI Index เน้นย้ำถึงความเป็นอิสระของตนและระบุว่าไม่จำเป็นต้องสะท้อนความคิดเห็นขององค์กรเหล่านั้น[1]

ความสำคัญทางประวัติศาสตร์

รายงานฉบับเปิดตัว AI Index ปี 2017 วางรากฐานสำหรับชุดรายงานประจำปีที่ตามมา ซึ่งขยายขอบเขตอย่างมีนัยสำคัญตามกาลเวลา จากสี่ส่วนเริ่มต้นไปสู่เก้าบทเฉพาะหัวข้อในรายงานปี 2024 ช่องว่างหลายประการที่ยอมรับอย่างตรงไปตรงมาในส่วน «What's Missing» ของรายงานปี 2017 ได้รับการจัดการตามลำดับ: ความครอบคลุมระดับนานาชาติ (เริ่มตั้งแต่รายงานปี 2018) ข้อมูลความหลากหลาย การลงทุนของรัฐ ผลกระทบต่อสาขาแนวตั้ง รวมถึง AI ที่รับผิดชอบและการกำกับดูแล[26] โครงการ AI Index ต่อมาได้ย้ายมาอยู่ภายใต้การดูแลของ Stanford HAI (Human-Centered Artificial Intelligence Institute) ซึ่งก่อตั้งขึ้นในปี 2019[1]

ลิงก์ภายนอก

บรรณานุกรม

หมายเหตุ

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 1.60 AI Index Steering Committee (2017). AI Index 2017 Annual Report. https://aiindex.stanford.edu/2017-report/
  2. ↑ 2.0 2.1 Horvitz, E. (2017). Commentary in AI Index 2017 Annual Report. https://aiindex.stanford.edu/2017-report/
  3. ↑ 3.0 3.1 3.2 Elsevier Scopus Database (2017). https://www.scopus.com/
  4. ↑ 4.0 4.1 Crunchbase (2017). AI-related startup data. https://www.crunchbase.com/
  5. ↑ 5.0 5.1 5.2 VentureSource / Sand Hill Econometrics (2017). Venture-backed AI company data.
  6. ↑ 6.0 6.1 6.2 Indeed.com (2017). AI job growth data. https://www.indeed.com/
  7. ↑ 7.0 7.1 7.2 Monster.com / CEB TalentNeuron (2017). AI job openings data. https://www.monster.com/
  8. ↑ 8.0 8.1 International Federation of Robotics (2017). World Robotics Report. https://ifr.org/worldrobotics/
  9. ↑ 9.0 9.1 GitHub Archive / Google BigQuery (2017). GitHub AI project statistics. https://www.gharchive.org/
  10. ↑ 10.0 10.1 TrendKite (2017). Media sentiment analysis data. https://www.trendkite.com/
  11. ↑ LSVRC ImageNet Competition (2010–2017). http://www.image-net.org/challenges/LSVRC/
  12. ↑ 12.0 12.1 Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision. https://arxiv.org/abs/1409.0575
  13. ↑ VQA Dataset (2017). http://www.visualqa.org/
  14. ↑ Marcus, M. et al. (1993). Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, 19(2). https://catalog.ldc.upenn.edu/LDC99T42
  15. ↑ 15.0 15.1 Conference on Machine Translation / EuroMatrix (2017). WMT News Translation Task. http://www.statmt.org/wmt17/
  16. ↑ Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. https://arxiv.org/abs/1606.05250
  17. ↑ 17.0 17.1 Electronic Frontier Foundation (2017). AI Progress Metrics. https://www.eff.org/ai/metrics
  18. ↑ Sutcliffe, G. (2017). The TPTP Problem Library. http://www.tptp.org/
  19. ↑ SAT Competition (2017). http://www.satcompetition.org/
  20. ↑ Campbell, M. et al. (2002). Deep Blue. Artificial Intelligence, 134(1–2). https://doi.org/10.1016/S0004-3702(01)00129-1
  21. ↑ Mnih, V. et al. (2015). Human-level control through deep reinforcement learning. Nature, 518. https://doi.org/10.1038/nature14236
  22. ↑ Silver, D. et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529. https://doi.org/10.1038/nature16961
  23. ↑ Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550. https://doi.org/10.1038/nature24270
  24. ↑ Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542. https://doi.org/10.1038/nature21056
  25. ↑ Brown, N. & Sandholm, T. (2017). Superhuman AI for heads-up no-limit poker: Libratus beats top professionals. Science, 359(6374). https://doi.org/10.1126/science.aao1733
  26. ↑ Stanford HAI (2024). Artificial Intelligence Index Report 2024. https://aiindex.stanford.edu/report/
Retrieved from "https://systems-analysis.info/int/index.php?title=The_2017_AI_Index_Report_(TH)&oldid=7925"