The 2017 AI Index Report (EL)

From Systems analysis Wiki
Jump to navigation Jump to search

AI Index Report 2017 — η πρώτη (εναρκτήρια) ετήσια έκθεση του έργου AI Index, που δημοσιεύτηκε τον Νοέμβριο του 2017[1]. Το έργο δημιουργήθηκε στο πλαίσιο της πρωτοβουλίας One Hundred Year Study on AI (AI100) του Πανεπιστημίου Stanford και αποτελεί ένα ανοιχτό μη κερδοσκοπικό έργο παρακολούθησης της δραστηριότητας και της προόδου στον τομέα της τεχνητής νοημοσύνης. Η έκθεση του 2017 ήταν η πρώτη προσπάθεια συστηματικής συγκέντρωσης και οπτικοποίησης δεδομένων για την κατάσταση της ΤΝ, καλύπτοντας τους όγκους δραστηριότητας στον ακαδημαϊκό και βιομηχανικό χώρο, την τεχνική απόδοση συστημάτων ΤΝ, παράγωγες μετρικές και την πρόοδο προς το ανθρώπινο επίπεδο. Οι συντάκτες υπογραμμίζουν ότι χωρίς σχετικά δεδομένα για την κατάσταση των τεχνολογιών ΤΝ, η κοινωνία «πετά τυφλά» στις συζητήσεις και τις αποφάσεις που σχετίζονται με την τεχνητή νοημοσύνη[1].

Προϋποθέσεις και στόχοι

Έως το 2017, η τεχνητή νοημοσύνη είχε αναδειχθεί στο προσκήνιο του παγκόσμιου διαλόγου, προσελκύοντας το ενδιαφέρον επαγγελματιών, ηγετών της βιομηχανίας, πολιτικών και του ευρύτερου κοινού. Ο τομέας της ΤΝ εξελισσόταν τόσο ταχύτατα, ώστε ακόμα και οι ειδικοί δυσκολεύονταν να κατανοήσουν και να παρακολουθήσουν την πρόοδο. Το AI Index σχεδιάστηκε ως εργαλείο για μια ενημερωμένη συζήτηση για την ΤΝ, βασισμένη σε δεδομένα και όχι σε εικασίες ή ανεκδοτικές μαρτυρίες[1].

Η ιδέα του έργου προέκυψε στο πλαίσιο συζητήσεων της Μόνιμης Επιτροπής AI100 το 2015[2]. Η έκθεση συγκεντρώνει τόσο ελεύθερα διαθέσιμα δεδομένα από το διαδίκτυο, όσο και πρωτότυπα δεδομένα, και εξάγει νέες μετρικές από συνδυασμούς υπαρχόντων σειρών. Όλα τα δεδομένα που χρησιμοποιήθηκαν για τη δημιουργία της έκθεσης δημοσιεύονται ελεύθερα στον ιστότοπο aiindex.org[1].

Δομή της έκθεσης

Η έκθεση του 2017 αποτελείται από τέσσερις βασικές ενότητες δεδομένων και αρκετές ενότητες συζήτησης[1]:

  1. Όγκος δραστηριότητας (Volume of Activity) — μετρικές «πόσα»: δημοσιεύσεις, εγγραφές σε μαθήματα, παρουσία σε συνέδρια, startups, χρηματοδότηση, κενές θέσεις εργασίας, εισαγωγές ρομπότ, λογισμικό ανοιχτού κώδικα, δημόσιο ενδιαφέρον.
  2. Τεχνική απόδοση (Technical Performance) — μετρικές «πόσο καλά»: υπολογιστική όραση, επεξεργασία φυσικής γλώσσας, αναγνώριση ομιλίας, απόδειξη θεωρημάτων, επίλυση προβλημάτων SAT.
  3. Παράγωγες μετρικές (Derivative Measures) — αλληλεπιδράσεις μεταξύ τάσεων, δυναμική «ακαδημία — βιομηχανία», δείκτης ζωτικότητας ΤΝ (AI Vibrancy Index).
  4. Στον δρόμο προς το ανθρώπινο επίπεδο; (Towards Human-Level Performance?) — κατάλογος επιτευγμάτων στα οποία η ΤΝ πλησίασε ή ξεπέρασε το ανθρώπινο επίπεδο.
  5. Τι λείπει; (What's Missing?) — αναγνώριση των περιορισμών της έκθεσης και κατευθύνσεις για μελλοντική εργασία.
  6. Φόρουμ Εμπειρογνωμόνων (Expert Forum) — σχόλια κορυφαίων εμπειρογνωμόνων στον τομέα της ΤΝ.

Όγκος δραστηριότητας

Ακαδημαϊκές δημοσιεύσεις

Ο αριθμός επιστημονικών άρθρων για την ΤΝ που δημοσιεύθηκαν και ευρετηριάστηκαν στη βάση δεδομένων Scopus (εκδοτικός οίκος Elsevier) με τη λέξη-κλειδί «Artificial Intelligence» στο θεματικό πεδίο «Computer Science», αυξήθηκε κατά περισσότερο από 9 φορές από το 1996[3]. Για σύγκριση: ο συνολικός αριθμός δημοσιεύσεων στον τομέα της πληροφορικής για την ίδια περίοδο αυξήθηκε περίπου 6 φορές, γεγονός που δείχνει ότι η αύξηση των δημοσιεύσεων για την ΤΝ δεν οφείλεται απλώς στη διεύρυνση του ενδιαφέροντος για την πληροφορική γενικά, αλλά στο αυξανόμενο ενδιαφέρον για την τεχνητή νοημοσύνη ειδικότερα[1].

Κατά τη στιγμή σύνταξης της έκθεσης, η βάση Scopus περιείχε περισσότερα από 200.000 άρθρα στον τομέα της πληροφορικής με τη λέξη-κλειδί «Artificial Intelligence» και σχεδόν 5 εκατομμύρια άρθρα πληροφορικής συνολικά, από περίπου 70 εκατομμύρια ευρετηριασμένα έγγραφα[3].

Εγγραφές σε εκπαιδευτικά μαθήματα

Η εγγραφή φοιτητών σε εισαγωγικά μαθήματα τεχνητής νοημοσύνης και Machine Learning παρουσίαζε ταχεία ανάπτυξη. Στο Πανεπιστήμιο Stanford, οι εγγραφές στο εισαγωγικό μάθημα ΤΝ αυξήθηκαν 11 φορές από το 1996[1]. Το Machine Learning (ML) ως υποπεδίο της ΤΝ αναλύθηκε χωριστά λόγω της ιδιαίτερα ταχείας αύξησης των εγγραφών και του κρίσιμου ρόλου των τεχνικών ML στις πρόσφατες επιτυχίες της ΤΝ.

Ανάλογες τάσεις παρατηρήθηκαν και σε άλλα κορυφαία πανεπιστήμια: Πανεπιστήμιο της Καλιφόρνιας στο Berkeley, Πανεπιστήμιο Carnegie Mellon, Τεχνολογικό Ινστιτούτο Georgia, Πανεπιστήμιο του Illinois στο Urbana-Champaign, Μασαχουσέτικο Τεχνολογικό Ινστιτούτο και Πανεπιστήμιο της Ουάσιγκτον[1]. Οι συντάκτες της έκθεσης επισημαίνουν ότι αυτά τα δεδομένα αντιπροσωπεύουν μόνο μια στενή τομή του τοπίου της τριτοβάθμιας εκπαίδευσης και δεν είναι απαραίτητα αντιπροσωπευτικά για ευρύτερο κύκλο εκπαιδευτικών ιδρυμάτων.

Παρουσία σε συνέδρια

Τα δεδομένα παρουσίας στα κορυφαία συνέδρια ΤΝ (AAAI, AAMAS, ACL, CP, CVPR, ECAI, ICAPS, ICRA, ICLR, ICML, IJCAI, IROS, KR, NIPS, UAI) επιβεβαίωσαν τη μετατόπιση της ερευνητικής εστίασης από τον συμβολικό συλλογισμό στο Machine Learning και το deep learning[1]. Τα συνέδρια Machine Learning (NIPS, ICML, ICLR) παρουσίαζαν την πιο σημαντική αύξηση παρουσίας, ενώ τα συνέδρια συμβολικών μεθόδων (KR, CP, ICAPS) διατηρούσαν μια σταθερή αλλά πιο μετριοπαθή κοινότητα που συνεχίζει να επιτυγχάνει σταθερή πρόοδο[1].

Startups στον τομέα της ΤΝ

Ο αριθμός των ενεργών αμερικανικών startups που αναπτύσσουν συστήματα ΤΝ με επιχειρηματική χρηματοδότηση αυξήθηκε 14 φορές από το 2000[4][5]. Για την αναγνώριση εταιρειών ΤΝ χρησιμοποιήθηκαν κατηγορίες Crunchbase (Artificial Intelligence, Machine Learning, Natural Language Processing, Computer Vision, Facial Recognition, Image Recognition, Speech Recognition, Semantic Search, Semantic Web, Text Analytics, Virtual Assistant, Visual Search, Predictive Analytics, Intelligent System) με επακόλουθη διασταύρωση με τη βάση VentureSource[1].

Επιχειρηματική χρηματοδότηση

Ο όγκος των ετήσιων επιχειρηματικών επενδύσεων σε αμερικανικά startups ΤΝ αυξήθηκε 6 φορές από το 2000[5]. Τα δεδομένα καλύπτουν όλα τα στάδια χρηματοδότησης και συγκεντρώθηκαν από την εταιρεία Sand Hill Econometrics βάσει της βάσης VentureSource[1].

Αγορά εργασίας

Τα δεδομένα των δύο μεγαλύτερων πλατφορμών διαδικτυακών αγγελιών εργασίας — Indeed.com και Monster.com — έδειξαν σημαντική αύξηση της ζήτησης για ειδικούς στον τομέα της ΤΝ[6][7].

Indeed.com: Το μερίδιο των αγγελιών που απαιτούν δεξιότητες ΤΝ στην πλατφόρμα στις ΗΠΑ αυξήθηκε 4,5 φορές από το 2013[6]. Παρόμοια ταχεία ανάπτυξη παρατηρήθηκε στον Καναδά και τη Μεγάλη Βρετανία, αν και σε απόλυτα μεγέθη οι αγορές τους αντιστοιχούσαν στο 5% και 27% της αμερικανικής αντίστοιχα[1].

Monster.com: Η ανάλυση του απόλυτου αριθμού αγγελιών ΤΝ κατανεμημένων ανά απαιτούμενες δεξιότητες (Machine Learning, υπολογιστική όραση, επεξεργασία φυσικής γλώσσας κ.λπ.) επιβεβαίωσε επίσης σταθερή ανάπτυξη. Μια αγγελία μπορούσε ταυτόχρονα να απαιτεί πολλαπλές δεξιότητες[7].

Εισαγωγές ρομπότ

Τα δεδομένα της ετήσιας έκθεσης World Robotics Report, που εκπονείται από τη Διεθνή Ομοσπονδία Ρομποτικής (IFR), έδειξαν σταθερή αύξηση των εισαγωγών βιομηχανικών ρομπότ τόσο στη Βόρεια Αμερική όσο και παγκοσμίως[8]. Οι συντάκτες της έκθεσης επισημαίνουν ότι δεν υπάρχει απλός τρόπος να προσδιοριστεί ποιο ποσοστό ρομπότ χρησιμοποιεί λογισμικό που χαρακτηρίζεται ως «ΤΝ», και σε ποιον βαθμό οι εξελίξεις στον τομέα της ΤΝ συμβάλλουν στην αύξηση της χρήσης βιομηχανικών ρομπότ[1].

Λογισμικό ανοιχτού κώδικα

Το ενδιαφέρον των προγραμματιστών για frameworks ΤΝ στην πλατφόρμα GitHub παρουσίασε σημαντική αύξηση. Ο αριθμός των αστεριών (Stars) για τα κύρια πακέτα Machine Learning και deep learning — TensorFlow, Scikit-Learn, Keras, PyTorch, Caffe, MXNet, CNTK και Theano — αυξανόταν ταχύτατα[9]. Το TensorFlow της Google και το Scikit-Learn αναδείχθηκαν ως τα πιο δημοφιλή πακέτα, με τις τάσεις αριθμού αστεριών και forks να είναι σχεδόν πανομοιότυπες[1].

Δημόσιο ενδιαφέρον: τόνος των μέσων ενημέρωσης

Η ανάλυση του τόνου των δημοσιεύσεων σε δημοφιλή μέσα ενημέρωσης που περιέχουν τον όρο «Artificial Intelligence», βάσει δεδομένων της υπηρεσίας TrendKite, έδειξε τη δυναμική της αναλογίας θετικών και αρνητικών άρθρων[10]. Ο ταξινομητής TrendKite κατηγοριοποιούσε αγγλόφωνα άρθρα (εξαιρουμένων δελτίων τύπου, οικονομικών ειδήσεων και νεκρολογιών) σε «θετικά», «αρνητικά» και «ουδέτερα»[1].

Τεχνική απόδοση

Η ενότητα τεχνικής απόδοσης παρακολουθεί την πρόοδο των συστημάτων ΤΝ σε εργασίες υπολογιστικής όρασης, επεξεργασίας φυσικής γλώσσας, αναγνώρισης ομιλίας, απόδειξης θεωρημάτων και επίλυσης προβλημάτων SAT[1].

Υπολογιστική όραση

Ανίχνευση αντικειμένων (Object Detection)

Στον διαγωνισμό Large Scale Visual Recognition Challenge (LSVRC) βάσει του dataset ImageNet, το ποσοστό σφαλμάτων στην αναγνώριση εικόνων μειώθηκε από 28,5% σε λιγότερο από 2,5% την περίοδο 2010–2017[11]. Για σύγκριση: το επίπεδο ανθρώπινου σφάλματος εκτιμάται περίπου στο 5%[12], δηλαδή έως το 2017 τα συστήματα ΤΝ είχαν ήδη ξεπεράσει σημαντικά το ανθρώπινο επίπεδο σε αυτό το benchmark. Ο διαγωνισμός ImageNet ολοκληρώθηκε το 2017[1].

Οπτικές ερωτήσεις-απαντήσεις (Visual Question Answering)

Στο dataset VQA 1.0 — εργασία δημιουργίας ανοιχτών απαντήσεων σε ερωτήσεις για εικόνες — τα συστήματα ΤΝ παρουσίαζαν σταθερή πρόοδο[13]. Οι συντάκτες επισημαίνουν ότι το dataset VQA 1.0 είχε ήδη αντικατασταθεί από το VQA 2.0 και ήταν ασαφές πόση προσοχή θα συνεχίσει να δίνεται στην αρχική έκδοση[1].

Επεξεργασία φυσικής γλώσσας

Συντακτική ανάλυση (Parsing)

Στο τυπικό σύνολο δοκιμών — τμήμα 23 του corpus Wall Street Journal από το Penn Treebank — τα αυτόματα εργαλεία ανάλυσης παρουσίαζαν σταθερή αύξηση της μετρικής F1[14]. Τα αποτελέσματα καταγράφηκαν τόσο για προτάσεις με λιγότερες από 40 λέξεις, όσο και για το πλήρες σύνολο προτάσεων[1].

Μηχανική μετάφραση (Machine Translation)

Στον ετήσιο διαγωνισμό Workshop on Machine Translation (WMT) για την εργασία μετάφρασης ειδήσεων μεταξύ αγγλικής και γερμανικής γλώσσας, τα καλύτερα συστήματα παρουσίαζαν γενική ανοδική τάση ως προς τη μετρική BLEU[15]. Η μετρική BLEU — αυτόματη μέθοδος σύγκρισης της μηχανικής μετάφρασης με πολλές μεταφράσεις από ανθρώπους — αποτελεί τροποποιημένη εκδοχή της ακρίβειας (precision) με τιμές από 0 έως 1. Αν και το BLEU συσχετίζεται με τις αξιολογήσεις εμπειρογνωμόνων για την ποιότητα της μετάφρασης, δεν μπορεί να χρησιμοποιηθεί για σύγκριση μεταξύ corpus, ενώ η σύγκριση μεταξύ συστημάτων μπορεί να είναι παραπλανητική[1].

Το 2017, οι βαθμολογίες BLEU μειώθηκαν αισθητά σε σχέση με το 2016 (αν και παρέμειναν υψηλότερες από το επίπεδο του 2015), γεγονός που πιθανώς οφείλεται στα χαρακτηριστικά του συνόλου δοκιμών και όχι σε πραγματική υποβάθμιση της ποιότητας των συστημάτων μηχανικής μετάφρασης[15].

Ερωτήσεις-απαντήσεις (Question Answering)

Στο dataset Stanford Question Answering Dataset (SQuAD) — πάνω από 500 άρθρα και 100.000 ζεύγη «ερώτηση-απάντηση» — τα συστήματα ΤΝ παρουσίαζαν ταχεία αύξηση της μετρικής Exact Match (EM), που μετράει το ποσοστό απαντήσεων που συμπίπτουν ακριβώς με τις αναφορές[16]. Το επίπεδο ανθρώπινης απόδοσης στο SQuAD ήταν 82,3%[1]. Οι βαθμολογίες στο SQuAD αυξάνονταν ραγδαία από τη δημιουργία του dataset τον Ιούνιο του 2016.

Αναγνώριση ομιλίας

Στο τυπικό dataset Switchboard Hub5'00 — εργασία αναγνώρισης ομιλίας από τηλεφωνικές συνομιλίες — η Microsoft και η IBM το 2017 επέτυχαν απόδοση κοντά στο «ανθρώπινο ισοδύναμο»[17]. Η μετρική Word Error Rate (WER) — ο αριθμός σφαλμάτων (αντικαταστάσεων, διαγραφών και εισαγωγών λέξεων), κανονικοποιημένος ως προς το μήκος της πρότασης — μειωνόταν επί πολλά χρόνια. Υπήρχαν διαφωνίες σχετικά με το ακριβές επίπεδο ανθρώπινου σφάλματος: αναφέρονταν τιμές 5,1% και 5,9%, ακόμα και κάτω από 5%. Στην έκθεση χρησιμοποιήθηκε το κατώφλι του 5,1%[1].

Οι συντάκτες εξέφρασαν ανησυχία για το γεγονός ότι η παρατεταμένη χρήση του dataset Switchboard μπορεί να οδηγήσει σε σημαντική υπερπροσαρμογή (overfitting) των συστημάτων ΤΝ σε συγκεκριμένα δεδομένα[1].

Απόδειξη θεωρημάτων

Στο σύνολο προβλημάτων Thousands of Problems for Theorem Provers (TPTP) παρακολουθήθηκε η μέση «επιλυσιμότητα» (tractability) — το ποσοστό των σύγχρονων αυτόματων αποδεικτών θεωρημάτων (ATP) που μπορούν να επιλύσουν ένα πρόβλημα[18]. Αναλύθηκε ένα υποσύνολο προβλημάτων που δεν είχαν ενημερωθεί από την έκδοση TPTP v5.0.0 (2010). Η μετρική έχει μια ιδιαιτερότητα: η εμφάνιση νέων ισχυρών συστημάτων ATP που επιλύουν καλά νέα προβλήματα αλλά αποδίδουν άσχημα σε προβλήματα που επιλύουν άλλα συστήματα μπορεί να οδηγήσει σε μείωση της μέσης επιλυσιμότητας[1].

Επίλυση προβλημάτων SAT

Σε βιομηχανικές περιπτώσεις προβλημάτων από τον διαγωνισμό SAT Competition καταγράφηκε αύξηση του ποσοστού επιλυμένων προβλημάτων[19]. Οι ερευνητές Holger Hoos και Kevin Leyton-Brown δοκίμασαν 69 επιλυτές σε 1.076 περιπτώσεις προβλημάτων που παρουσιάστηκαν στον διαγωνισμό από το 2007, εκτελώντας όλους τους επιλυτές στο ίδιο υλικό για ορθή σύγκριση[1]. Οι συντάκτες επισημαίνουν ότι μέρος των βελτιώσεων μπορεί να αντικατοπτρίζει μηχανολογικά επιτεύγματα και όχι αλγοριθμικές돌突破ές[1].

Παράγωγες μετρικές

Δυναμική «ακαδημία — βιομηχανία»

Για τη διερεύνηση της σχέσης μεταξύ δραστηριότητας ΤΝ στην ακαδημία και τη βιομηχανία, επιλέχθηκαν τρεις αντιπροσωπευτικές μετρικές: ο αριθμός δημοσιεύσεων για την ΤΝ, ο συνολικός αριθμός εγγραφών σε εισαγωγικά μαθήματα ΤΝ και ML στο Stanford, και ο όγκος επιχειρηματικών επενδύσεων σε startups ΤΝ. Όλες οι μετρικές κανονικοποιήθηκαν ως προς το έτος 2000[1].

Η ανάλυση έδειξε ότι αρχικά η ακαδημαϊκή δραστηριότητα (δημοσιεύσεις και εγγραφές σε μαθήματα) εξασφάλιζε σταθερή πρόοδο. Περίπου από το 2010, οι επενδυτές άρχισαν να στρέφουν το ενδιαφέρον τους στον τομέα, και έως το 2013 έγιναν κινητήρια δύναμη της απότομης αύξησης της συνολικής δραστηριότητας. Στη συνέχεια, η ακαδημία ακολούθησε τον «ενθουσιασμό» της βιομηχανίας[1].

Δείκτης ζωτικότητας ΤΝ (AI Vibrancy Index)

Ο AI Vibrancy Index είναι μια πειραματική σύνθετη μετρική που συγκεντρώνει κανονικοποιημένους δείκτες δημοσιεύσεων, εγγραφών σε μαθήματα και επιχειρηματικών επενδύσεων για ποσοτική εκτίμηση της «ζωτικότητας» της ΤΝ ως τομέα[1]. Ο δείκτης υπολογίστηκε ως μέσος όρος κανονικοποιημένων μετρικών στον χρόνο και παρουσίαζε απότομη άνοδο, αντανακλώντας ταυτόχρονη αύξηση και στα τρία συστατικά. Οι συντάκτες εξέφρασαν την ελπίδα ότι τέτοιες παράγωγες μετρικές θα δημιουργήσουν ενδιαφέρον για περαιτέρω ανάλυση των δεδομένων του AI Index[1].

Στον δρόμο προς το ανθρώπινο επίπεδο

Η έκθεση κατέγραψε αξιόπιστες περιπτώσεις στις οποίες τα υπολογιστικά συστήματα επέτυχαν ή ξεπέρασαν το ανθρώπινο επίπεδο απόδοσης, συνοδεύοντάς τες με σειρά σημαντικών επιφυλάξεων[1].

Βασικοί περιορισμοί σύγκρισης: οι μηχανές συχνά υπερτερούν των ανθρώπων σε εξειδικευμένες εργασίες, αλλά η απόδοση μπορεί να πέσει απότομα με την παραμικρή τροποποίηση των συνθηκών. Για παράδειγμα, ένας άνθρωπος που διαβάζει κινεζικούς χαρακτήρες πιθανώς κατανοεί και την κινεζική ομιλία, γνωρίζει κάτι για την κινεζική κουλτούρα και μπορεί να προτείνει πιάτα σε κινεζικό εστιατόριο. Για την ΤΝ, κάθε μία από αυτές τις εργασίες θα απαιτούσε ένα εντελώς ξεχωριστό σύστημα[1].

Ορόσημα επιτευγμάτων

Επίτευγμα Έτος Περιγραφή
Othello 1980s / 1997 Το 1989, το πρόγραμμα BILL (Kai-Fu Lee, Sanjoy Mahajan) νίκησε τον κορυφαίο Αμερικανό παίκτη Brian Rose (56–8). Το 1997, το πρόγραμμα Logistello κέρδισε όλες τις παρτίδες σε αγώνα έξι παιχνιδιών εναντίον του τότε παγκόσμιου πρωταθλητή[1].
Ντάμα 1995 Το πρόγραμμα Chinook νίκησε τον τότε παγκόσμιο πρωταθλητή. Τα πρώτα αυτομαθαινόμενα προγράμματα για ντάμα δημιουργούνταν από τον Arthur Samuel από το 1952[1].
Σκάκι 1997 Η IBM Deep Blue νίκησε τον παγκόσμιο πρωταθλητή Garry Kasparov. Ορισμένοι επιστήμονες στη δεκαετία του 1950 είχαν προβλέψει ότι ένας υπολογιστής θα νικούσε τον παγκόσμιο πρωταθλητή έως το 1967[20]. Έως το 2017, τα προγράμματα σκακιού σε smartphones έπαιζαν σε επίπεδο γκρόσμαϊστερ[1].
Jeopardy! 2011 Το σύστημα IBM Watson νίκησε τους πρώην νικητές της τηλεοπτικής εκπομπής Brad Rutter και Ken Jennings, κερδίζοντας το κύριο βραβείο 1 εκατομμυρίου δολαρίων[1].
Παιχνίδια Atari 2015 Η ομάδα Google DeepMind χρησιμοποίησε σύστημα Reinforcement Learning για εκπαίδευση σε 49 παιχνίδια Atari, επιτυγχάνοντας ανθρώπινο επίπεδο στα περισσότερα από αυτά (π.χ. Breakout), αν και ορισμένα παιχνίδια (π.χ. Montezuma's Revenge) παρέμεναν εκτός εμβέλειας[21].
Ανίχνευση αντικειμένων (ImageNet) 2016 Το ποσοστό σφαλμάτων αυτόματης ταξινόμησης εικόνων ImageNet μειώθηκε από 28% (2010) σε λιγότερο από 3%, με ανθρώπινο επίπεδο περίπου 5%[12].
Γκο 2016–2017 Το AlphaGo (Google DeepMind) νίκησε τον Lee Sedol 4–1 τον Μάρτιο του 2016, στη συνέχεια το AlphaGo Master νίκησε τον Ke Jie τον Μάρτιο του 2017. Τον Οκτώβριο του 2017, το AlphaGo Zero νίκησε το αρχικό AlphaGo με σκορ 100–0[22][23].
Ταξινόμηση καρκίνου δέρματος 2017 Ένα σύστημα ΤΝ εκπαιδευμένο σε 129.450 κλινικές εικόνες 2.032 ασθενειών επέδειξε επίπεδο επάρκειας στην ταξινόμηση καρκίνου δέρματος συγκρίσιμο με 21 πιστοποιημένους δερματολόγους[24].
Αναγνώριση ομιλίας (Switchboard) 2017 Η Microsoft και η IBM επέτυχαν απόδοση κοντά στο «ανθρώπινο ισοδύναμο» στην εργασία αναγνώρισης ομιλίας στο dataset Switchboard[17].
Πόκερ 2017 Το πρόγραμμα Libratus (CMU) νίκησε τέσσερις κορυφαίους παίκτες σε τουρνουά 120.000 παρτίδων Texas Hold'em χωρίς όριο στοιχήματος. Το πρόγραμμα DeepStack (Πανεπιστήμιο Alberta) απέδειξε στατιστικά σημαντική υπεροχή έναντι 11 επαγγελματιών σε περισσότερες από 3.000 παρτίδες ο καθένας[25].
Ms. Pac-Man 2017 Η ομάδα Maluuba (αποκτηθείσα από τη Microsoft) δημιούργησε σύστημα ΤΝ που επέτυχε τη μέγιστη βαθμολογία 999.900 πόντων στο Atari 2600[1].

Τι λείπει από την έκθεση

Οι συντάκτες παραδέχτηκαν ειλικρινά μια σειρά ουσιαστικών περιορισμών της εναρκτήριας έκθεσης[1]:

Τεχνική απόδοση

Δεν καλύφθηκαν πολλοί σημαντικοί τεχνικοί τομείς: διαλογικά συστήματα (για τα οποία δεν υπήρχαν τυποποιημένα benchmarks), σχεδιασμός, συνεχής έλεγχος στη ρομποτική, κοινός νους (common sense reasoning), συστήματα συστάσεων, τυποποιημένες δοκιμασίες. Οι συντάκτες προειδοποιούσαν ότι η παρακολούθηση της προόδου γίνεται συνήθως σε τομείς με καλά αποτελέσματα, γεγονός που δημιουργεί αισιόδοξη μεροληψία στην αξιολόγηση της κατάστασης της ΤΝ[1].

Διεθνής κάλυψη

Η έκθεση αναγνωρίστηκε ως υπερβολικά αμερικανοκεντρική, παρά τη σημαντική δραστηριότητα ΤΝ σε άλλες χώρες. Το επίπεδο επενδύσεων και δραστηριότητας στην Κίνα χαρακτηρίστηκε «εντυπωσιακό», αλλά εκτός του πεδίου της εναρκτήριας έκθεσης[1].

Ποικιλομορφία και συμπερίληψη

Η έκθεση δεν περιείχε κατανομή δεδομένων κατά φύλο, φυλή, ταυτότητα φύλου, εθνικότητα, σεξουαλικό προσανατολισμό ή άλλα χαρακτηριστικά. Οι συντάκτες αναγνώρισαν ότι τα ερωτήματα για το ποιος συμμετέχει στις συζητήσεις για την ΤΝ και ποιος διαθέτει την εξουσία να επηρεάζει μελλοντικές έρευνες και αναπτύξεις ΤΝ συνδέονται στενά με τη δυναμική εξουσίας στη βιομηχανία τεχνολογίας και επιχειρηματικών κεφαλαίων, καθώς και με ευρύτερες συστημικές δυνάμεις διακρίσεων[1].

Κρατικές και εταιρικές επενδύσεις

Τα δεδομένα επιχειρηματικής χρηματοδότησης κάλυπταν μόνο τις ΗΠΑ και αντιπροσώπευαν ένα πολύ μικρό μέρος του συνόλου των επενδύσεων σε έρευνα και ανάπτυξη στον τομέα της ΤΝ. Δεδομένα για κρατικές και εταιρικές επενδύσεις απουσίαζαν[1].

Επίδραση σε συγκεκριμένους τομείς

Δεν παρουσιάστηκαν μετρικές επίδρασης της ΤΝ στην υγειονομική περίθαλψη, την αυτοκινητοβιομηχανία, τα χρηματοοικονομικά, την εκπαίδευση και άλλους κλάδους[1].

Μείωση κοινωνικών κινδύνων

Δεν αναλύθηκαν ζητήματα ασφάλειας ΤΝ, προβλεψιμότητας, δικαιοσύνης αλγορίθμων, απορρήτου και ηθικών συνεπειών της αυτοματοποίησης[1].

Φόρουμ εμπειρογνωμόνων

Η έκθεση περιλάμβανε σχόλια κορυφαίων εμπειρογνωμόνων που εκπροσωπούν την ακαδημία, τη βιομηχανία, την κυβέρνηση και τα μέσα ενημέρωσης[1].

Barbara Grosz (Χάρβαρντ)

Η Barbara Grosz υπογράμμισε τη σημασία της ανάπτυξης μετρικών που λαμβάνουν υπόψη όχι μόνο την απόδοση των συστημάτων ΤΝ εν κενώ, αλλά και την ποιότητα αλληλεπίδρασης της ΤΝ με τους ανθρώπους και την επίδραση των συστημάτων ΤΝ στους ανθρώπους τόσο ατομικά όσο και στην κοινωνία. Επεσήμανε ένα κενό στην έκθεση: η ενότητα για την επεξεργασία φυσικής γλώσσας κάλυπτε τη συντακτική ανάλυση, τη μηχανική μετάφραση και την αναζήτηση απαντήσεων, αλλά δεν συμπεριλάμβανε διαλογικά συστήματα, τα οποία απαιτούν λήψη υπόψη της ψυχικής κατάστασης του συνομιλητή. Η Grosz κάλεσε επίσης να παρακολουθείται το ποσοστό των μαθημάτων ΤΝ που περιλαμβάνουν ηθικές πτυχές, και ο αριθμός των εταιρειών που αναρωτώνται αν θα πρέπει καν να δημιουργήσουν ένα συγκεκριμένο σύστημα ΤΝ[1].

Eric Horvitz (Microsoft)

Ο Eric Horvitz χαρακτήρισε τη δημοσίευση της εναρκτήριας έκθεσης κρίσιμο βήμα στη συμμετοχή ευρύτερης κοινότητας στον διάλογο. Σημείωσε την αξία της ενότητας παράγωγων μετρικών και του AI Vibrancy Index, προτείνοντας την επικύρωσή τους μέσω σύγκρισης με δεδομένα για πρόσληψη, σύνθεση και αμοιβές ταλέντων ΤΝ στις εταιρείες. Ο Horvitz υπογράμμισε ιδιαίτερα τη σημασία παρακολούθησης της προόδου στον τομέα του common sense reasoning, «που επιδεικνύει ακόμα και ένα μικρό παιδί», αλλά παραμένει πέρα από τις δυνατότητες των σύγχρονων τεχνολογιών ΤΝ[2].

Kai-Fu Lee (Sinovation Ventures)

Ο Kai-Fu Lee восполнил κάλυψε το κενό της έκθεσης στη διεθνή κάλυψη, παρουσιάζοντας μια επισκόπηση της κατάστασης της ΤΝ στην Κίνα. Επεσήμανε ότι η Κίνα διαθέτει τρεις φορές περισσότερα κινητά τηλέφωνα και χρήστες διαδικτύου από τις ΗΠΑ ή την Ινδία, ενώ το χάσμα στους όγκους παραγόμενων δεδομένων υπερβαίνει κατά πολύ τον παράγοντα τρία: οι Κινέζοι πραγματοποιούν κινητές πληρωμές 50 φορές πιο συχνά από τους Αμερικανούς, ο όγκος παράδοσης φαγητού είναι 10 φορές μεγαλύτερος, και η εταιρεία Didi είχε ήδη αρχίσει να ενσωματώνει δεδομένα με συστήματα διαχείρισης κυκλοφορίας. Ο Lee ανέφερε ως παράδειγμα το κινεζικό startup Face++, που κατέλαβε την πρώτη θέση σε τρεις διαγωνισμούς υπολογιστικής όρασης, ξεπερνώντας Google, Microsoft, Facebook και CMU. Επεσήμανε το σχέδιο του Κρατικού Συμβουλίου της ΚΛΔ από τον Ιούλιο του 2017 να καταστεί η Κίνα παγκόσμιο κέντρο καινοτομίας ΤΝ έως το 2030 και προέβλεψε ότι η αμερικανο-κινεζική δυοπωλία στην ΤΝ δεν είναι μόνο αναπόφευκτη, αλλά έχει ήδη συντελεστεί[1].

Andrew Ng (Coursera, Stanford)

Ο Andrew Ng χαρακτήρισε την ΤΝ ως «τη νέα ηλεκτρική ενέργεια», που μεταμορφώνει πολλούς κλάδους. Περιέγραψε την ακολουθία μετασχηματισμού των υποτομέων ΤΝ από το deep learning: πρώτα η αναγνώριση ομιλίας, στη συνέχεια η υπολογιστική όραση, έπειτα το NLP (που οδηγεί στην άνθηση των chatbots), και έπειτα η ρομποτική (νέες παραγωγικές δυνατότητες). Ο Ng υπογράμμισε ότι οι χώρες με πιο συνετή πολιτική στον τομέα της ΤΝ θα προοδεύουν ταχύτερα, ενώ οι χώρες με κακώς μελετημένα μέτρα κινδυνεύουν να μείνουν πίσω[1].

Daniela Rus (MIT)

Η Daniela Rus παρουσίασε μια αισιόδοξη άποψη για την ΤΝ ως φορέα θετικής αλλαγής: από την καταπολέμηση της κλιματικής αλλαγής και τη δημοκρατικοποίηση της εκπαίδευσης έως τα αυτόνομα οχήματα και την εξατομικευμένη υγειονομική περίθαλψη. Υπογράμμισε ότι, παρά τις διαδεδομένες αντιλήψεις, η ΤΝ θα οδηγήσει σε πιο ικανοποιητικές, και όχι λιγότερες, θέσεις εργασίας, καθώς η αύξηση παραγωγικότητας από την ΤΝ και τη ρομποτική θα ελευθερώσει τους ανθρώπους από μονότονες εργασίες[1].

Sebastian Thrun (Stanford, Udacity)

Ο Sebastian Thrun έκανε μια ιστορική παράλληλη: πριν από την εφεύρεση της ατμομηχανής, οι περισσότεροι άνθρωποι ήταν αγρότες, που ορίζονταν από τη σωματική τους δύναμη. Οι μηχανές μετέτρεψαν τους αγρότες σε «υπερανθρώπους» — ένας Αμερικανός αγρότης τρέφει 155 ανθρώπους, και λιγότερο από το 2% του πληθυσμού των ΗΠΑ εργάζεται στη γεωργία. Ομοίως, η ΤΝ μπορεί να μάθει τα μοτίβα της επαναλαμβανόμενης εργασίας μας και να μας βοηθήσει να γίνουμε «υπεράνθρωποι». Ο Thrun προέβλεψε την έλευση μιας εποχής αδιανόητης ανθρώπινης δημιουργικότητας, αλλά προειδοποίησε για την ανάγκη να γίνουμε «μαθητές δια βίου» και να προσαρμοστούμε στις αλλαγές[1].

Michael Wooldridge (Οξφόρδη)

Ο Michael Wooldridge έθεσε το κεντρικό ερώτημα: υπάρχει μια «φούσκα ΤΝ» και θα σκάσει (όπως η φούσκα dot-com 1996–2001) ή θα ξεφουσκώσει ομαλά; Η κύρια ανησυχία του ήταν ένας νέος «χειμώνας ΤΝ», που θα προκαλούνταν από απογοήτευση μετά από μαζικές κερδοσκοπικές επενδύσεις. Εξέφρασε, ωστόσο, προσεκτική αισιοδοξία: σε αντίθεση με προηγούμενους κύκλους, κάτω από τη σημερινή φούσκα υπάρχει πραγματική ουσία — τα συστήματα ΤΝ παρουσιάζουν σταθερή πρόοδο και οι μεγάλες εταιρείες έχουν μάθει να χρησιμοποιούν παραγωγικά τις τεχνικές ΤΝ. Ο Wooldridge έθεσε επίσης το ζήτημα της μέτρησης της προόδου προς τη Γενική ΤΝ (General AI), σημειώνοντας ότι ούτε ο ίδιος ούτε κανείς άλλος γνωρίζει πώς να το μετρήσει[1].

Megan Smith και Susan Altchek

Η πρώην Τεχνολογική Διευθύντρια των ΗΠΑ Megan Smith και η Susan Altchek (Υπηρεσία Επικοινωνίας με ΜΚΟ στον ΟΗΕ) υπογράμμισαν την πρωταρχική σημασία της ποικιλομορφίας και της συμπερίληψης. Επεσήμαναν ότι από τη συζήτηση και τις ομάδες σχεδιασμού αποκλείεται η πλειονότητα της ανθρωπότητας λόγω «μαζικής συνειδητής και ασυνείδητης προκατάληψης, σημαντικών διακριτικών πολιτισμικών προτύπων και εκμαθημένης συμπεριφοράς συστημικού αποκλεισμού». Οι συντάκτες αναφέρθηκαν σε μια σειρά βασικών πρωτοβουλιών: Algorithmic Justice League, αίτηση στον ΟΗΕ για οπλικά συστήματα ΤΝ, κίνημα CS for All, πρωτοβουλία AI4All[1].

Μεθοδολογία

Η έκθεση χρησιμοποίησε δεδομένα από πολλαπλές πηγές[1]:

  • Δημοσιεύσεις: Elsevier Scopus — βάση δεδομένων σχεδόν 70 εκατομμυρίων εγγράφων· ερωτήματα με τη λέξη-κλειδί «Artificial Intelligence» στο θεματικό πεδίο «Computer Science» για την περίοδο από το 1996[3].
  • Εγγραφές σε μαθήματα: Αρχεία πανεπιστημίων — UC Berkeley, Carnegie Mellon, Georgia Tech, UIUC, MIT, Stanford, University of Washington[1].
  • Παρουσία σε συνέδρια: Δεδομένα από διοργανωτές 15 συνεδρίων (AAAI, AAMAS, ACL, CP, CVPR, ECAI, ICAPS, ICRA, ICLR, ICML, IJCAI, IROS, KR, NIPS, UAI)[1].
  • Startups και χρηματοδότηση: Crunchbase (API για αναγνώριση εταιρειών κατά κατηγορία), VentureSource (δεδομένα επιχειρηματικής χρηματοδότησης), Sand Hill Econometrics (συγκέντρωση)[4][5].
  • Αγορά εργασίας: Indeed.com (μερίδιο αγγελιών ΤΝ ανά χώρα), Monster.com / CEB TalentNeuron (απόλυτος αριθμός αγγελιών ανά δεξιότητα)[6][7].
  • Εισαγωγές ρομπότ: International Federation of Robotics, World Robotics Report[8].
  • GitHub: GitHub Archive μέσω Google BigQuery — καταμέτρηση συμβάντων WatchEvent για αποθετήρια frameworks ΤΝ[9].
  • Τόνος μέσων ενημέρωσης: TrendKite — ταξινόμηση αγγλόφωνων άρθρων με φιλτράρισμα δελτίων τύπου, οικονομικών ειδήσεων και νεκρολογιών[10].
  • Benchmarks: LSVRC ImageNet, VQA 1.0, Penn Treebank, WMT / EuroMatrix, SQuAD, Switchboard Hub5'00, TPTP, SAT Competition[1].

Διοίκηση και ομάδα συντακτών

Το έργο AI Index 2017 εκπονήθηκε υπό την εποπτεία διευθύνουσας επιτροπής[1]:

  • Yoav Shoham (Πανεπιστήμιο Stanford) — πρόεδρος
  • Raymond Perrault (SRI International)
  • Erik Brynjolfsson (MIT)
  • Jack Clark (OpenAI)
  • Calvin LeGassick — διευθυντής έργου

Η συμβουλευτική επιτροπή περιλάμβανε τους Michael Bowling, Ernie Davis, Julia Hirschberg, Eric Horvitz, Karen Levy, Alan Mackworth, Tom Mitchell, Sandy Pentland, Chris Ré, Daniela Rus, Sebastian Thrun, Hal Varian και Toby Walsh[1].

Μεταξύ των οργανισμών-εταίρων: Allen Institute for Artificial Intelligence, Crunchbase, Electronic Frontier Foundation, Elsevier, EuroMatrix, Google Brain, Indeed.com, Monster.com, Sand Hill Econometrics, Sinovation Ventures, TrendKite, VentureSource. Η αρχική χρηματοδότηση παρασχέθηκε από τις Google, Microsoft και Bytedance (Toutiao), ωστόσο το AI Index υπογραμμίζει την ανεξαρτησία του και σημειώνει ότι δεν αντικατοπτρίζει απαραίτητα τις απόψεις αυτών των οργανισμών[1].

Ιστορική σημασία

Η εναρκτήρια έκθεση AI Index 2017 έθεσε τα θεμέλια για τη μετέπειτα σειρά ετήσιων εκθέσεων, που με τον καιρό διεύρυναν σημαντικά την κάλυψη — από τις αρχικές τέσσερις ενότητες σε εννέα θεματικά κεφάλαια στην έκθεση του 2024. Πολλά κενά που αναγνωρίστηκαν ειλικρινά στην ενότητα «What's Missing» της έκθεσης του 2017 αντιμετωπίστηκαν συστηματικά: διεθνής κάλυψη (από την έκθεση του 2018), δεδομένα για ποικιλομορφία, κρατικές επενδύσεις, επίδραση σε κλάδους, καθώς και υπεύθυνη ΤΝ και ρύθμιση[26]. Το έργο AI Index μεταπήδησε αργότερα υπό την αιγίδα του Ινστιτούτου Stanford HAI (Human-Centered Artificial Intelligence), που ιδρύθηκε το 2019[1].

Παραπομπές

Βιβλιογραφία

Σημειώσεις

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 1.60 AI Index Steering Committee (2017). AI Index 2017 Annual Report. https://aiindex.stanford.edu/2017-report/
  2. ↑ 2.0 2.1 Horvitz, E. (2017). Commentary in AI Index 2017 Annual Report. https://aiindex.stanford.edu/2017-report/
  3. ↑ 3.0 3.1 3.2 Elsevier Scopus Database (2017). https://www.scopus.com/
  4. ↑ 4.0 4.1 Crunchbase (2017). AI-related startup data. https://www.crunchbase.com/
  5. ↑ 5.0 5.1 5.2 VentureSource / Sand Hill Econometrics (2017). Venture-backed AI company data.
  6. ↑ 6.0 6.1 6.2 Indeed.com (2017). AI job growth data. https://www.indeed.com/
  7. ↑ 7.0 7.1 7.2 Monster.com / CEB TalentNeuron (2017). AI job openings data. https://www.monster.com/
  8. ↑ 8.0 8.1 International Federation of Robotics (2017). World Robotics Report. https://ifr.org/worldrobotics/
  9. ↑ 9.0 9.1 GitHub Archive / Google BigQuery (2017). GitHub AI project statistics. https://www.gharchive.org/
  10. ↑ 10.0 10.1 TrendKite (2017). Media sentiment analysis data. https://www.trendkite.com/
  11. ↑ LSVRC ImageNet Competition (2010–2017). http://www.image-net.org/challenges/LSVRC/
  12. ↑ 12.0 12.1 Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision. https://arxiv.org/abs/1409.0575
  13. ↑ VQA Dataset (2017). http://www.visualqa.org/
  14. ↑ Marcus, M. et al. (1993). Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, 19(2). https://catalog.ldc.upenn.edu/LDC99T42
  15. ↑ 15.0 15.1 Conference on Machine Translation / EuroMatrix (2017). WMT News Translation Task. http://www.statmt.org/wmt17/
  16. ↑ Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. https://arxiv.org/abs/1606.05250
  17. ↑ 17.0 17.1 Electronic Frontier Foundation (2017). AI Progress Metrics. https://www.eff.org/ai/metrics
  18. ↑ Sutcliffe, G. (2017). The TPTP Problem Library. http://www.tptp.org/
  19. ↑ SAT Competition (2017). http://www.satcompetition.org/
  20. ↑ Campbell, M. et al. (2002). Deep Blue. Artificial Intelligence, 134(1–2). https://doi.org/10.1016/S0004-3702(01)00129-1
  21. ↑ Mnih, V. et al. (2015). Human-level control through deep reinforcement learning. Nature, 518. https://doi.org/10.1038/nature14236
  22. ↑ Silver, D. et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529. https://doi.org/10.1038/nature16961
  23. ↑ Silver, D. et al. (2017). Mastering the game of Go without human knowledge. Nature, 550. https://doi.org/10.1038/nature24270
  24. ↑ Esteva, A. et al. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542. https://doi.org/10.1038/nature21056
  25. ↑ Brown, N. & Sandholm, T. (2017). Superhuman AI for heads-up no-limit poker: Libratus beats top professionals. Science, 359(6374). https://doi.org/10.1126/science.aao1733
  26. ↑ Stanford HAI (2024). Artificial Intelligence Index Report 2024. https://aiindex.stanford.edu/report/
Retrieved from "https://systems-analysis.info/int/index.php?title=The_2017_AI_Index_Report_(EL)&oldid=7913"