- -
Τα βρέφη μαθαίνουν να σχηματίζουν κατανοητές προτάσεις έχοντας ακούσει μόλις 10 έως 30 εκατ. λέξεις, την ώρα που τα μοντέλα τεχνητής νοημοσύνης χρειάζονται τεράστιους όγκους δεδομένων και ενέργειας.
- Τα βρέφη μπορούν να αρχίσουν να σχηματίζουν κατανοητές προτάσεις έχοντας ακούσει περίπου 10 έως 30 εκατ. λέξεις, πολύ λιγότερες από τα δεδομένα που χρειάζονται τα μεγάλα γλωσσικά μοντέλα.
- Σύμφωνα με ειδικούς, ένα μοντέλο όπως το GPT-2, εάν εκπαιδευτεί σε 30 εκατ. λέξεις, δεν αποκτά γλωσσικές ικανότητες αντίστοιχες ενός παιδιού, αλλά παράγει σε μεγάλο βαθμό ασύνδετο κείμενο.
- Η μεγάλη αυτή διαφορά στην αποδοτικότητα της μάθησης αποτελεί κρίσιμη πρόκληση για τις εταιρείες που επιχειρούν να προσεγγίσουν την ανθρώπινου επιπέδου τεχνητή νοημοσύνη μέσω της συνεχούς κλιμάκωσης των μοντέλων.
Σε σύγκριση με τον φιλόδοξο στόχο της ανθρώπινου επιπέδου νοημοσύνης, τα chatbots τεχνητής νοημοσύνης έχουν ακόμη πολύ δρόμο μπροστά τους.
Η βιομηχανία έχει σημειώσει εντυπωσιακή πρόοδο, επιτρέποντας στα συστήματα AI να παράγουν προτάσεις που μοιάζουν να έχουν γραφτεί από ανθρώπους. Ωστόσο, σε ό,τι αφορά τη συλλογιστική ικανότητα και την παραγωγικότητα, εξακολουθούν να υπάρχουν σημαντικά περιθώρια βελτίωσης.
Πώς συγκρίνονται, όμως, τα σημερινά μεγάλα γλωσσικά μοντέλα με τους ανθρώπους ως προς την εκμάθηση της γλώσσας; Όπως προκύπτει, ούτε σε αυτόν τον τομέα εμφανίζονται αποτελεσματικότερα.
Σε ανάλυσή του για τη διαδικασία εκπαίδευσης των συστημάτων AI, το MIT Technology Review συνομίλησε με ειδικούς σχετικά με την αποδοτικότητα των μεγάλων γλωσσικών μοντέλων.
Το βασικό συμπέρασμα είναι ότι ακόμη και τα βρέφη μαθαίνουν την ανθρώπινη γλώσσα πολύ αποτελεσματικότερα από τα σημερινά AI chatbots, καταναλώνοντας ασύγκριτα λιγότερες πληροφορίες και ενέργεια.
Όπως εξήγησε στο MIT Technology Review ο Michael C. Frank, γνωσιακός επιστήμονας στο Stanford University, «η πρόοδος που έχει σημειωθεί πρόσφατα είναι εντυπωσιακή».
Παρά τις εξελίξεις των τελευταίων ετών, όμως, «εξακολουθούμε να χρειάζεται να κάψουμε ένα δάσος και να συλλέξουμε το σύνολο της ανθρώπινης γνώσης, προκειμένου να αναπαραγάγουμε ένα ορόσημο που επιτυγχάνεται μέσα στα σαλόνια μας σε διάστημα ενός έτους».
Με τη συγκεκριμένη διατύπωση, ο Frank αναφέρεται στην τεράστια ενεργειακή κατανάλωση και στον όγκο των δεδομένων που απαιτούνται για την εκπαίδευση των μοντέλων AI, σε αντίθεση με τον τρόπο με τον οποίο ένα παιδί μαθαίνει να μιλά.
Πώς μαθαίνουν τη γλώσσα τα παιδιά
Παρότι οι επιστήμονες δεν έχουν κατανοήσει πλήρως τον μηχανισμό, τα βρέφη παρουσιάζουν αξιοσημείωτη προσαρμοστικότητα στην εκμάθηση της γλώσσας.
Μέσα από την καθημερινή επαφή με τους ανθρώπους γύρω τους, αναγνωρίζουν γλωσσικούς κανόνες, μοτίβα και λεξιλόγιο με μεγάλη ταχύτητα.
Τα μεγάλα γλωσσικά μοντέλα, αντιθέτως, χρειάζονται τεράστιες ποσότητες γλωσσικών δεδομένων για να φτάσουν σε ένα επίπεδο που προσεγγίζει τη γλωσσική επάρκεια. Ο όγκος αυτός είναι πολύ μεγαλύτερος από τις πληροφορίες στις οποίες εκτίθεται ένας μέσος άνθρωπος κατά τα πρώτα χρόνια της ζωής του.
«Είναι πραγματικά εκπληκτικό», ανέφερε ο Frank, περιγράφοντας τον τρόπο με τον οποίο ο άνθρωπος μαθαίνει τη γλώσσα.
Σύμφωνα με τον ίδιο, τα παιδιά μπορούν να αρχίσουν να σχηματίζουν σαφείς και κατανοητές προτάσεις αφού έχουν εκτεθεί σε περίπου 10 έως 30 εκατ. λέξεις από το περιβάλλον τους.
«Εάν εκπαιδεύσεις το GPT-2 σε 30 εκατ. λέξεις, αποκτάς μία μηχανή παραγωγής ασύνδετου κειμένου· δεν αποκτάς ένα παιδί», επισήμανε.
Η σύγκριση δείχνει ότι η διαφορά δεν αφορά μόνο τον όγκο των δεδομένων, αλλά και τον τρόπο με τον οποίο οι άνθρωποι κατανοούν, γενικεύουν και εφαρμόζουν τους κανόνες της γλώσσας.
Η μεγάλη πρόκληση για τη βιομηχανία της AI
Για τη βιομηχανία της τεχνητής νοημοσύνης, αυτή η αναποτελεσματικότητα αποτελεί ένα από τα σημαντικότερα προβλήματα που πρέπει να επιλυθούν.
Η πρόκληση είναι ιδιαίτερα κρίσιμη για τις τεχνολογικές εταιρείες που θεωρούν ότι μπορούν να δημιουργήσουν AI ανθρώπινου επιπέδου αυξάνοντας διαρκώς το μέγεθος των γλωσσικών μοντέλων, τον όγκο των δεδομένων και την υπολογιστική ισχύ.
Αρκετοί ειδικοί στην τεχνητή νοημοσύνη αμφισβητούν, πάντως, ότι η συνεχής κλιμάκωση των υφιστάμενων μοντέλων μπορεί από μόνη της να οδηγήσει σε πραγματικά ανθρώπινου επιπέδου νοημοσύνη.
Η ικανότητα των παιδιών να μαθαίνουν πολύ περισσότερα από πολύ λιγότερα δεδομένα υποδεικνύει ότι η επόμενη μεγάλη πρόοδος στην AI ίσως χρειαστεί μία διαφορετική αρχιτεκτονική μάθησης και όχι απλώς μεγαλύτερα μοντέλα.