Στον διάλογο «Μένων», ο Πλάτωνας περιγράφει για το πώς ο Σωκράτης δίδαξε ένα νεαρό αγόρι να διπλασιάζει το εμβαδόν ενός τετραγώνου. Το αγόρι στην αρχή έκανε λάθος λέγοντας ότι διπλασιάζοντας το μήκος των πλευρών, διπλασιάζεται και το εμβαδόν του. Ωστόσο, μέσω μιας σειράς ερωτήσεων, ο Σωκράτης το καθοδήγησε ώστε να βρει τη σωστή λύση: οι πλευρές του νέου τετραγώνου πρέπει να έχουν ίδιο μήκος με τη διαγώνιο του αρχικού τετραγώνου.
Όπως αναφέρεται σε άρθρο του Interesting Engineering, οι ερευνητές Δρ. Nadav Marco και Καθηγητής Ανδρέας Στυλιανίδης έθεσαν το ίδιο πρόβλημα στο ChatGPT-4. Εξέτασαν την ικανότητα του chatbot να βρίσκει λύσεις, θέτοντας μια σειρά ερωτήσεων στην ίδια λογική με αυτή του Σωκράτη. Το κεντρικό ζητούμενο ήταν κατά πόσο το chatbot θα κατόρθωνε να λύσει το πρόβλημα, είτε αντλώντας πληροφορίες από την τεράστια βάση δεδομένων με την οποία εκπαιδεύεται είτε αναπτύσσοντας λύσεις.
Όπως διαπίστωσαν, το ChatGPT είχε την τάση να «αυτοσχεδιάζει την προσέγγισή του και σε ένα σημείο επίσης, έκανε ένα χαρακτηριστικά ανθρώπινο λάθος».
«Όταν ερχόμαστε αντιμέτωποι με ένα νέο πρόβλημα, το ένστικτό μας συχνά είναι να δοκιμάζουμε πράγματα βασισμένα σε προηγούμενη εμπειρία μας. Στο πείραμά μας, το ChatGPT φάνηκε να κάνει κάτι παρόμοιο», δήλωσε ο Δρ. Marco, συμπληρώνοντας ότι το εργαλείο πρότεινε τις δικές του υποθέσεις και λύσεις.
Η γεωμετρία δεν είναι το δυνατό σημείο των LLM
Το ChatGPT σε γενικές γραμμές δυσκολεύεται να αποδώσει καλά σε γεωμετρικούς συλλογισμούς, δεδομένου ότι πρόκειται για μεγάλο γλωσσικό μοντέλο (LLM) που εκπαιδεύεται σε κείμενα. Παρ’ όλα αυτά, οι ερευνητές ανέμεναν ότι θα κατόρθωνε να αναγνωρίσει ένα ευρέως γνωστό πρόβλημα και θα αναπαρήγαγε την κλασική γεωμετρική λύση του Σωκράτη.
«Αν απλώς ανακαλούσε από μνήμης, θα ήταν σχεδόν βέβαιο ότι θα ανέφερε κατ’ ευθείαν την κλασική λύση της δημιουργίας του νέου τετραγώνου από τη διαγώνιο του αρχικού», εξηγεί ο Καθηγητής Στυλιανίδης. «Αντιθέτως, φαίνεται ότι ακολουθούσε τη δική του προσέγγιση.»
Παραδόξως, το chatbot αρχικά επέλεξε μία αλγεβρική μέθοδο, μία τεχνική που ήταν άγνωστη στην εποχή του Πλάτωνα. Αντιστάθηκε στις προσπάθειες να κατευθυνθεί προς μία γεωμετρική λύση. Μόνο όταν οι ερευνητές εξέφρασαν την «απογοήτευσή» τους, κατάφερε το chatbot να παράξει την γεωμετρική εναλλακτική λύση.
Οι ερευνητές στη συνέχεια του έθεσαν δύο νέες προκλήσεις: τον διπλασιασμό του εμβαδού ενός ορθογώνιου παραλληλόγραμμου και ενός τριγώνου. Και στις δύο περιπτώσεις, το ChatGPT επέλεξε ξανά την αλγεβρική λύση, αγνοώντας την προτίμηση των ερευνητών για τη γεωμετρική.
Όταν, δε, ρωτήθηκε για το πρόβλημα του ορθογώνιου, υποστήριξε λανθασμένα ότι δεν υπάρχει γεωμετρική λύση. Οι ερευνητές πιστεύουν ότι το λάθος δεν προερχόταν από τη βάση δεδομένων του, αλλά ότι ήταν μία εικασία βασισμένη στην προηγούμενη συζήτησή τους για τη διαγώνιο του τετραγώνου. Ωστόσο, ύστερα από περαιτέρω καθοδήγηση, βρήκε εντέλει τη σωστή γεωμετρική λύση.
Οι ερευνητές συμπέραναν ότι, από την οπτική του χρήστη, η συμπεριφορά του ChatGPT ανακατεύει ανάκληση δεδομένων με συλλογιστική… της στιγμής. Την συνέκριναν με τη «ζώνη επικείμενης ανάπτυξης», την απόσταση δηλαδή ανάμεσα σε αυτά που γνωρίζει ήδη κάποιος και σε αυτά που θα μπορούσε να μάθει με καθοδήγηση.
Όμως αυτοί οι περιορισμοί της ΤΝ, σύμφωνα με την ερευνητική ομάδα, θα μπορούσαν να αποδειχθούν ευκαιρία μάθησης για τους σπουδαστές, τους οποίους συμβουλεύουν να δίνουν στο chatbot εντολές που ενθαρρύνουν τη συνεργατική επίλυση προβλημάτων αντί απλώς να ζητούν την απάντηση. Με αυτόν τον τρόπο, θα εξασκήσουν τη δική τους κριτική σκέψη και συλλογιστική ικανότητα.
Η έρευνα δημοσιεύθηκε στην ακαδημαϊκό περιοδικό International Journal of Mathematical Education in Science and Technology.