Μελέτη: Πώς η Τεχνητή Νοημοσύνη Μειώνει την παραγωγικότητα έμπειρων προγραμματιστών

Μια πρόσφατη μελέτη της Model Evaluation & Threat Research (METR) φέρνει στο προσκήνιο ένα ιδιαίτερα ενδιαφέρον και, σε κάποιο βαθμό, ανατρεπτικό εύρημα για τη χρήση εργαλείων τεχνητής νοημοσύνης στον προγραμματισμό. Παρά τη ραγδαία υιοθέτηση των AI coding assistants από κορυφαίες εταιρείες τεχνολογίας όπως η Amazon, η Microsoft και η Google, τα εργαλεία αυτά φαίνεται ότι δεν αποφέρουν πάντα τα αναμενόμενα οφέλη, τουλάχιστον για τους έμπειρους προγραμματιστές.

Στη μελέτη συμμετείχαν δεκαέξι προγραμματιστές με μακροχρόνια εμπειρία και βαθιά γνώση σε μεγάλα open-source έργα, οι οποίοι χωρίστηκαν τυχαία σε δύο ομάδες: μία με πρόσβαση σε εργαλεία τεχνητής νοημοσύνης και μία χωρίς. Οι περισσότεροι από όσους είχαν πρόσβαση σε AI επέλεξαν το Cursor με Claude 3.5/3.7 Sonnet ως βασικό βοηθητικό εργαλείο. Τα αποτελέσματα ήταν εντυπωσιακά: οι προγραμματιστές που χρησιμοποίησαν AI χρειάστηκαν κατά μέσο όρο 19% περισσότερο χρόνο για να ολοκληρώσουν τα ζητήματα που τους ανατέθηκαν, σε σύγκριση με όσους βασίστηκαν αποκλειστικά στις δικές τους δυνάμεις.

Αξιοσημείωτο είναι το γεγονός ότι, παρά τη μείωση της παραγωγικότητας, οι συμμετέχοντες που χρησιμοποίησαν AI παρέμειναν αισιόδοξοι ως προς τα οφέλη του, εκτιμώντας ότι είχαν αυξήσει την απόδοσή τους κατά 20%. Μάλιστα, πριν ξεκινήσουν τη διαδικασία, προέβλεπαν ότι τα εργαλεία AI θα μείωναν τον χρόνο υλοποίησης κατά 24%. Η μελέτη ανέδειξε ότι οι προγραμματιστές χωρίς AI αφιέρωσαν περισσότερο χρόνο σε πραγματικό coding, ενώ όσοι χρησιμοποίησαν AI δαπάνησαν σημαντικό μέρος του χρόνου τους σε επανεξέταση, καθαρισμό και αναμονή για απαντήσεις από το εργαλείο τεχνητής νοημοσύνης. Μόλις το 44% του παραγόμενου κώδικα από το AI έγινε τελικά αποδεκτό, ενώ το 9% του συνολικού χρόνου αφιερώθηκε στον καθαρισμό των εξόδων του AI.

Σύμφωνα με τους ερευνητές, η μείωση της παραγωγικότητας οφείλεται κυρίως στην υπερβολική αισιοδοξία των προγραμματιστών για τις δυνατότητες των εργαλείων AI, αλλά και στο γεγονός ότι σε εργασίες που ήδη γνώριζαν καλά, το AI δεν μπορούσε να προσφέρει ουσιαστική βοήθεια. Επιπλέον, η ανάγκη για συνεχείς ελέγχους και διορθώσεις των προτάσεων του AI επιβράδυνε περαιτέρω τη διαδικασία.

Παρά τα παραπάνω, οι ίδιοι οι ερευνητές και συμμετέχοντες τονίζουν ότι τα ευρήματα αυτά αποτελούν μια «στιγμιαία φωτογραφία» της τρέχουσας κατάστασης και δεν αποκλείεται να αλλάξουν στο άμεσο μέλλον, καθώς τα εργαλεία τεχνητής νοημοσύνης εξελίσσονται με ταχύτατους ρυθμούς. Όπως σημειώνει χαρακτηριστικά ένας από τους συμμετέχοντες, το να επικαλείται κανείς τα συγκεκριμένα αποτελέσματα μετά από μερικούς μήνες ίσως να είναι παραπλανητικό, δεδομένης της προόδου στον χώρο.