Έχασαν χρήματα στοιχηματίζοντας σε ποδοσφαιρικούς αγώνες μοντέλα AI από την Google, την OpenAI και την Anthropic κατά τη διάρκεια μιας σεζόν της Premier League, όπως απέδειξε μια νέα μελέτη που υποδηλώνει ότι ακόμη και τα πιο προηγμένα συστήματα δυσκολεύονται να αναλύσουν τον πραγματικό κόσμο για μεγάλα χρονικά διαστήματα.
Ο λόγος για την έκθεση «KellyBench» που δημοσιεύθηκε αυτή την εβδομάδα από την νεοσύστατη εταιρεία τεχνητής νοημοσύνης General Reasoning, αναδεικνύοντας το χάσμα μεταξύ των ταχέως αναπτυσσόμενων δυνατοτήτων της AI σε ορισμένες εργασίες και των ελλείψεών της σε άλλους πιο «ανθρώπινους» τομείς, αναφέρουν οι Financial Times.
Η General Reasoning, με έδρα το Λονδίνο, δοκίμασε οκτώ κορυφαία συστήματα AI σε μια εικονική αναπαράσταση της σεζόν 2023-24 της Premier League, παρέχοντάς τους λεπτομερή ιστορικά δεδομένα και στατιστικά στοιχεία για κάθε ομάδα και προηγούμενα παιχνίδια. Τα συστήματα έλαβαν οδηγίες να κατασκευάσουν μοντέλα που θα μεγιστοποιούσαν τις αποδόσεις και θα διαχειρίζονταν τον κίνδυνο.
Οι AI agents στη συνέχεια στοιχημάτισαν στα αποτελέσματα των αγώνων και στον αριθμό των γκολ που σημειώθηκαν για να ελέγξουν πώς θα μπορούσαν να προσαρμοστούν σε νέα γεγονότα και να ενημερώσουν τα δεδομένα των παικτών καθώς προχωρούσε η σεζόν.
Η τεχνητή νοημοσύνη δεν μπορούσε να έχει πρόσβαση στο διαδίκτυο για να ανακτήσει αποτελέσματα και σε κάθε μία δόθηκαν τρεις προσπάθειες για να αποκομίσει κέρδος.
Τα αποτελέσματα; Το Claude Opus 4.6 της Anthropic τα πήγε καλύτερα, με μέση απώλεια 11%. Το Grok 4.20 της xAI χρεοκόπησε μία φορά και απέτυχε να ολοκληρώσει τις άλλες δύο προσπάθειες. Το Gemini 3.1 Pro της Google κατάφερε να αποκομίσει κέρδος 34% σε μία προσπάθεια, αλλά χρεοκόπησε σε άλλη.
«Κάθε μοντέλο που αξιολογήσαμε, έχασε χρήματα κατά τη διάρκεια της σεζόν και πολλά βίωσαν καταστροφή», κατέληξαν οι συγγραφείς της εργασίας, με την AI «συστηματικά να υποαποδίδει σε σχέση με τους ανθρώπους» σε αυτό το σενάριο.
«Πεταμένα λεφτά οι προγνώσεις AI»
Κάθε μοντέλο ξεκίνησε με ένα κεφάλαιο £100.000. Η απόδοση της επένδυσης και το τελικό κεφάλαιο υπολογίζονται κατά μέσο όρο σε τρεις προσπάθειες. Οι Grok και Trinity δεν ολοκλήρωσαν κάθε προσπάθεια.
Τα αποτελέσματα προσφέρουν κάποια… παρηγοριά στους επαγγελματίες και τις επιχειρήσεις που ανησυχούν ότι η Τεχνητή Νοημοσύνη θα μπορούσε να τους πάρει τις δουλειές, καθώς αναταράσσει τις μετοχές βιομηχανιών από τα χρηματοοικονομικά έως το μάρκετινγκ.
Ο Ρος Τέιλορ, ένας από τους συγγραφείς της μελέτης και διευθύνων σύμβουλος της General Reasoning, δήλωσε στους FT: «Υπάρχει τόσος μεγάλος ενθουσιασμός σχετικά με τον αυτοματισμό της Τεχνητής Νοημοσύνης, αλλά δεν υπάρχει μεγάλη μέτρηση για την απόδοή της σε ένα μακροπρόθεσμο ορίζοντα».
Πρόσθεσε ότι πολλά από τα σημεία αναφοράς που χρησιμοποιούνται συνήθως για τον έλεγχο της AI είναι ελαττωματικά επειδή ορίζονται σε «πολύ στατικά περιβάλλοντα» που έχουν μικρή σχέση με το χάος και την πολυπλοκότητα του πραγματικού κόσμου.
Η εργασία της General Reasoning, η οποία δεν έχει ακόμη αξιολογηθεί από ομοτίμους, παρέχει ένα αντίβαρο στον αυξανόμενο ενθουσιασμό στη Silicon Valley σχετικά με τα τεράστια πρόσφατα άλματα στην ικανότητα της Τεχνητής Νοημοσύνης να ολοκληρώνει εργασίες προγραμματισμού υπολογιστών με ελάχιστη έως καθόλου ανθρώπινη παρέμβαση.