Ερευνητές από το Στάνφορντ και το Πανεπιστήμιο της Ουάσινγκτον κατάφεραν να δημιουργήσουν ένα χαμηλού κόστους μοντέλο τεχνητής νοημοσύνης που ανταγωνίζεται το OpenAI σε μόλις 26 λεπτά εκπαίδευσης.
Το μοντέλο, ονόματι s1, χρησιμοποιεί την τεχνική απόσταξης για να αντλήσει γνώση από το μεγάλο μοντέλο συλλογιστικής Gemini 2.0 της Google και να επιτύχει εκπληκτικά αποτελέσματα με ελάχιστο κόστος, κάτω από 50 δολάρια.
Οι ερευνητές εστιάζουν σε πιο αποδοτικές και οικονομικές μεθόδους εκπαίδευσης τεχνητής νοημοσύνης, προκαλώντας ανησυχία για το μέλλον της βιομηχανίας και τη δυναμική των μεγάλων εταιρειών του χώρου.
Όπως αναφέρει το The Verge, το μοντέλο βελτιώθηκε χρησιμοποιώντας ένα μικρό σύνολο δεδομένων 1.000 ερωτήσεων, με κόστος κάτω από 50 δολάρια.
Για να γίνει αυτό, οι ερευνητές χρησιμοποίησαν μια μέθοδο γνωστή ως απόσταξη -η οποία επιτρέπει σε μικρότερα μοντέλα να αντλούν από τις απαντήσεις που παράγονται από μεγαλύτερα- για να βελτιώσουν το s1 χρησιμοποιώντας απαντήσεις από το μοντέλο συλλογιστικής τεχνητής νοημοσύνης της Google, Gemini 2.0 Flash Thinking Experimental.
Οι ερευνητές βασίστηκαν στο s1 στο Qwen2.5, ένα μοντέλο ανοιχτού κώδικα από το Alibaba Cloud. Αρχικά ξεκίνησαν με μια δεξαμενή 59.000 ερωτήσεων για να εκπαιδεύσουν το μοντέλο, αλλά διαπίστωσαν ότι το μεγαλύτερο σύνολο δεδομένων δεν προσέφερε «σημαντικά κέρδη» σε σχέση με ένα μειωμένο σύνολο μόλις 1.000 ερωτήσεων. Οι ερευνητές λένε ότι εκπαίδευσαν το μοντέλο σε μόλις 16 GPU Nvidia H100.
Το μοντέλο s1 χρησιμοποιεί, επίσης, μια τεχνική που ονομάζεται κλιμάκωση χρόνου δοκιμής, επιτρέποντάς το να «σκέφτεται» για μεγαλύτερο χρονικό διάστημα πριν παράγει μια απάντηση. Όπως σημειώνεται στην εργασία, οι ερευνητές ανάγκασαν το μοντέλο να συνεχίσει να σκέφτεται προσθέτοντας την ένδειξη «Wait» στην απάντηση του μοντέλου. «Αυτό μπορεί να οδηγήσει το μοντέλο να διπλοελέγξει την απάντησή του, διορθώνοντας συχνά λανθασμένα βήματα συλλογισμού», αναφέρει η εργασία που δημοσιεύθηκε την περασμένη εβδομάδα.
Το μοντέλο συλλογισμού o1 της OpenAI χρησιμοποιεί μια παρόμοια προσέγγιση, κάτι που η πολυσυζητημένη start-up τεχνητής νοημοσύνης DeepSeek προσπάθησε να αναπαράγει με την κυκλοφορία του μοντέλου R1 που ισχυρίζεται ότι εκπαιδεύτηκε με ένα κλάσμα του κόστους. Από τότε η OpenAI κατηγόρησε την DeepSeek ότι αποστάζει πληροφορίες από τα μοντέλα της για να δημιουργήσει έναν ανταγωνιστή, παραβιάζοντας τους όρους χρήσης της. Όσον αφορά το s1, οι ερευνητές ισχυρίζονται ότι το s1 «ξεπερνά το o1-preview σε ερωτήσεις μαθηματικών του ανταγωνισμού έως και 27%».
Η άνοδος των μικρότερων και φθηνότερων μοντέλων τεχνητής νοημοσύνης απειλεί να ανατρέψει ολόκληρη τη βιομηχανία. Θα μπορούσαν να αποδείξουν ότι μεγάλες εταιρείες όπως η OpenAI, η Microsoft, η Meta και η Google δεν χρειάζεται να ξοδεύουν δισεκατομμύρια δολάρια για την εκπαίδευση της AI, ενώ παράλληλα να κατασκευάζουν τεράστια κέντρα δεδομένων γεμάτα με χιλιάδες GPUs της Nvidia.