Η εξέλιξη της «αποσταγμένης» Τεχνητής Νοημοσύνης: Φθηνότερα μοντέλα, μεγαλύτερες επιπτώσεις

Ο κόσμος της τεχνητής νοημοσύνης (ΑΙ) αλλάζει ραγδαία, καθώς η ανάπτυξη μεγάλων γλωσσικών μοντέλων (LLMs) γίνεται ολοένα και πιο φθηνή. Η τεχνική της «απόσταξης» (distillation), μια μέθοδος εκπαίδευσης μοντέλων που μειώνει το κόστος και τις απαιτήσεις υπολογιστικής ισχύος, κερδίζει έδαφος, προκαλώντας ανησυχία στις μεγάλες εταιρείες που έχουν επενδύσει δισεκατομμύρια σε τεράστια foundation models.

Τι είναι η απόσταξη και γιατί έχει σημασία

Η απόσταξη βασίζεται στη χρήση ενός μεγαλύτερου «καθηγητή» μοντέλου που παράγει δεδομένα και μονοπάτια συλλογιστικής, τα οποία στη συνέχεια μαθαίνει να μιμείται ένα μικρότερο «μαθητευόμενο» μοντέλο. Η μέθοδος αυτή επιτρέπει τη δημιουργία αποδοτικών μοντέλων με χαμηλότερο κόστος, διατηρώντας παράλληλα ικανοποιητική απόδοση.

Η κινεζική εταιρεία DeepSeek προκάλεσε αναστάτωση στην αγορά όταν ανέπτυξε ανταγωνιστικά μοντέλα της OpenAI με κόστος μόλις 5 εκατομμύρια δολάρια, τη στιγμή που τα μεγαλύτερα foundation models κοστίζουν εκατοντάδες εκατομμύρια για εκπαίδευση. Η είδηση αυτή προκάλεσε πτώση 600 δισεκατομμυρίων δολαρίων στην κεφαλαιοποίηση της Nvidia, καθώς οι επενδυτές ανησύχησαν για ενδεχόμενη μείωση της ζήτησης σε high-end hardware.

Ταυτόχρονα, ερευνητές του UC Berkeley εκπαίδευσαν μοντέλα με κόστος μόλις 1.000 δολάρια, ενώ ερευνητικές ομάδες από το Stanford, το Πανεπιστήμιο της Ουάσινγκτον και το Allen Institute for AI κατάφεραν να δημιουργήσουν ανταγωνιστικά μοντέλα σε ακόμη χαμηλότερες τιμές.

Η επανάσταση του DeepSeek και η πρόκληση για τα μεγάλα foundation models

Η DeepSeek πήγε την απόσταξη ένα βήμα παραπέρα, δείχνοντας πως τα μικρότερα μοντέλα που δημιουργούνται μέσω αυτής της μεθόδου δεν χάνουν απαραίτητα σε ποιότητα. Αντίθετα, σε ορισμένες περιπτώσεις αποδίδουν καλύτερα.

Η τάση αυτή αμφισβητεί το επιχειρηματικό μοντέλο των εταιρειών που αναπτύσσουν foundation models, όπως η OpenAI, η Anthropic και η Google DeepMind, που βασίζονται στη διάθεση υπερμεγέθων και ακριβών μοντέλων.

Η απόσταξη, ωστόσο, έχει και περιορισμούς. Οι ειδικοί προειδοποιούν ότι τα «αποσταγμένα» μοντέλα μπορεί να γίνουν πολύ εξειδικευμένα, χάνοντας τη γενική απόδοση που έχουν τα foundation models. Επιπλέον, η ποιότητα του μικρότερου μοντέλου εξαρτάται άμεσα από την ποιότητα του «καθηγητή».

Η μάχη για τον έλεγχο της τεχνητής νοημοσύνης

Καθώς η απόσταξη μειώνει το κόστος ανάπτυξης, εταιρείες όπως η Meta και η Alibaba έχουν ήδη διαθέσει ανοιχτού κώδικα εκδόσεις των μοντέλων τους (Llama, Qwen) που γίνονται στόχοι απόσταξης. Σήμερα, η Hugging Face φιλοξενεί πάνω από 30.000 μοντέλα με την ένδειξη “distill”, επιτρέποντας σε οποιονδήποτε να χρησιμοποιήσει αυτή τη μέθοδο.

Οι μεγάλες εταιρείες AI προσπαθούν να μπλοκάρουν αυτή τη διαδικασία. Σύμφωνα με πληροφορίες, η OpenAI έχει αφαιρέσει τα «ίχνη» συλλογιστικής από τα μεγαλύτερα reasoning models της, ώστε να μη χρησιμοποιούνται ως «καθηγητές» για απόσταξη.

Ωστόσο, πολλοί ειδικοί πιστεύουν ότι είναι αδύνατο να σταματήσει αυτή η τάση. Η τεχνολογία βρίσκεται ήδη εκεί έξω, και κάθε ενδιαφερόμενος μπορεί να αποκτήσει πρόσβαση σε έτοιμα dataset που έχουν εκπαιδευτεί σε δεδομένα από τα μεγαλύτερα foundation models.

Το μέλλον των foundation models – είναι καταδικασμένα;

Παρά την απειλή της απόσταξης, οι αναλυτές θεωρούν ότι τα foundation models δεν θα εξαφανιστούν. Αντίθετα, οι μεγάλες εταιρείες ίσως στραφούν στην ανάπτυξη καινοτόμων προϊόντων, αντί να επικεντρώνονται αποκλειστικά στα ίδια τα μοντέλα τους.

Ο Jasper Zhang, συνιδρυτής της πλατφόρμας Hyperbolic, δηλώνει ότι «τα foundation models θα γίνουν σταδιακά εμπορευματοποιημένα, με τις εταιρείες να στρέφονται στη δημιουργία μοναδικών εφαρμογών».

ΔΙΑΒΑΣΤΕ ΠΕΡΙΣΣΟΤΕΡΕΣ ΕΙΔΗΣΕΙΣ:

• Morgan Stanley: Παραμένουν φθηνές οι ελληνικές τράπεζες – Ισχυρά ανοδικά περιθώρια για τις μετοχές τους
• Ο Τραμπ υπέγραψε τη δημιουργία στρατηγικού αποθεματικού bitcoin στις ΗΠΑ
• Και μετά την πρόταση δυσπιστίας, τι;

- Business Insider