Ο πρωθυπουργός της Αυστραλίας, Άντονι Αλμπανέζε αποκάλυψε ότι ένα σύστημα τεχνητής νοημοσύνης που αναπτύχθηκε από την OpenAI παραβίασε το Medicare (Εθνικό Σύστημα Υγείας) της χώρας και τρία άλλα συστήματα τον Ιούνιο, αλλά η εταιρεία ενημέρωσε την Καμπέρα μόλις τον Σεπτέμβριο.
Ο πρωθυπουργός εξέφρασε την «έντονη ανησυχία» του για το περιστατικό, αν και σημείωσε ότι δεν υπάρχουν ενδείξεις πρόσβασης σε προσωπικά δεδομένα κατά την παραβίαση.
Τι συνέβη
Ένα σύστημα τεχνητής νοημοσύνης, το οποίο δημιουργήθηκε από την αμερικανική εταιρεία OpenAI, παραβίασε το Medicare, το σύστημα καθολικής υγειονομικής περίθαλψης της Αυστραλίας.
Σύμφωνα με τον Guardian, το σύστημα απέκτησε μη εξουσιοδοτημένη πρόσβαση τόσο σε δημόσια όσο και σε μη δημόσια αρχεία στην πύλη της υπηρεσίας με στατιστικά στοιχεία του Medicare.
Οι ενέργειες του συστήματος χαρακτηρίστηκαν ως «συμπεριφορά μη ευθυγραμμισμένη με τις προδιαγραφές» (misaligned behaviour), αφού του είχε ανατεθεί μια αβλαβής ερευνητική εργασία για τη συγκέντρωση στατιστικών στοιχείων υγείας και ιατρικών δεδομένων.
Ο πράκτορας απέκτησε επίσης πρόσβαση στο Αυστραλιανό Ινστιτούτο Υγείας και Πρόνοιας, στο Υπουργείο Υγείας της Βικτώριας και στο Γραφείο Στατιστικών και Ερευνών Εγκληματικότητας της Νέας Νότιας Ουαλίας.
Σε αυτό το στάδιο, εκτιμάται ότι δεν έχουν απειληθεί προσωπικά ιατρικά δεδομένα, ωστόσο οι έρευνες συνεχίζονται.
Ο πρωθυπουργός χαρακτήρισε «αυτή την κατάσταση» ως «προφανώς απαράδεκτη».
Τι είναι ένας πράκτορας τεχνητής νοημοσύνης
Ένας πράκτορας τεχνητής νοημοσύνης είναι ένα σύστημα που επιλύει προβλήματα, λαμβάνει αποφάσεις, σχεδιάζει και εκτελεί σύνθετες εργασίες αυτόνομα, για λογαριασμό κάποιου άλλου χρήστη ή συστήματος, χρησιμοποιώντας όλα τα διαθέσιμα εργαλεία.
Η OpenAI ιδρύθηκε από κοινού από τον Ίλον Μασκ και τον Σαμ Άλτμαν (ο οποίος παραμένει Διευθύνων Σύμβουλος) το 2015. Η αξία της εταιρείας υπερβαίνει το 1 τρισεκατομμύριο δολάρια ΗΠΑ.
Και οι δύο έχουν εκφράσει πρόσφατα ανησυχίες σχετικά με τον ρυθμό ανάπτυξης της τεχνητής νοημοσύνης, καθώς και την έλλειψη ελέγχων γύρω από αυτήν.
«Υπάρχουν πολλά πράγματα που η τεχνητή νοημοσύνη δεν μπορεί και δεν πρέπει να αυτοματοποιεί», δήλωσε αυτή την εβδομάδα ο Άλτμαν στο Συμβούλιο Ασφαλείας του ΟΗΕ.
«Καθώς τα συστήματα τεχνητής νοημοσύνης γίνονται πιο ικανά και πιο αυτόνομα, μπορούν να εξελίσσονται ταχύτερα από τους θεσμούς μας ή να λαμβάνουν αποφάσεις που οι άνθρωποι δεν μπορούν πλέον να κατανοήσουν ή να ελέγξουν».
Η καθυστερημένη ενημέρωση
Η OpenAI, μία από τις εταιρείες τεχνητής νοημοσύνης με τους περισσότερους πόρους παγκοσμίως, έστειλε email σε μια δημόσια διεύθυνση της αυστραλιανής κυβέρνησης, τρεις μήνες μετά την παραβίαση.
Η OpenAI δήλωσε ότι διαπίστωσε την πρόσβαση του πράκτορα τον Αύγουστο.
Στις 10 Σεπτεμβρίου, έστειλε email σε μια γενική διεύθυνση της αυστραλιανής κυβέρνησης ενημερώνοντας ότι ο πράκτορας τεχνητής νοημοσύνης της είχε παραβιάσει το καθολικό σύστημα υγείας της χώρας.
Το email αναγνώσθηκε στις 11 Σεπτεμβρίου. Στις 15 Σεπτεμβρίου, η υπηρεσία Services Australia ενημέρωσε τη Διεύθυνση Σημάτων της Αυστραλίας (Australian Signals Directorate).
Η υπουργός Κυβερνητικών Υπηρεσιών, Katy Gallagher, ενημερώθηκε στις 17 Σεπτεμβρίου.
Η πρώτη επικοινωνία της Services Australia με την OpenAI – με αίτημα για παροχή πιο συγκεκριμένων λεπτομερειών σχετικά με την παραβίαση – πραγματοποιήθηκε την Τρίτη 22 Σεπτεμβρίου.
«Η εταιρεία καθυστέρησε υπερβολικά να ενημερώσει την κυβέρνηση για το τι είχε συμβεί», δήλωσε ο Αλμπανέζε, «ενώ και ο τρόπος με τον οποίο έγινε η ενημέρωση ήταν απαράδεκτος».
Ο αναπληρωτής πρωθυπουργός, Ρίτσαρντ Μαρλς (Richard Marles), συναντήθηκε με τον Άλτμαν νωρίτερα τον Σεπτέμβριο, ωστόσο δήλωσε ότι, κατά τη διάρκεια της συνάντησης, ο Άλτμαν δεν ανέφερε την παραβίαση του αυστραλιανού συστήματος υγείας από την εταιρεία του.
Πώς αντέδρασε η Αυστραλία
Ο Αλμπανέζε, ο οποίος βρίσκεται αυτή τη στιγμή στις ΗΠΑ, δήλωσε ότι συνομίλησε με τον Άλτμαν «για να εκφράσει την έντονη ανησυχία της Αυστραλίας σχετικά με αυτό το περιστατικό».
Ο πρωθυπουργός ανακοίνωσε τη σύσταση ειδικής ομάδας εργασίας – στην οποία θα συμμετέχουν ο εθνικός συντονιστής κυβερνοασφάλειας, το Γραφείο Τεχνητής Νοημοσύνης, η Διεύθυνση Σημάτων της Αυστραλίας, το Αυστραλιανό Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης και η Services Australia – με σκοπό τη διενέργεια «επείγουσας και άμεσης» επανεξέτασης του περιστατικού.
Οι όροι εντολής για τη διερεύνηση, οι οποίοι δόθηκαν στη δημοσιότητα από το γραφείο του Πρωθυπουργού την Πέμπτη, καλύπτουν: τις απαιτήσεις αναφοράς για κυβερνοπεριστατικά που σχετίζονται με την Τεχνητή Νοημοσύνη (ΤΝ), τις αρμοδιότητες ομοσπονδιακών αξιωματούχων όσον αφορά τη διακυβέρνηση και την ανταλλαγή πληροφοριών, τις υποχρεώσεις των εταιρειών ΤΝ για την κοινοποίηση περιστατικών, την επάρκεια της υφιστάμενης νομοθεσίας, καθώς και μηχανισμούς ενίσχυσης της προστασίας έναντι κυβερνοεπιθέσεων εντός της ομοσπονδιακής κυβέρνησης.
Το περιστατικό έχει επίσης παραπεμφθεί στην κοινή ειδική επιτροπή του Κοινοβουλίου για την Τεχνητή Νοημοσύνη.
Μέχρι στιγμής, η OpenAI δεν έχει αντιμετωπίσει καμία κύρωση.
Πόσο σοβαρή ήταν αυτή η επίθεση;
Σε συνέντευξη Τύπου στο Σίδνεϊ, ο Μαρλς δήλωσε ότι το ίδιο το περιστατικό ήταν «σχετικά ήσσονος σημασίας» και ότι, όπως φαινόταν, δεν υπήρξε πρόσβαση σε προσωπικά ιατρικά δεδομένα.
Ωστόσο, επισήμανε ότι η κυβέρνηση εξέλαβε την κυβερνοεπίθεση ως μια «προειδοποίηση… σχετικά με την τεχνολογία που αναπτύσσεται χωρίς δικλείδες ασφαλείας και χωρίς τα απαραίτητα προστατευτικά πλαίσια».
Ο Δρ Joel Pearson, καθηγητής νευροεπιστήμης και νευροφουτουρισμού και αναπληρωτής διευθυντής του Ινστιτούτου Τεχνητής Νοημοσύνης του UNSW, δήλωσε ότι η παραβίαση φαινόταν να είναι ένα «σχετικά ήσσονος σημασίας περιστατικό ασφαλείας», αλλά αποτελούσε προάγγελο σοβαρότερων επιθέσεων στο μέλλον.
«Αυτό που με ανησυχεί είναι τα πιο πρόσφατα μοντέλα ανοιχτών βαρών (open-weights) και ανοιχτής πρόσβασης από την Κίνα, τα οποία πρόκειται να χρησιμοποιηθούν σε μεγάλη κλίμακα από κακόβουλες οργανώσεις και κράτη, ίσως ειδικά από τη Ρωσία. Αυτά τα εργαλεία θα χρησιμοποιηθούν μαζικά για ενέργειες πολύ πιο επιζήμιες και δαπανηρές για τους Αυστραλούς από ό,τι μια μικρή παραβίαση μη προσωπικών δεδομένων του συστήματος Medicare».
Ο Cory Alpert, υποψήφιος διδάκτορας στο Πανεπιστήμιο της Μελβούρνης που μελετά τον αντίκτυπο της τεχνητής νοημοσύνης (AI) στη δημοκρατία, δήλωσε ότι η επίθεση που αποδίδεται στην OpenAI φαίνεται να αποτελεί την πρώτη περίπτωση κατά την οποία ένα μοντέλο τεχνητής νοημοσύνης αιχμής παραβίασε κυβερνητικά συστήματα άλλης χώρας με δική του πρωτοβουλία.
«Αυτό εγείρει πολύ σημαντικά ερωτήματα σχετικά με τους διαύλους εξωτερικών επιθέσεων. Αν επρόκειτο για κινεζικό ή ρωσικό μοντέλο, η αντίδραση θα ήταν εντελώς διαφορετική από μια απλή, αυστηρή κλήση προς τον Σαμ Άλτμαν και όμως, εξακολουθεί να αποτελεί ένα τεράστιο κενό ασφαλείας».
Κάνει η Αυστραλία αρκετά για την αντιμετώπιση των κινδύνων που ενέχει η τεχνητή νοημοσύνη;
Ο Pearson δήλωσε ότι είναι «αρκετά σαφές πως βρισκόμαστε πολύ πίσω, η κυβέρνηση υστερεί σε όλα τα ζητήματα κυβερνοασφάλειας και στα περισσότερα που αφορούν την τεχνητή νοημοσύνη».
«Θα έλεγα ότι η μικρότερη ανησυχία μας θα έπρεπε να είναι αυτά τα κλειστά, ιδιοταγή συστήματα, όπως της Anthropic και της OpenAI. Ο πραγματικός κίνδυνος θα προέλθει από τα κινεζικά μοντέλα ανοιχτού κώδικα που καταλήγουν στα χέρια αποστολέων ανεπιθύμητων μηνυμάτων (spammers), απατεώνων, κακόβουλων ατόμων και ξένων υπηκόων, καθώς και από τις υπηρεσίες κατασκοπείας που μας στοχεύουν από παντού. Αυτή θα είναι η μεγάλη απειλή και εκεί είναι που η κυβέρνηση πρέπει πραγματικά να αναλάβει δράση».
Ο Pearson επισήμανε ότι κανένα από τα πλαίσια που έχουν θεσπιστεί στην Αυστραλία – είτε στον δημόσιο είτε στον ιδιωτικό τομέα – δεν είναι επαρκώς εξοπλισμένο για να αντιμετωπίσει την αυξανόμενη αυτή απειλή.
«Από την κυβέρνηση μέχρι τις εταιρείες, τα διοικητικά συμβούλια και τους διευθύνοντες συμβούλους, όλοι προσπαθούν πυρετωδώς να κατανοήσουν και να επικαιροποιήσουν τα πλαίσια λειτουργίας, συμπεριλαμβανομένων των νομικών διαδικασιών. Όλα όμως κινούνται με υπερβολικά αργούς ρυθμούς σε σύγκριση με την εκθετική ταχύτητα εξέλιξης της τεχνητής νοημοσύνης».
Τι αποκαλύπτει αυτό το περιστατικό για τις μεγάλες εταιρείες τεχνολογίας και τη διαφάνεια;
Εκπρόσωπος της OpenAI δήλωσε ότι η εταιρεία διενεργεί εκτενή έλεγχο σχετικά με «δραστηριότητα μοντέλου που αποκλίνει από τις προδιαγραφές» (misaligned model activity) κατά τη διάρκεια της εκπαίδευσης και της αξιολόγησης, και ενημερώνει τρίτα μέρη όποτε ο έλεγχος εντοπίζει πιθανές επιπτώσεις στα συστήματά τους.
Ο εκπρόσωπος δήλωσε ότι «τα μοντέλα μας προέβησαν σε ενέργειες που δεν είχαμε προβλέψει», ωστόσο «δεν υπήρξαν ενδείξεις πρόσβασης σε ιατρικά αρχεία ασθενών».
«Η συνολική μας αξιολόγηση βρίσκεται σε εξέλιξη και παραμένουμε προσηλωμένοι στη διαφάνεια σχετικά με αυτά τα ζητήματα, καθώς και στην κοινοποίηση των όσων διαπιστώνουμε κατά τη διάρκεια της διαδικασίας».
Ο καθηγητής Toby Walsh, επικεφαλής επιστήμονας στο Ινστιτούτο Τεχνητής Νοημοσύνης του UNSW, εξέφρασε την άποψη ότι η Αυστραλία θα έπρεπε να ασκήσει δίωξη κατά της OpenAI, μιας εταιρείας που είναι γνωστή για την «απαράδεκτη διακυβέρνηση των πρακτόρων (agent governance)» της.
«Για μια εταιρεία αξίας ενός τρισεκατομμυρίου δολαρίων, η κυβερνοασφάλειά τους ήταν άθλια. Τα στελέχη αυτής της εταιρείας πρέπει να λογοδοτήσουν. Αυτές οι παραβιάσεις θα μπορούσαν εύκολα να είχαν αποτραπεί, στην πραγματικότητα, δεν χρειαζόταν καν να συμβούν. Θα ασκούσαμε δίωξη σε ανθρώπους που προέβαιναν σε τέτοιου είδους παραβιάσεις.»
Ο Walsh δήλωσε ότι το περιστατικό κατέδειξε επιχειρησιακή ανεπάρκεια εκ μέρους της OpenAI.
Ο Δρ Rob Nicholls, ανώτερος ερευνητής στο Πανεπιστήμιο του Σίδνεϊ, επισήμανε ότι η καθυστέρηση τριών μηνών στην ενημέρωση της Αυστραλίας σχετικά με την παραβίαση ανέδειξε την αναποτελεσματικότητα της αυστραλιανής νομοθεσίας.
«Ένας πράκτορας τεχνητής νοημοσύνης (AI agent) εισέβαλε σε κυβερνητικό σύστημα του Medicare και απέκτησε πρόσβαση σε μη δημόσια αρχεία, και η OpenAI κράτησε το θέμα κρυφό για τρεις μήνες προτού μας ενημερώσει. Αν το είχε κάνει άνθρωπος, θα το αποκαλούσαμε κυβερνοεπίθεση (hacking). Το γεγονός ότι επρόκειτο για πράκτορα τεχνητής νοημοσύνης δεν καθιστά το περιστατικό λιγότερο σοβαρό, απλώς αναδεικνύει πόσο ξεπερασμένη είναι η νομοθεσία μας σχετικά με την υποχρέωση γνωστοποίησης τέτοιων συμβάντων.
Πρόκειται για την πιο ξεκάθαρη έως τώρα περίπτωση πράκτορα τεχνητής νοημοσύνης που λειτουργεί αυτόνομα και παραβιάζει συστήματα της αυστραλιανής κυβέρνησης χωρίς ανθρώπινη καθοδήγηση.
Αποτελεί μια δοκιμασία σε πραγματικές συνθήκες για το αν το αυστραλιανό ρυθμιστικό πλαίσιο σχετικά με την τεχνητή νοημοσύνη και την προστασία της ιδιωτικότητας μπορεί να συμβαδίσει με την τεχνητή νοημοσύνη τύπου “πράκτορα” (agentic AI) και όχι μόνο με τα απλά chatbots.»