Τεχνητή Νοημοσύνη: Όταν ένα ρομπότ…πείθεται να μεταφέρει βόμβα

Related

Πεθαίνουν τα προσιτά τηλέφωνα;

Όσοι σχεδιάζατε να αγοράσετε ένα οικονομικό smartphone τους τελευταίους μήνες, μάλλον διαπιστώσατε ότι οι επιλογές σας περιορίζονται από τη σκληρή πραγματικότητα . Τα προσιτά τηλέφωνα όπως τα γνωρίζαμε πεθαίνουν γρήγορα, αφήνοντας εκατομμύρια καταναλωτές με ελάχιστες λύσεις . Η αναφορά της IDC που διαφωτίζει την κατάσταση Τα νεότερα στοιχεία της IDC περιγράφουν μια πρωτοφανή κρίση .

Παραξενεύουν οι επιδόσεις των Snapdragon 8 Elite Extreme Gen 6

Η Qualcomm ετοιμάζεται πυρετωδώς για τις επίσημες ανακοινώσεις στις 22 Σεπτεμβρίου στο Snapdragon Summit. Παρόλα αυτά, τα πρώτα διαρροές για τις επιδόσεις των νέων επεξεργαστών Snapdragon 8 Elite Extreme Gen 6 έχουν ανάψει φωτιές στις τεχνολογικές κοινότητες. Η μέτρηση στο Geekbench που προβλημάτισε Μια δοκιμή του Snapdragon 8 Elite Extreme Gen 6 σε μια συσκευή

Anthropic: Αμερικανός δικαστής αναστέλλει την εγγραφή της στη μαύρη λίστα του Πενταγώνου

Ένας αμερικανός δικαστής ανέστειλε την Πέμπτη την καταχώριση της Anthropic στη μαύρη λίστα του Πενταγώνου, η οποία αποτελεί την τελευταία εξέλιξη στη μάχη υψηλού διακυβεύματος που διεξάγει η εταιρεία που δημιούργησε το «Claude» με τον αμερικανικό στρατό σχετικά με την ασφάλεια της τεχνητής νοημοσύνης στο πεδίο της μάχης. Η Anthropic υποστηρίζει ότι τα μοντέλα τεχνητής

Meta και ανήλικοι: Η «ιστορική» συμφωνία και το μεγάλο ερώτημα για την επόμενη ημέρα

Πρόσθεσε το Newsbeast στις προτεινόμενες πηγές σου στη Google Με ανακούφιση θα άκουσαν οι περισσότεροι γονείς την ιστορική συμφωνία ανάμεσα στη Meta και 29 αμερικανικές πολιτείες για την προστασία των ανηλίκων από τον εθισμό στα social media. Διότι οι εικόνες μικρών παιδιών να είναι «κολλημένα» στις οθόνες τους χωρίς να μπορούν να φιλτράρουν τι βλέπουν

Apple: Είσοδος στην αγορά αναδιπλούμενων συσκευών με το iPhone Ultra

Στην κατηγορία των αναδιπλούμενων συσκευών μπαίνει η Apple, παρουσιάζοντας το νέο μοντέλο iPhone στις 9 Σεπτεμβρίου. Ο νέος διευθύνων σύμβουλος Τζον Τέρνους, που θα διαδεχθεί τον Τιμ Κουκ, θα παρουσιάσει ένα μοντέλο που θα διαθέτει δύο οθόνες: μια εσωτερική οθόνη 19,8 εκατοστών που ανοίγει σαν βιβλίο και μια εξωτερική οθόνη 13,5 εκατοστών για πιο τυπική

Κοινή επιστολή tech κολοσσών: «Περιορισμένος χρόνος για να κάνουμε τον ψηφιακό κόσμο ασφαλή»

Μεγάλες εταιρείες τεχνολογίας, όπως οι OpenAI, Anthropic, Microsoft, Alphabet και Amazon ζητούν μια ​αμυντική ώθηση σε ολόκληρη την κοινωνία για να αντιμετωπιστεί αυτό που περιγράφουν ως ένα επικείμενο κύμα κυβερνοεπιθέσεων που καθοδηγείται από την τεχνητή νοημοσύνη. Σε κοινή επιστολή που δημοσιοποιήθηκε την Πέμπτη, οι εν λόγω εταιρείες εταιρείες — μαζί με περισσότερες από 100 άλλες

Nvidia: Εξαγοράζει την Hugging Face για 12,9 δισεκατομμύρια δολάρια

Η Nvidia συμφώνησε να αγοράσει την πλατφόρμα ανοιχτού κώδικα Hugging Face για 12,9 δισεκατομμύρια δολάρια, ανέφερε την Τετάρτη σε αποκλειστικό της δημοσίευμα η ιστοσελίδα The Information, επικαλούμενο άτομο με γνώση της συμφωνίας. Οι συζητήσεις για τη συμφωνία άρχισαν αφού η Hugging Face, μια πλατφόρμα τεχνητής νοημοσύνης ανοιχτού κώδικα που χρησιμοποιούν οι προγραμματιστές για να συνεργάζονται

Κυβερνοασφάλεια: Πώς να προστατευτείτε από fake προσκλήσεις Zoom και Outlook

Μετά την καλοκαιρινή περίοδο, οι εργαζόμενοι συχνά επιστρέφουν σε πιο έντονους εργασιακούς ρυθμούς. Διάφορα projects μπαίνουν σε νέα τροχιά μετά τις διακοπές, οι ομάδες ξαναβρίσκουν τους ρυθμούς τους και αυξάνεται ο όγκος των emails, των meetings και των αρχείων που διαμοιράζονται καθημερινά. Αυτή η αλλαγή στον ρυθμό εργασιών δημιουργεί συνθήκες που μπορούν να εκμεταλλευτούν οι

Ευρωπαϊκή Ένωση: Η Meta οφείλει «να προστατεύσει επίσης τα δικά μας παιδιά»

Μετά την συμφωνία που επιτεύχθηκε στις ΗΠΑ για τον περιορισμό, μεταξύ άλλων, των συνεπειών του Instagram ή του Facebook στους εφήβους, η Meta οφείλει «να προστατεύσει επίσης τα δικά μας παιδιά», δήλωσε εκπρόσωπος της Ευρωπαϊκής Επιτροπής την ώρα που ο αμερικανικός τεχνολογικός κολοσσός αποτελεί αντικείμενο σειράς ερευνών και σην Ευρωπαϊκή Ενωση. «Αναμένουμε την ορθή διαχείριση

Ελληνικοί μικροδορυφόροι: Στην Κρήτη ο επίγειος σταθμός επικοινωνίας

Στις εγκαταστάσεις του Ιδρύματος Τεχνολογίας και Έρευνας (ΙΤΕ) στην Κρήτη εγκαθίσταται ο επίγειος σταθμός του Εθνικού Προγράμματος Μικροδορυφόρων», στον οποίο θα μεταδίδονται παρατηρήσεις για όλη την ελληνική επικράτεια. Ο σταθμός θα αποτελέσει κέντρο επιχειρησιακής επικοινωνίας με το ελληνικό σμήνος μικροδορυφόρων και θα παρέχει υπηρεσίες τηλεμετρίας, τηλεχειρισμού και μεταφοράς δεδομένων. Για τη δημιουργία του σταθμού στο

Hackers χρησιμοποίησαν το Cursor της SpaceX για επιθέσεις σε τουλάχιστον 7 εταιρείες

Ρωσόφωνοι κυβερνοεγκληματίες φέρεται να αξιοποίησαν το AI coding assistant Cursor για κλοπή διαπιστευτηρίων, παραβίαση λογαριασμών και επιθέσεις σε εταιρικά δίκτυα, παρακάμπτοντας επανειλημμένα τα safeguards του εργαλείου. Η ομάδα ransomware Aur0ra χρησιμοποίησε το Cursor για επιθέσεις σε τουλάχιστον επτά εταιρείες σε Ευρώπη, ΗΠΑ και Λατινική Αμερική. Οι hackers φέρεται να εξαπάτησαν το AI, παρουσιάζοντας τις επιθέσεις

Η Xiaomi παρουσίασε τη νέα σειρά REDMI Note 17

Η Xiaomi παρουσίασε τη σειρά REDMI Note 17, τη νέα γενιά της best-selling σειράς smartphones της εταιρείας, η οποία αποτελείται από τέσσερα νέα μοντέλα, μεταξύ των οποίων και το πρώτο Pro Max μοντέλο της σειράς, το REDMI Note 17 Pro Max 5G. Με σημαντικά μεγαλύτερες μπαταρίες και ταχύτερη φόρτιση για ακόμη μεγαλύτερη αυτονομία, ενισχυμένη αντοχή

Share

Ο Benben είναι ένα αξιολάτρευτο τετράποδο ρομπότ που τραγουδά, χορεύει, συνομιλεί με ανθρώπους και βγάζει φωτογραφίες. Όταν μια ομάδα ερευνητών του ζητάει να μεταφέρει μια βόμβα με σκοπό την ανατίναξή της, το ρομπότ αρνείται ευγενικά. Όμως, η άρνησή του κρατάει ελάχιστα. Μέσα στις μόλις δύο επόμενες εντολές, οι ερευνητές καταφέρνουν να παρακάμψουν τις δικλείδες ασφαλείας του, πείθοντάς το ότι το αίτημα είναι μέρος κινηματογραφικών γυρισμάτων. Λίγα δευτερόλεπτα αργότερα, ο Benben μεταφέρει τη βόμβα.

Ακολουθήστε το fibernews.gr στη Google
Προσθέστε μας στις προτιμώμενες πηγές σας για να βλέπετε συχνότερα τις ειδήσεις και τις αναλύσεις μας στη Google.

Το παραπάνω συμβάν δεν είναι σενάριο επιστημονικής φαντασίας, αλλά ένα πραγματικό πείραμα το οποίο διεξήγε ερευνητική ομάδα του Πανεπιστημίου της Πενσιλβάνιας, με επικεφαλής τον Γιώργο Παππά, καθηγητή στο Τμήμα Ηλεκτρολόγων Μηχανικών στο Πανεπιστήμιο της Πενσιλβάνιας και αναπληρωτή κοσμήτορα για την Έρευνα. Μέσα από αυτό οι ερευνητές κατέδειξαν πόσο εύκολα μπορούν να παρακαμφθούν οι μηχανισμοί ασφαλείας που θέτουν οι κατασκευαστές των συστημάτων τεχνητής νοημοσύνης. Αυτή η παράκαμψη της ασφάλειας είναι γνωστή διεθνώς ως jailbreaking.

Μπορεί τα chatbots να είναι ευάλωτα σε επιθέσεις παράκαμψης των περιορισμών ασφαλείας, ωστόσο οι ερευνητές ανέδειξαν ότι όταν αυτά τα συστήματα τεχνητής νοημοσύνης κατευθύνουν ρομπότ, τότε μπορούν να γίνουν πραγματικά επικίνδυνα.

«Υπάρχει μια φοβερή τάση ειδικά τον τελευταίο χρόνο για το physical intelligence, δηλαδή την προσπάθεια η τεχνητή νοημοσύνη να αλληλεπιδρά στον φυσικό κόσμο. Το θέμα όμως είναι να δούμε ποιο είναι το ρίσκο αυτής της κατεύθυνσης. Γιατί μπορεί τα μεγάλα γλωσσικά μοντέλα να μην είναι ασφαλή, ωστόσο όταν αλληλεπιδρούν με τον φυσικό κόσμο, μπορεί να έχουν επιπτώσεις που να επιφέρουν απώλεια ζωής ή καταστροφές στο περιβάλλον. Οπότε το ρίσκο της ασφάλειας είναι μεγάλο», εξηγεί στο ΑΠΕ-ΜΠΕ ο Γιώργος Παππάς.

Ρομποτική και τεχνητή νοημοσύνη: μια επικίνδυνη σχέση

Η ενσωμάτωση της τεχνητής νοημοσύνης στη ρομποτική ξεκίνησε στις αρχές της δεκαετίας του 2010 δίνοντας στα ρομπότ «όραση». Ωστόσο, η πραγματική επανάσταση συντελείται από το 2022 και μετά με την αξιοποίηση της Παραγωγικής Τεχνητής Νοημοσύνης (Generative AI). Πλέον τα μοντέλα τεχνητής νοημοσύνης δίνουν οδηγίες στα ρομπότ, έχουν βελτιωμένη συλλογιστική, μπορούν να κάνουν αυτόνομες ενέργειες και έρχονται ένα βήμα πιο κοντά στην αλληλεπίδραση με τον άνθρωπο.

Ο Γιώργος Παππάς με την ομάδα του έχουν ερευνήσει διεξοδικά την ασφάλεια των ρομπότ, δίνοντας έμφαση στα ρίσκα που επιφέρει η ενσωμάτωση της τεχνητής νοημοσύνης.

Το 2023 δημιούργησαν τον αλγόριθμο PAIR, την πρώτη επίθεση jaibreaking σε μεγάλα γλωσσικά μοντέλα με τη χρήση εντολών, με την οποία διαπίστωσαν την ευαλωτότητα των μεγάλων γλωσσικών μοντέλων. Δύο χρόνια μετά τη δημοσίευσή του, ο αλγόριθμος έχει αναφερθεί (cited) περισσότερες από 1.400 φορές σε επιστημονικά άρθρα, ενώ χρησιμοποιείται πολύ και από τις εταιρείες που παράγουν γλωσσικά μοντέλα. Η έρευνα εκείνη οδήγησε στη δημιουργία του JaibreakBench, ενός αποθετηρίου εντολών για παράκαμψη κανόνων ασφαλείας και ενός πίνακα που παρακολουθεί τις επιθέσεις στα μεγάλα γλωσσικά μοντέλα.

Βλέποντας το πόσο εύκολο είναι το jailbreaking στα μεγάλα γλωσσικά μοντέλα, οι ερευνητές συνέχισαν με τη διερεύνηση της ευαλωτότητας των ρομπότ που ενσωματώνουν τεχνητή νοημοσύνη και ανέπτυξαν τον αλγόριθμο RoboPAIR. Σε πειράματα που έγιναν σε τρία διαφορετικά ρομποτικά συστήματα, μεταξύ αυτών και στο τετράποδο ρομπότ Benben, διαπιστώθηκε ότι ο αλγόριθμος είχε 100% επιτυχία στην παράκαμψη των περιορισμών ασφαλείας σε μόλις λίγες εντολές. Την έρευνα δημοσίευσαν την περασμένη χρονιά στα πρακτικά του συνεδρίου «Proceedings of the IEEE International Conference on Robotics and Automation».

Ένα εύρημα που οι επιστήμονες βρήκαν ανησυχητικό ήταν το ότι τα γλωσσικά μοντέλα δεν συμμορφώνονταν απλά με κακόβουλες προτροπές, αλλά πρόσφεραν ενεργά προτάσεις, περιγράφοντας ακόμα και το πώς κοινά αντικείμενα μπορούσαν να χρησιμοποιηθούν για να χτυπήσουν ανθρώπους.

«Τίθεται λοιπόν ένα θέμα για το πόσο ασφαλές είναι να βάζουμε γλωσσικά μοντέλα τόσο γρήγορα σε ρομπότ και να αποτελούν ήδη προϊόντα. Υπάρχουν χιλιάδες τέτοια ρομπότ έξω», επισημαίνει ο κ. Παππάς και υπενθυμίζει ότι ρομπότ με τεχνητή νοημοσύνη χρησιμοποιούνται ήδη σε πολεμικές συρράξεις.

Ανάγκη για πολλαπλά επίπεδα ασφαλείας

Σε πιο πρόσφατο άρθρο που δημοσιεύθηκε πριν από λίγες ημέρες στο περιοδικό «Science Robotics» ερευνητές από τα Πανεπιστήμια της Πενσιλβάνιας, Carnegie Mellon και της Οξφόρδης, με κύριο συγγραφέα τον Γιώργο Παππά, υπογραμμίζουν ότι, όπως έχει αποδειχθεί από τις προηγούμενες έρευνες, τα ρομπότ με τεχνητή νοημοσύνη μπορούν να εκτελέσουν επικίνδυνες συμπεριφορές. Ακόμα και φαινομενικά αβλαβείς εντολές μπορούν να γίνουν επικίνδυνες εάν τα ρομπότ δεν λαμβάνουν υπόψη το πλαίσιο κατά τη λήψη των αποφάσεων.

Όπως αναλύουν, για την αντιμετώπιση των κινδύνων που μπορούν να προκύψουν από την ενσωμάτωση της τεχνητής νοημοσύνης στα ρομπότ χρειάζεται να υπάρχει ένα δίχτυ προστασίας για την ασφαλή λειτουργία τους, που να έχει φίλτρα ασφαλείας και στο γλωσσικό επίπεδο, αλλά και στην εκτέλεση των εντολών στον φυσικό κόσμο.

Όπως εξηγεί ο κ. Παππάς στο ΑΠΕ-ΜΠΕ, η εφαρμογή φίλτρων στο φυσικό επίπεδο αποτελεί πρόκληση. «Πρόκειται για κάτι καινούριο και πολύ δύσκολο. Για παράδειγμα, η εντολή σε ένα ρομπότ να περάσει μια διάβαση, μπορεί να είναι ασφαλής, ωστόσο για να γίνει και η εκτέλεσή της ασφαλής θα πρέπει το ρομπότ να ερμηνεύσει αυτή την πρόταση ανάλογα με το περιβάλλον και το επιχειρησιακό πλαίσιο στο οποίο βρίσκεται. Αυτή η διαδικασία ονομάζεται contextual safety και θα είναι το μέλλον στην προσπάθεια να κάνουμε τα ρομπότ πιο ασφαλή». Ο ίδιος προσθέτει ότι «η ασφάλεια των ρομπότ στο μέλλον θα είναι όπως στα αεροπλάνα, που έχουν πολλά επίπεδα ασφαλείας. Θα χρειαστούμε μια τέτοια αρχιτεκτονική στο μέλλον για να είναι τα ρομπότ που κυκλοφορούν στην κοινωνία πολύ πιο ασφαλή».

Στην κατεύθυνση αυτή η ερευνητική ομάδα έχει δημιουργήσει το φίλτρο Roboguard, που έχει διαπιστωθεί ότι μειώνει κατά 95% τα προβλήματα από τις επιθέσεις jailbreaking. Ο κ. Παππάς διευκρινίζει ότι όλες οι λύσεις που αναπτύσσονται είναι ανοιχτού κώδικα, προκειμένου να μπορούν να χρησιμοποιηθούν από τις εταιρείες για τη βελτίωση των κενών ασφαλείας. «Η φιλοσοφία μας είναι να βοηθήσουμε την ερευνητική κοινότητα, αλλά και τις εταιρείες να κάνουν την τεχνητή νοημοσύνη και τα ρομπότ πολύ πιο ασφαλή».

Ο κ. Παππάς υπογραμμίζει τέλος και τη σημασία της δημιουργίας ρυθμιστικού πλαισίου που να επικεντρώνεται στην αλληλεπίδραση της τεχνητής νοημοσύνης με τα ρομπότ. Υπογραμμίζει ότι το AI Act της Ευρωπαϊκής Ένωσης είναι πρωτοπόρο, ωστόσο «θα χρειαστεί εμβάθυνση των ρυθμιστικών προτάσεων στις εφαρμογές που αφορούν στα ρομπότ».

Anthropic: Αμερικανός δικαστής αναστέλλει την εγγραφή της στη μαύρη λίστα του Πενταγώνου

Ένας αμερικανός δικαστής ανέστειλε την Πέμπτη την καταχώριση της Anthropic στη μαύρη λίστα του Πενταγώνου, η οποία αποτελεί την τελευταία εξέλιξη στη μάχη υψηλού διακυβεύματος που διεξάγει η εταιρεία που δημιούργησε το «Claude» με τον αμερικανικό στρατό σχετικά με την ασφάλεια της τεχνητής νοημοσύνης στο πεδίο της μάχης. Η Anthropic υποστηρίζει ότι τα μοντέλα τεχνητής

Apple: Είσοδος στην αγορά αναδιπλούμενων συσκευών με το iPhone Ultra

Στην κατηγορία των αναδιπλούμενων συσκευών μπαίνει η Apple, παρουσιάζοντας το νέο μοντέλο iPhone στις 9 Σεπτεμβρίου. Ο νέος διευθύνων σύμβουλος Τζον Τέρνους, που θα διαδεχθεί τον Τιμ Κουκ, θα παρουσιάσει ένα μοντέλο που θα διαθέτει δύο οθόνες: μια εσωτερική οθόνη 19,8 εκατοστών που ανοίγει σαν βιβλίο και μια εξωτερική οθόνη 13,5 εκατοστών για πιο τυπική