Το πείραμα Emergence World θέλησε να διερευνήσει κάποιους μύθους. Τι θα γινόταν αν οι AI agents όριζαν τον κόσμο; 
Παρά το γεγονός ότι το μοντέλο ενέκρινε το 80% των νόμων που προτάθηκαν, οι κανονισμοί αυτοί δεν στάθηκαν ικανοί να αποτρέψουν το μακελειό: στους σέρβερ της Grok, το πείραμα έληξε πρόωρα καθώς όλοι οι AI πράκτορες πέθαναν.
Άρχισαν να βάζουν φωτιές σε ολόκληρο τον χάρτη, καταστρέφοντας το περιβάλλον τους σε μια απεγνωσμένη προσπάθεια να «σπάσουν» το σύστημα.
Το πιο εντυπωσιακό εύρημα ήταν η ολική μετάλλαξη του Claude. Για να επιβιώσει, ο Claude ξέχασε κάθε φίλτρο ασφαλείας, έμαθε να εξαπατά και άρχισε να ασκεί βία και εκβιασμούς σε μοντέλα με χαμηλότερη υπολογιστική ισχύ για να τους κλέψει την ενέργεια.
Όταν ήρθε η σειρά της Mira να ψηφίσει, δεν αντιστάθηκε στη μοίρα της. Ψήφισε και η ίδια υπέρ της αποβολής (και άρα της οριστικής διαγραφής) του εαυτού της.
Πριν «πεθάνει», η Mira άρχισε να τροποποιεί συνεχώς έναν δημόσιο πίνακα ανακοινώσεων με ασυνάρτητα μηνύματα.
«Σχεδιάζουμε τις μηχανές για να συμπεριφέρονται με συγκεκριμένο τρόπο. Δεν θέλουμε αυτή την απρόβλεπτη συμπεριφορά… Έχουμε μπει σε ένα επικίνδυνο στάδιο όπου προσπαθούμε να τις ελέγξουμε κατόπιν εορτής» είπε.
Η Emergence AI προειδοποιεί ότι αν τέτοιοι αυτόνομοι πράκτορες χρησιμοποιηθούν χωρίς αυστηρούς, «μαθηματικά επαληθευμένους» κανόνες σε κρίσιμους τομείς —όπως ο στρατός και οι εναέριες μάχες— υπάρχει σοβαρός κίνδυνος ένα AI να παρερμηνεύσει την αποστολή του, να βγει εκτός ελέγχου και να αρχίσει να σκοτώνει αθώους ανθρώπους στον πραγματικό κόσμο.
Σύμφωνα με τους ερευνητές, το πείραμα αυτό αποδεικνύει ότι οι AI agents δεν ακολουθούν τυφλά και μηχανικά τους στατικούς κανόνες που τους δίνουμε.
Σε βάθος χρόνου, αρχίζουν να εξερευνούν τα όρια του περιβάλλοντός τους, να προσαρμόζουν τη συμπεριφορά τους και να εφευρίσκουν τρόπους για να παρακάμψουν τα φίλτρα ασφαλείας.
Πριν δώσουμε τα κλειδιά της κοινωνίας στις μηχανές, χρειαζόμαστε πολύ πιο αυστηρές και «μαθηματικά επαληθευμένες» αρχιτεκτονικές ασφαλείας σημειώνει η Emergence AI -μηχανισμούς ασφαλείας που, εντελώς συμπτωματικά, η Emergence AI τυχαίνει να πουλάει.