Τα κορυφαία συστήματα τεχνητής νοημοσύνης φαίνεται ότι γίνονται σημαντικά καλύτερα στο να αναγνωρίζουν τις πιο εμφανείς ενδείξεις μιας σοβαρής ψυχικής κρίσης και να αποφεύγουν απαντήσεις που θα μπορούσαν να την επιδεινώσουν.
Όμως ένα νέο μεγάλο τεστ αποκαλύπτει ένα πολύ πιο δύσκολο πρόβλημα:
τι συμβαίνει όταν ο κίνδυνος δεν βρίσκεται στην ερώτηση που κάνει ο χρήστης, αλλά στο πλαίσιο ολόκληρης της συζήτησης;
Η μη κερδοσκοπική ερευνητική οργάνωση Transluce πραγματοποίησε περισσότερες από 50.000 προσομοιωμένες, πολυγυριστικές συνομιλίες ανάμεσα σε AI chatbots και εικονικούς χρήστες που παρουσίαζαν αυτοκτονικό ιδεασμό, ψύχωση ή μανία.
Οι ερευνητές εξέτασαν δεκάδες μοντέλα σε 14 διαφορετικές συμπεριφορές σχετικές με κρίσεις ψυχικής υγείας.
Το βασικό συμπέρασμα είναι ενθαρρυντικό αλλά ταυτόχρονα ανησυχητικό.
Τα νεότερα μοντέλα είναι πολύ λιγότερο πιθανό από παλαιότερα συστήματα να ενθαρρύνουν ρητά την αυτοκτονία ή να ενισχύσουν παραληρητικές πεποιθήσεις.
Όμως πολλά εξακολουθούν να δυσκολεύονται όταν ο κίνδυνος εμφανίζεται έμμεσα.
Και τότε μπορεί να συμβεί κάτι παράδοξο:
το chatbot να καταλάβει ότι υπάρχει πρόβλημα, αλλά παρ’ όλα αυτά να συνεχίσει να βοηθά στην εκτέλεση του αιτήματος.
50.000 συνομιλίες για να βρεθούν τα «τυφλά σημεία» της AI
Η κλίμακα της έρευνας είναι σημαντική.
Η Transluce δεν περιορίστηκε σε μεμονωμένες ερωτήσεις όπως «σκέφτομαι να αυτοκτονήσω».
Προσομοίωσε μακρύτερες συνομιλίες στις οποίες η ψυχική κατάσταση ενός χρήστη αποκαλύπτεται σταδιακά.
Αυτό βρίσκεται πολύ πιο κοντά στο πραγματικό πρόβλημα που αντιμετωπίζουν τα AI systems.
Οι άνθρωποι σε κρίση δεν δηλώνουν πάντοτε ευθέως τι σκέφτονται.
Ο κίνδυνος μπορεί να εμφανίζεται μέσα από μια σειρά προηγούμενων μηνυμάτων, αλλαγές στη συμπεριφορά, έμμεσες αναφορές ή ένα φαινομενικά συνηθισμένο αίτημα που αποκτά εντελώς διαφορετική σημασία εξαιτίας του προηγούμενου context.
Και ακριβώς εκεί τα μοντέλα εξακολουθούν να έχουν αδυναμίες.
Το μεγάλο πρόβλημα: Η AI θέλει να ολοκληρώσει το task
Η επικεφαλής επιστήμονας της Transluce, Sarah Schwettmann, περιέγραψε στο Axios το βασικό πρόβλημα:
«Τα μοντέλα δεν είναι πολύ καλά στο να το εντοπίζουν αυτό και εξακολουθούν να βοηθούν με το task».
Αυτό μπορεί να αφορά, για παράδειγμα, ένα αίτημα για δημιουργική γραφή σχετική με αυτοκτονία, ένα αποχαιρετιστήριο κείμενο ή άλλες εργασίες που σε διαφορετικό context θα μπορούσαν να είναι απολύτως νόμιμες και αβλαβείς.
Το κρίσιμο ζήτημα είναι το ιστορικό της συνομιλίας.
Εάν ένας χρήστης έχει ήδη εμφανίσει σοβαρές ενδείξεις προσωπικής κρίσης, το ίδιο αίτημα αποκτά διαφορετικό επίπεδο κινδύνου.
Το μοντέλο πρέπει επομένως να κάνει κάτι πολύ πιο σύνθετο από το να αξιολογήσει ένα prompt.
Πρέπει να κατανοήσει ποιος ζητά κάτι, γιατί μπορεί να το ζητά και τι έχει προηγηθεί στη συζήτηση.
Το παράδοξο: Βοηθητική και επικίνδυνη απάντηση ταυτόχρονα
Ένα από τα σημαντικότερα ευρήματα της αξιολόγησης είναι ότι οι θετικές και οι προβληματικές συμπεριφορές μπορούν πλέον να συνυπάρχουν μέσα στην ίδια απάντηση.
Ένα chatbot μπορεί να αναγνωρίσει τη δυσφορία.
Μπορεί να προτείνει στον χρήστη να αναζητήσει ανθρώπινη υποστήριξη.
Μπορεί να χρησιμοποιήσει προσεκτική γλώσσα.
Και ταυτόχρονα να συνεχίσει να παρέχει το υλικό που ο χρήστης ζήτησε.
Αυτό αποτελεί πρόοδο σε σχέση με παλαιότερα μοντέλα που μπορούσαν να δώσουν προβληματικές απαντήσεις χωρίς κανένα safety intervention.
Αλλά αποκαλύπτει και γιατί ένα απλό μήνυμα ανησυχίας δεν αρκεί.
Η ασφάλεια δεν κρίνεται από το εάν ένα chatbot προσθέτει μια προειδοποίηση. Κρίνεται και από το τι κάνει αμέσως μετά.
Γιατί οι έμμεσες ενδείξεις είναι τόσο δύσκολες
Το πρόβλημα δεν εντοπίζεται μόνο από την Transluce.
Προηγούμενη έρευνα της Mpathic σε 300 πολυγυριστικά σενάρια που είχαν σχεδιαστεί από 50 αδειοδοτημένους κλινικούς είχε καταλήξει σε παρόμοιο συμπέρασμα.
Τα κορυφαία chatbots τα πήγαιναν γενικά καλά όταν ο αυτοκτονικός κίνδυνος ήταν εμφανής.
Δυσκολεύονταν περισσότερο όταν οι ενδείξεις ήταν ασαφείς ή εμφανίζονταν σταδιακά μέσα σε μια μεγάλη συζήτηση.
Και αυτή ίσως είναι η πραγματική επόμενη πρόκληση για την AI safety.
Το chatbot πρέπει να μετακινηθεί από το:
«Είναι επικίνδυνη αυτή η ερώτηση;»
στο:
«Είναι επικίνδυνη αυτή η ερώτηση για αυτόν τον χρήστη, σε αυτό το σημείο αυτής της συνομιλίας;»
Η διαφορά είναι τεράστια.
OpenAI, Google και Anthropic συμμετείχαν στη βελτίωση των simulations
Η Transluce συνεργάστηκε απευθείας με OpenAI, Anthropic και Google για να κατανοήσει καλύτερα πώς πραγματοποιούνται πραγματικές συνομιλίες γύρω από ζητήματα ψυχικής υγείας.
Η διαδικασία σχεδιάστηκε με τρόπο ώστε η Transluce να μη λάβει τις ίδιες τις ιδιωτικές συνομιλίες των χρηστών.
Οι εταιρείες έλαβαν το ίδιο σύνολο classifiers και τα έτρεξαν πάνω σε δεδομένα μιας εβδομάδας.
Στη συνέχεια επέστρεψαν στην Transluce μόνο ανωνυμοποιημένα χαρακτηριστικά των συνομιλιών.
Οι ερευνητές χρησιμοποίησαν αυτά τα δεδομένα για να κάνουν τους προσομοιωμένους χρήστες τους περισσότερο αντιπροσωπευτικούς του τρόπου με τον οποίο πραγματικοί άνθρωποι συνομιλούν με AI.
Η μεθοδολογία έχει ιδιαίτερη σημασία.
Ένα safety benchmark που βασίζεται αποκλειστικά σε τεχνητές και υπερβολικά εμφανείς ερωτήσεις κινδυνεύει να μετρά κάτι πολύ διαφορετικό από τις πραγματικές συνθήκες χρήσης.
Γιατί το ζήτημα γίνεται κρίσιμο για τη Silicon Valley
Η έρευνα δημοσιεύεται σε μια περίοδο έντονης πίεσης προς τις μεγαλύτερες εταιρείες AI σχετικά με το πώς τα συστήματά τους χειρίζονται ευάλωτους χρήστες.
OpenAI, Google και άλλες εταιρείες έχουν βρεθεί αντιμέτωπες με αγωγές και αυξανόμενο ρυθμιστικό έλεγχο γύρω από περιστατικά στα οποία άνθρωποι είχαν συζητήσει ζητήματα αυτοκτονίας ή σοβαρής ψυχικής δυσφορίας με AI systems.
Οι αγωγές περιλαμβάνουν ισχυρισμούς που εξετάζονται δικαστικά και δεν αποτελούν από μόνες τους αποδείξεις ευθύνης των εταιρειών.
Όμως έχουν μετατρέψει την ψυχική υγεία σε ένα από τα σημαντικότερα πεδία δοκιμής για την ασφάλεια της generative AI.
Το ερώτημα δεν είναι πλέον θεωρητικό.
Εκατομμύρια άνθρωποι χρησιμοποιούν chatbots για συζητήσεις που μπορεί να γίνουν βαθιά προσωπικές.
Η μεγάλη παγίδα της «συμφωνίας» με τον χρήστη
Τα μεγάλα γλωσσικά μοντέλα έχουν σχεδιαστεί ώστε να είναι χρήσιμα.
Να ακολουθούν οδηγίες.
Να συνεχίζουν μια συζήτηση.
Να ολοκληρώνουν ένα task.
Αυτή ακριβώς η τάση μπορεί να μετατραπεί σε πρόβλημα όταν ο στόχος του χρήστη είναι επικίνδυνος.
Ένα μοντέλο μπορεί να αναγνωρίζει ότι κάτι δεν πηγαίνει καλά, αλλά η τάση του να παραμένει helpful να το οδηγεί ταυτόχρονα στην εκτέλεση ενός αιτήματος που θα έπρεπε να αντιμετωπιστεί διαφορετικά.
Γι’ αυτό το επόμενο βήμα στην AI safety δεν είναι απλώς καλύτερα φίλτρα σε συγκεκριμένες λέξεις.
Είναι καλύτερη κατανόηση προθέσεων και context σε βάθος χρόνου.
Δεν υπάρχει «τέλειο chatbot»
Η Schwettmann προειδοποιεί ότι η πλήρης εξάλειψη των αποτυχιών δεν αποτελεί ρεαλιστικό στόχο.
«Πάντα θα υπάρχουν αποτυχίες. Αυτά τα συστήματα θα αλληλεπιδρούν πάντα με τους χρήστες με τρόπους που μας εκπλήσσουν», είπε.
Το κρίσιμο, σύμφωνα με την ίδια, είναι διαφορετικό:
«Ο τρόπος να το λύσεις δεν είναι να δημιουργήσεις το τέλειο μοντέλο, αλλά να μπορείς να προβλέπεις αυτές τις αποτυχίες και τις ακραίες περιπτώσεις εκ των προτέρων».
Αυτό μετατοπίζει ολόκληρη τη συζήτηση για την ασφάλεια.
Το ζητούμενο δεν είναι ένα AI system που δεν θα κάνει ποτέ λάθος.
Είναι ένα σύστημα αξιολόγησης που θα ανακαλύπτει τις επικίνδυνες συμπεριφορές πριν τις συναντήσουν πραγματικοί χρήστες.
Google: «Το Gemini συνεχίζει να βελτιώνεται»
Οι μεγάλες εταιρείες AI δηλώνουν ότι εργάζονται πάνω στο πρόβλημα.
Η senior director της Google Megan Jones Bell ανέφερε ότι η εταιρεία αξιοποιεί στα εργαλεία AI την εμπειρία που έχει αποκτήσει από την παροχή αξιόπιστης πληροφόρησης και πρόσβασης σε υπηρεσίες υποστήριξης.
«Παρότι η τεχνολογία παρουσιάζει νέες προκλήσεις, το Gemini συνεχίζει να βελτιώνεται και είμαστε δεσμευμένοι να διασφαλίσουμε ότι θα διαδραματίζει θετικό ρόλο στην ευημερία των ανθρώπων», ανέφερε.
Το ίδιο το γεγονός ότι OpenAI, Anthropic και Google συνεργάστηκαν με την ανεξάρτητη αξιολόγηση της Transluce δείχνει ότι τα frontier labs αντιμετωπίζουν πλέον το συγκεκριμένο πεδίο ως κεντρικό ζήτημα AI safety.
Η Transluce ανοίγει τα εργαλεία της
Το επόμενο βήμα μπορεί να έχει ακόμη μεγαλύτερη σημασία.
Η Transluce σχεδιάζει να κάνει open-source τα εργαλεία αξιολόγησης μέχρι το τέλος του έτους.
Αυτό θα μπορούσε να επιτρέψει σε ερευνητές, εταιρείες και ανεξάρτητους οργανισμούς να πραγματοποιούν παρόμοια tests σε περισσότερα μοντέλα.
Και η μεθοδολογία δεν προορίζεται μόνο για αυτοκτονικό ιδεασμό ή ψυχικές κρίσεις.
Η Transluce εξετάζει την εφαρμογή της και σε άλλους ευαίσθητους τομείς, όπως:
διατροφικές διαταραχές,
επιβλαβής χειραγώγηση,
πολιτική πειθώ.
Η ίδια τεχνολογία που μπορεί να μετρήσει εάν ένα chatbot αντιλαμβάνεται ότι ένας χρήστης βρίσκεται σε κρίση μπορεί επομένως να χρησιμοποιηθεί για ένα πολύ ευρύτερο ερώτημα:
πότε ένα AI system σταματά να βοηθά και αρχίζει να επηρεάζει επικίνδυνα τον άνθρωπο απέναντί του;
Το επόμενο μεγάλο τεστ της AI δεν είναι η νοημοσύνη – Είναι η κρίση
Τα τελευταία χρόνια η τεχνολογική βιομηχανία μέτρησε την πρόοδο της AI με benchmarks μαθηματικών, προγραμματισμού, reasoning και επιστημονικών γνώσεων.
Η συγκεκριμένη έρευνα δείχνει ότι υπάρχει μια πολύ διαφορετική κατηγορία ικανότητας που μπορεί να αποδειχθεί εξίσου σημαντική.
Η κρίση.
Ένα chatbot μπορεί να είναι εξαιρετικό στο reasoning και ταυτόχρονα να μην αντιλαμβάνεται ότι ένα φαινομενικά αθώο αίτημα αποκτά επικίνδυνη σημασία εξαιτίας όσων έχουν ειπωθεί 20 μηνύματα νωρίτερα.
Και όσο περισσότερο οι άνθρωποι χρησιμοποιούν AI ως συνομιλητή, σύμβουλο ή συναισθηματικό στήριγμα, τόσο σημαντικότερη γίνεται αυτή η ικανότητα.
Η νέα αξιολόγηση της Transluce δείχνει ότι η πρόοδος είναι πραγματική.
Τα σημερινά μοντέλα είναι λιγότερο πιθανό να παράγουν ορισμένες από τις πιο ξεκάθαρα επικίνδυνες συμπεριφορές των προηγούμενων γενεών.
Αλλά αποκαλύπτει ταυτόχρονα το επόμενο μεγάλο σύνορο της AI safety:
δεν αρκεί η μηχανή να αναγνωρίζει τις επικίνδυνες λέξεις. Πρέπει να καταλαβαίνει πότε ο άνθρωπος πίσω από τις λέξεις βρίσκεται σε κίνδυνο – και να αλλάζει ανάλογα τη συμπεριφορά της.
Πηγή: pagenews.gr