Η τεχνητή νοημοσύνη έχει ταυτιστεί τα τελευταία χρόνια με γιγαντιαία μοντέλα, δισεκατομμύρια εικόνες και υπολογιστική ισχύ που «καίει» ενέργεια ολόκληρης πόλης. Κι όμως, ο ανθρώπινος εγκέφαλος μαθαίνει να αναγνωρίζει πρόσωπα, αντικείμενα και σκηνές με πολύ λιγότερα ερεθίσματα και σε πολύ λιγότερο χρόνο. Τώρα, μια νέα μελέτη από το Πανεπιστήμιο Johns Hopkins δείχνει ότι ο τρόπος που είναι «χτισμένο» ένα δίκτυο μπορεί από μόνος του να του δώσει εντυπωσιακές ικανότητες – ακόμη και πριν εκπαιδευτεί με νέα δεδομένα.
Η έρευνα, που δημοσιεύτηκε στο περιοδικό Nature Machine Intelligence, υποστηρίζει ότι η αρχιτεκτονική ενός νευρωνικού δικτύου –δηλαδή η δομή και η οργάνωση των στρωμάτων και των συνδέσεών του– μπορεί να είναι εξίσου, αν όχι πιο, σημαντική από την ίδια τη διαδικασία εκπαίδευσης. Με απλά λόγια: αν το «σχέδιο» μοιάζει περισσότερο με τον ανθρώπινο εγκέφαλο, το σύστημα ξεκινά από πολύ καλύτερη αφετηρία.
Από την εποχή του «ρίξε κι άλλα δεδομένα» σε μια πιο έξυπνη σχεδίαση
«Αυτό που κάνει σήμερα η βιομηχανία της τεχνητής νοημοσύνης είναι να πετάει τεράστιες ποσότητες δεδομένων στα μοντέλα και να χτίζει υπολογιστικές υποδομές που καταναλώνουν ενέργεια όσο μια μικρή πόλη» εξηγεί, σε δηλώσεις του, ο Μικ Μπόνερ, επίκουρος καθηγητής γνωσιακής επιστήμης και πρώτος συγγραφέας της μελέτης. «Την ίδια στιγμή, οι άνθρωποι μαθαίνουν να βλέπουν χρησιμοποιώντας ελάχιστα δεδομένα».
Η ομάδα του Johns Hopkins θέλησε να εξετάσει την υπόθεση ότι η εξέλιξη δεν έφτιαξε τυχαία τη συγκεκριμένη αρχιτεκτονική του ανθρώπινου εγκεφάλου: ίσως η ίδια η δομή του δίνει ένα ισχυρό προβάδισμα στη μάθηση. Αν αυτό ισχύει, τότε ίσως τα συστήματα ΑΙ μπορούν να γίνουν πολύ πιο αποδοτικά όχι με ακόμη περισσότερα δεδομένα, αλλά με πιο «εγκεφαλικό» σχεδιασμό.
Τρία είδη δικτύων, δεκάδες παραλλαγές
Οι ερευνητές επικεντρώθηκαν σε τρεις βασικούς τύπους νευρωνικών δικτύων που χρησιμοποιούνται ευρέως σήμερα:
-
τους μετασχηματιστές (transformers), τη βάση των μεγάλων γλωσσικών μοντέλων,
-
τα πλήρως συνδεδεμένα δίκτυα,
-
και τα συνελικτικά νευρωνικά δίκτυα (convolutional neural networks – CNNs), που κυριαρχούν στην αναγνώριση εικόνας.
Πάνω σε αυτά τα τρία «οικοδομικά υλικά» δημιούργησαν δεκάδες παραλλαγές, τροποποιώντας συστηματικά τη δομή τους: το βάθος, την οργάνωση των στρωμάτων, τον τρόπο που «βλέπουν» τον χώρο στις εικόνες. Στόχος ήταν να διερευνηθεί αν κάποιες αρχιτεκτονικές μορφές φέρνουν το δίκτυο πιο κοντά στον τρόπο που επεξεργάζεται τις εικόνες ο ανθρώπινος εγκέφαλος.
Στη συνέχεια, τα μοντέλα κλήθηκαν να ερμηνεύσουν εικόνες αντικειμένων, ανθρώπων και ζώων. Οι αποκρίσεις τους –δηλαδή τα εσωτερικά μοτίβα ενεργοποίησης των νευρώνων– συγκρίθηκαν με μοτίβα εγκεφαλικής δραστηριότητας που είχαν καταγραφεί από ανθρώπους και πιθήκους κατά την έκθεσή τους στις ίδιες εικόνες. Με αυτόν τον τρόπο, οι ερευνητές μπορούσαν να μετρήσουν πόσο «εγκεφαλικά» σκεφτόταν κάθε αρχιτεκτονική.
Η έκπληξη: τα συνελικτικά δίκτυα λάμπουν… χωρίς εκπαίδευση
Τα αποτελέσματα δεν ήταν ίδια για όλους τους τύπους δικτύων. Στους μετασχηματιστές και τα πλήρως συνδεδεμένα δίκτυα, οι τροποποιήσεις στην αρχιτεκτονική δεν έφεραν θεαματικές αλλαγές. Αντίθετα, στα συνελικτικά νευρωνικά δίκτυα, ακόμη και σχετικά απλές τροποποιήσεις στη δομή τους οδήγησαν σε εντυπωσιακή βελτίωση της ομοιότητας με τη δραστηριότητα του ανθρώπινου εγκεφάλου.
Το πιο εντυπωσιακό εύρημα ήταν ότι ορισμένα από αυτά τα συνελικτικά δίκτυα, πριν καν εκπαιδευτούν με νέα δεδομένα, παρουσίασαν επιδόσεις στην αναγνώριση εικόνων συγκρίσιμες με συμβατικά συστήματα ΑΙ που έχουν «δει» δισεκατομμύρια εικόνες. Με άλλα λόγια, μόνο και μόνο επειδή είχαν «σωστά» σχεδιασμένη αρχιτεκτονική, ξεκινούσαν ήδη από ένα πολύ υψηλό επίπεδο.
Αυτό έρχεται σε αντίθεση με την κυρίαρχη άποψη πολλών ειδικών της ΑΙ, ότι ο όγκος των δεδομένων εκπαίδευσης είναι ο βασικός –αν όχι ο μοναδικός– μοχλός βελτίωσης. «Αν η εκπαίδευση σε τεράστιους όγκους δεδομένων ήταν πράγματι ο καθοριστικός παράγοντας, δεν θα έπρεπε να υπάρχει τρόπος να πλησιάσουμε ένα σύστημα ΑΙ που μοιάζει στον εγκέφαλο μόνο μέσω αρχιτεκτονικών τροποποιήσεων» σημειώνει ο Μπόνερ.
Γιατί αυτό έχει σημασία για το μέλλον της τεχνητής νοημοσύνης
Τα ευρήματα της μελέτης ανοίγουν έναν εντελώς διαφορετικό δρόμο από την κούρσα «μεγαλύτερο μοντέλο – περισσότερα δεδομένα». Αν η σωστή αρχιτεκτονική μπορεί να δώσει στα δίκτυα ένα ισχυρό «αβαντάζ» πριν καν αρχίσει η κλασική εκπαίδευση, τότε η μάθηση μπορεί να γίνει πολύ πιο γρήγορη και πολύ πιο αποδοτική από πλευράς ενέργειας και κόστους.
Αυτό θα μπορούσε να οδηγήσει σε συστήματα ΑΙ που μαθαίνουν από μικρούς όγκους δεδομένων, πιο κοντά στον τρόπο που μαθαίνουν τα παιδιά: βλέποντας λίγα παραδείγματα και γενικεύοντας γρήγορα. Σε πρακτικό επίπεδο, κάτι τέτοιο είναι κρίσιμο για εφαρμογές όπου δεν υπάρχουν διαθέσιμα εκατομμύρια δείγματα – όπως σε σπάνιες ιατρικές απεικονίσεις, σε ρομποτικά συστήματα που πρέπει να προσαρμόζονται σε πραγματικό χρόνο ή σε έργα όπου η συλλογή δεδομένων είναι δύσκολη, ακριβή ή ηθικά ευαίσθητη.
Παράλληλα, η στροφή της προσοχής προς την αρχιτεκτονική φέρνει πιο κοντά τον διάλογο μεταξύ νευροεπιστημών και τεχνητής νοημοσύνης. Όσο καλύτερα κατανοούμε πώς οργανώνεται ο ανθρώπινος εγκέφαλος στην όραση, τη μνήμη και τη λήψη αποφάσεων, τόσο πιο στοχευμένα μπορούμε να σχεδιάζουμε δίκτυα που «δανείζονται» αυτές τις αρχές, αντί να βασίζονται αποκλειστικά στην ωμή κλιμάκωση.
Προς ένα νέο πλαίσιο βαθιάς μάθησης, εμπνευσμένο από τη βιολογία
Η ομάδα του Μπόνερ δεν σταματά στην αρχιτεκτονική. Το επόμενο βήμα είναι η ανάπτυξη απλών, βιολογικά εμπνευσμένων αλγορίθμων μάθησης, οι οποίοι θα ταιριάζουν καλύτερα με αυτά τα «εγκεφαλικά» δίκτυα. Αν, δηλαδή, δεν αλλάξουμε μόνο το πώς είναι χτισμένο ένα δίκτυο, αλλά και το πώς μαθαίνει, μπορεί να οδηγηθούμε σε ένα νέο παράδειγμα βαθιάς μάθησης, πιο κοντά στον τρόπο λειτουργίας του ανθρώπινου εγκεφάλου.
Το διακύβευμα είναι μεγάλο: συστήματα ΑΙ που δεν χρειάζονται πια υπολογιστικά κέντρα–τέρατα για να εκπαιδευτούν, αλλά μπορούν να μαθαίνουν πιο λιτά, πιο «έξυπνα» και συχνά πιο δίκαια, όταν τα δεδομένα είναι περιορισμένα ή ευαίσθητα. Σε μια εποχή που η κατανάλωση ενέργειας των μεγάλων μοντέλων και το αποτύπωμά τους γίνονται όλο και πιο έντονα ζητήματα, η βιολογία ίσως αποδειχθεί ο καλύτερος σύμμαχος για την επόμενη γενιά τεχνητής νοημοσύνης.
Πηγή: Pagenews.gr