Οι νευροεπιστήμονες διδάσκουν υπολογιστές για να διαβάζουν λέξεις απ 'ευθείαν των ανθρώπων.
Η Kelly Servick, που γράφει για την επιστήμη, ανέφερε αυτή την εβδομάδα σε τρία άρθρα που δημοσιεύθηκαν στον διακομιστή preprint bioRxiv στον οποίο τρεις διαφορετικές ομάδες ερευνητών απέδειξαν ότι θα μπορούσαν να αποκωδικοποιήσουν την ομιλία από τις καταγραφές των νευρώνων που πυροδοτούν. Σε κάθε μελέτη, τα ηλεκτρόδια που τοποθετήθηκαν απευθείας στον εγκέφαλο κατέγραψαν νευρική δραστηριότητα, ενώ οι ασθενείς με χειρουργική επέμβαση στον εγκέφαλο άκουσαν ομιλία ή διαβάστηκαν δυνατά λόγια. Στη συνέχεια, οι ερευνητές προσπάθησαν να καταλάβουν τι ακούστηκαν ή έλεγαν οι ασθενείς. Σε κάθε περίπτωση, οι ερευνητές ήταν σε θέση να μετατρέψουν την ηλεκτρική δραστηριότητα του εγκεφάλου σε τουλάχιστον κάπως κατανοητά αρχεία ήχου.
Το πρώτο άρθρο, που δημοσιεύτηκε στο bioRxiv στις 10 Οκτωβρίου 2018, περιγράφει ένα πείραμα στο οποίο οι ερευνητές έπαιξαν ηχογραφήσεις σε ασθενείς με επιληψία που βρίσκονταν στη μέση της χειρουργικής επέμβασης στον εγκέφαλο. (Οι νευρικές εγγραφές που ελήφθησαν στο πείραμα έπρεπε να είναι πολύ λεπτομερείς για να ερμηνευτούν και αυτό το επίπεδο λεπτομέρειας είναι διαθέσιμο μόνο στις σπάνιες περιπτώσεις όπου ο εγκέφαλος εκτίθεται στον αέρα και τα ηλεκτρόδια τοποθετούνται πάνω του απευθείας, .)
Καθώς οι ασθενείς άκουσαν τα αρχεία ήχου, οι ερευνητές κατέγραψαν νευρώνες που πυροδότησαν στα τμήματα των εγκεφάλων των ασθενών που επεξεργάζονται τον ήχο. Οι επιστήμονες δοκίμασαν μια σειρά από διαφορετικές μεθόδους για να μετατρέψουν τα δεδομένα των νευρωνικών πυροδοτήσεων σε ομιλία και διαπίστωσαν ότι η "βαθιά εκμάθηση" - στην οποία ένας υπολογιστής προσπαθεί να λύσει ένα πρόβλημα λίγο-πολύ χωρίς επιτήρηση - δούλεψε καλύτερα. Όταν έκαναν τα αποτελέσματα μέσω ενός φωνοκωδικοποιητή, ο οποίος συνθέτει ανθρώπινες φωνές, για μια ομάδα 11 ακροατών, τα άτομα αυτά μπόρεσαν να ερμηνεύσουν σωστά τις λέξεις 75 τοις εκατό του χρόνου.
Μπορείτε να ακούσετε ήχο από αυτό το πείραμα εδώ.
Το δεύτερο έγγραφο, που δημοσιεύτηκε στις 27 Νοεμβρίου 2018, βασίστηκε σε νευρικές εγγραφές από άτομα που υποβλήθηκαν σε χειρουργική επέμβαση για την αφαίρεση των εγκεφαλικών όγκων. Καθώς οι ασθενείς διάβασαν δυνατά λόγια με ένα συλλαβισμό, οι ερευνητές κατέγραψαν τόσο τους ήχους που έβγαιναν από τα στόματα των συμμετεχόντων όσο και τους νευρώνες που πυρπολούσαν στις περιοχές παραγωγής των εγκεφάλων τους. Αντί να εκπαιδεύουν βαθιά τους υπολογιστές σε κάθε ασθενή, αυτοί οι ερευνητές δίδαξαν ένα τεχνητό νευρωνικό δίκτυο για να μετατρέψουν τις ηχογραφήσεις σε ήχο, δείχνοντας ότι τα αποτελέσματα ήταν τουλάχιστον λογικά κατανοητά και παρόμοια με τις ηχογραφήσεις των μικροφώνων. (Ο ήχος από αυτό το πείραμα είναι εδώ, αλλά πρέπει να ληφθεί ως αρχείο zip.)
Το τρίτο χαρτί, που δημοσιεύτηκε στις 9 Αυγούστου 2018, βασίστηκε στην καταγραφή του τμήματος του εγκεφάλου που μετατρέπει συγκεκριμένες λέξεις που ένα άτομο αποφασίζει να μιλήσει σε μυϊκές κινήσεις. Παρόλο που καμία εγγραφή από αυτό το πείραμα δεν είναι διαθέσιμη στο διαδίκτυο, οι ερευνητές ανέφεραν ότι ήταν σε θέση να αναδημιουργήσουν ολόκληρες προτάσεις (που καταγράφηκαν επίσης κατά τη χειρουργική επέμβαση στον εγκέφαλο σε ασθενείς με επιληψία) και ότι οι άνθρωποι που άκουσαν τις προτάσεις μπορούσαν να τις ερμηνεύσουν σωστά με πολλαπλή επιλογή δοκιμή (από τις 10 επιλογές) 83 τοις εκατό του χρόνου. Η μέθοδος του πειράματος βασίστηκε στον προσδιορισμό των μοτίβων που χρησιμοποιούνται για την παραγωγή μεμονωμένων συλλαβών, αντί για ολόκληρες λέξεις.
Ο στόχος σε όλα αυτά τα πειράματα είναι ότι μια μέρα θα επιτρέψει στους ανθρώπους που έχουν χάσει την ικανότητα να μιλούν (λόγω αμυοτροφικής πλευρικής σκλήρυνσης ή παρόμοιων συνθηκών) να μιλούν μέσω διεπαφής υπολογιστή-εγκεφάλου. Ωστόσο, η επιστήμη για εκείνη την εφαρμογή δεν υπάρχει ακόμα.
Η ερμηνεία των νευρωνικών μοτίβων ενός ατόμου που φαντάζει μόνο ο λόγος είναι πιο περίπλοκη από την ερμηνεία των μορφών κάποιου που ακούει ή παράγει λόγο, ανέφερε η επιστήμη. (Ωστόσο, οι συντάκτες του δεύτερου εγγράφου δήλωσαν ότι μπορεί να είναι δυνατή η ερμηνεία της εγκεφαλικής δραστηριότητας κάποιας φανταστικής ομιλίας.)
Είναι επίσης σημαντικό να έχετε κατά νου ότι πρόκειται για μικρές μελέτες. Το πρώτο έγγραφο βασίστηκε σε δεδομένα που ελήφθησαν από πέντε μόνο ασθενείς, ενώ το δεύτερο εξέτασε έξι ασθενείς και το τρίτο μόνο τρεις. Και καμία από τις νευρικές ηχογραφήσεις δεν κράτησε περισσότερο από μία ώρα.
Ακόμα, η επιστήμη κινείται προς τα εμπρός και οι συσκευές τεχνητής ομιλίας που συνδέονται άμεσα με τον εγκέφαλο μοιάζουν με μια πραγματική πιθανότητα σε κάποιο σημείο κάτω από το δρόμο.
