Credit: UC Regents
O echipă de oameni de știință de la Universitatea din California, Davis, a creat o proteză neuronală capabilă să traducă instantaneu semnalele cerebrale în sunete, foneme și cuvinte.
Ar putea fi primul pas real pe care îl facem către un tract vocal complet digital.
În aproape toate interfețele creier-calculator (brain-computer interface - BCI) pentru vorbire dezvoltate până acum, propozițiile apar pe un ecran cu o întârziere semnificativă, mult după ce pacientul își formulase mental gândurile. Sinteza vocală are loc abia după ce textul este generat, ceea ce adaugă o întârziere și mai mare.
Cel mai recent sistem de acest tip susținea un vocabular de 125.000 de cuvinte, dar tot eșuează când pacientul încearcă să vorbească într-o limbă diferită sau chiar să rostească, de pildă, un nume neobișnuit de cafenea din apropiere.
Așadar, cercetătorii au conceput proteza pentru a traduce semnalele cerebrale direct în sunete, nu în cuvinte — și să o facă în timp real.
Pacientul care a acceptat să participe la studiu a fost un bărbat de 46 de ani, diagnosticat cu scleroză laterală amiotrofică (ALS). Este grav paralizat și, atunci când încearcă să vorbească, este foarte greu de înțeles (doar 5% din vorbirea lui este inteligibilă).
Cercetătorii i-au implantat 256 de microelectrozi în girusul precentral, o zonă a creierului responsabilă cu controlul mușchilor tractului vocal.
Oamenii de știință au înregistrat activitatea neuronală de la nivelul neuronilor individuali, ceea ce reprezintă cel mai înalt grad de rezoluție posibil pentru informațiile extrase din creier. Semnalele captate de electrozi erau trimise către un algoritm de inteligență artificială numit decodor neuronal, care descifrează semnalele și extrage trăsături ale vorbirii, precum intonația sau sonoritatea. În pasul următor, aceste trăsături erau introduse într-un vocoder — un algoritm de sinteză vocală proiectat să reproducă vocea pe care pacientul o avea înainte de a-și pierde capacitatea de a vorbi. Întregul sistem funcționa cu o latență de aproximativ 10 milisecunde — conversia semnalelor cerebrale în sunete era practic instantanee.
Pacientul poate spune orice își dorește, inclusiv pseudo-cuvinte care nu existau în dicționar sau interjecții. Deoarece sistemul era sensibil la trăsături precum intonația sau prozodia, putea chiar să ridice tonul la sfârșitul propoziției sau să cânte o melodie scurtă.
Totuși, proteza neuronală are și limite.
Problemele au fost identificate pe timpul testului de transcriere deschisă, în care ascultătorii nu aveau la dispoziție variante de răspuns. Rata de eroare a cuvintelor a fost de 43,75%, ceea ce înseamnă că participanții au identificat corect puțin peste jumătate dintre cuvintele înregistrate.
Prin urmare, deși promițătoare, proteza nu este încă suficient de fiabilă pentru a fi utilizată în comunicarea de zi cu zi.
Abstract articol original (Nature):
Brain–computer interfaces (BCIs) have the potential to restore communication for people who have lost the ability to speak owing to a neurological disease or injury. BCIs have been used to translate the neural correlates of attempted speech into text. However, text communication fails to capture the nuances of human speech, such as prosody and the experience of immediately hearing one’s own voice.
Here we demonstrate a brain-to-voice neuroprosthesis that instantaneously synthesizes voice with closed-loop audio feedback by decoding neural activity from 256 microelectrodes implanted into the ventral precentral gyrus of a man with amyotrophic lateral sclerosis and severe dysarthria.
We overcame the challenge of lacking ground-truth speech for training the neural decoder and were able to accurately synthesize his voice. Along with phonemic content, we were also able to decode paralinguistic features from intracortical activity, enabling the participant to modulate his BCI-synthesized voice in real time to change intonation and sing short melodies.
These results demonstrate the feasibility of enabling people with paralysis to speak intelligibly and expressively through a BCI.
Studiul poate fi citit integral în revista Nature.
Sursa: A neural brain implant provides near instantaneous speech
