Prvi u svijetu, neinvazivni sistem, koji se koristi vještačkom inteligencijom, može pretvoriti misli u tekst zahtijevajući od korisnika samo to da nose odgovarajuću kapu.
Australski istraživači, koji su razvili tehnologiju nazvanu DeWave, testirali su proces koristeći podatke od više od dvadeset ispitanika.
Učesnici su čitali u sebi noseći kapu koja je snimala njihove moždane valove putem elektroencefalograma (EEG) i dekodirala ih u tekst.
Uz daljnje usavršavanje, DeWave bi mogao pomoći pacijentima s moždanim udarom i paralizom da komuniciraju i olakšati ljudima upravljanje mašinama kakve su bioničke ruke ili roboti.
“Ovo istraživanje predstavlja pionirski napor u prevođenju neobrađenih EEG valova direktno na jezik, što označava značajan napredak u ovoj oblasti”, kaže informatičar Chin-Teng Lin s Tehnološkog univerziteta u Sydneyu (UTS).
Iako je DeWave postigao samo nešto više od 40 posto tačnosti, ovo je poboljšanje od tri posto u odnosu na prethodni standard za prevođenje misli iz EEG snimaka.
Cilj istraživača je da poboljšaju preciznost na približno 90 posto, što je u rangu s konvencionalnim metodama jezičnog prevođenja ili softvera za prepoznavanje govora.
Druge metode prevođenja moždanih signala na jezik zahtijevaju invazivne operacije za implantaciju elektroda ili glomazne, skupe aparata za magnetnu rezonancu, što ih čini nepraktičnim za svakodnevnu upotrebu – i često moraju pratiti rad očiju kako bi pretvorili moždane signale u riječi.
Kada nečije oči prelaze od jedne riječi do druge, razumno je pretpostaviti da mozak pravi kratku pauzu između obrade svake od riječi. Prevođenje neobrađenog EEG talasa u riječi – bez praćenja rada očiju da bi se ukazalo na odgovarajuću ciljnu riječ – mnogo je teže.
Moždani valovi različitih ljudi ne stvaraju na isti način pauze između riječi, što predstavlja izazov za vještačku inteligenciju kako da tumači pojedinačne misli.
Nakon opsežne obuke, DeWaveov enkoder pretvara EEG valove u kod koji se zatim može upariti s određenim riječima na osnovu toga koliko su blizu unosima u DeWaveovom “šifarniku”.
Lin i njegov tim koristili su jezičke modele koji su uključivali kombinaciju sistema zvanog BERT i GPT i testirali ga na postojećim skupovima podataka kod ljudi kod kojih je korištena metoda praćenja rada očiju i aktivnost mozga dok su čitali tekst.
Ovo je pomoglo sistemu da nauči da uskladi obrasce moždanih valova s riječima, a zatim je DeWave dodatno osposobljen s velikim jezičkim modelom otvorenog koda koji u suštini pravi rečenice od riječi.
Prevođenje glagola je mjesto gdje se DeWave najbolje pokazao. Imenice su, s druge strane, bile prevedene kao parovi riječi koje znače istu stvar, a ne kao tačni prijevodi, kao što je, naprimjer, “čovjek” umjesto “autor”.
”Mislimo da je to zato što kada mozak obrađuje ove riječi, semantički slične riječi mogu proizvesti slične obrasce moždanih valova”, kaže koautor istraživanja Yiqun Duan, informatičar iz UTS-a.
“Uprkos izazovima, naš model daje značajne rezultate, usklađujući ključne riječi i formirajući slične strukture rečenica.”
Relativno velika testirana veličina uzorka pokazuje da distribucije EEG valova kod ljudi uveliko variraju, što sugerira da je istraživanje pouzdanije od ranijih tehnologija koje su testirane samo na vrlo malim uzorcima.
Ima još posla, a signal je prilično bučan kada se EEG signali primaju preko kapice umjesto elektroda ugrađenih u mozak.
“Prevođenje misli direktno iz mozga je vrijedan, ali izazovan poduhvat koji zahtijeva znatne kontinuirane napore”, pišu autori istraživanja.
