Beszéd agyhullámokból?

A kísérlet résztvevői súlyos epilepsziás betegek voltak, koponyájukba terápiás céllal ültettek elektródákat (a legsúlyosabb esetekben ezzel a módszerrel keresik meg a rohamokat okozó területet, amit aztán eltávolítanak). Az elektródák az idegsejtek működése által létrehozott ionáramok okozta elektromos potenciálváltozásokat rögzítik, amiket szokás agyhullámoknak is nevezni. Régóta ismert, hogy a mozgatókéregnek nevezett terület felelős az izmok akaratlagos mozgatásáért és így a beszédért is, ezért a terület közelében lévő elektródák jele alapján feltehetőleg meghatározhatók a kimondani kívánt szavak. Ez nagy segítség lenne azoknak a betegeknek, akik a mozgatókéreg és az artikulációs izmok közötti kapcsolat megszakadásából kifolyólag nem képesek beszélni.

A következő agykérgi területeken elhelyezett elektródák jeleit használták a kísérletben: alsó homloki tekervény (IFG), felső halántéki tekervény (STG), az érző- és mozgatókéreg alsó része (vSMC).

Forrás: Forrás: Anumanchipalli és mtsai., 2019 – Nature

A kutatók először megkérték a résztvevőket néhány száz mondat felolvasására. A hangfelvételek alapján következtettek a hangképző szervek aktuális állapotára, ami feltehetőleg közvetlenebb kapcsolatban van a mozgatókéreg által generált jellel. Az így kapott adathalmazon egy tanuló algoritmust tanítottak az agyhullámok és a beszéd közötti szabályszerűségekre. A program végül a tanultak segítségével pusztán az agyhullámok alapján állított elő beszédhangot.

A mesterségesen létrehozott beszédet beavatatlan bírálók próbálták feliratozni. A teljesítményük általában jó volt, bár fontos részlet, hogy előre megadott szavak közül válogathattak. Természetesen minél nagyobb mennyiségű szó állt rendelkezésre, annál nagyobb volt a hibázások száma, illetve nagy volt a változatosság is a bírálók teljesítményében. A mondatok nagy részét még így is közel tökéletesen, a mondat értelmét megőrizve sikerült feliratozniuk, tehát a program meglehetősen pontosan reprodukálta a résztvevők szavait.

A kutatók szerint a rendszer akár már jelen állapotában is használható lenne. A bezártságszindrómás vagy az előrehaladott amiotrófikus laterálszklerózisos betegek számára hatalmas segítség lehet ez a rendszer, bár az nem teljesen biztos, hogy minden betegnél megmarad a mozgatókéreg normális működése (elvileg a mozgatókéreg és az izmok közötti összeköttetést megteremtő mozgatóidegsejtek érintettek ezekben a betegségekben). Még az is kérdéses, hogy a mozgatókéregben létrejövő jelek mennyire általánosak a különböző emberek és a különböző beszélt nyelvek között. A tanulmány  a Nature tudományos lapban jelent meg.

Írta: Reichardt Richárd