Týmu výzkumníků z Kalifornské univerzity v San Franciscu a Berkley se podařilo poprvé, syntetizovat řeč i mimiku z mozkových signálů. Vyvinuli rozhraní mezi mozkem a počítačem, které umožnilo ženě ochrnuté po mozkové mrtvici mluvit prostřednictvím digitálního avataru.
Studie pod vedením doktora Edwarda Changa dokázala možnost dekódování mozkových signálů do řeči spolu s pohyby, které oživují obličej člověka během rozhovoru.“Naším cílem je obnovit plnohodnotnou, ztělesněnou komunikaci, což je pro člověka skutečně nejpřirozenější způsob mluvení s ostatními,“ sdělil doktor Chang.
Počítač místo hlasivek
Vědci implantovali na povrch mozku ženy tenký obdélník s elektrodami na oblastech klíčových pro řeč. Elektrody zachytily mozkové signály, které by před mrtvicí směřovaly do svalů jazyka, čelisti a hrtanu a také do obličeje. Kabel, zapojený do portu připevněného na její hlavě, propojil elektrody s bankou počítačů. Nahradili tak spojení mezi mozkem a hlasivkami, které bylo mrtvice porušila.
Avatara ženy tým animoval pomocí softwaru společností Speech Graphics, který simuluje pohyby svalů obličeje. Ten se propojili se signály vysílanými z mozku. Když se pak žena snažila mluvit pohyby se odráželi na tváři avatara. Pro vytvoření hlasu tým vymyslel algoritmus pro syntézu řeči a přizpůsobil ho tak, aby zněl jako hlas ženy před zraněním. Využil k tomu nahrávku jejího projevu na svatbě.
Umělá inteligence dekóduje slova z fonémů
Účastnice po několik týdnů spolupracovala s týmem na trénování algoritmů, aby umělá inteligence rozpoznala její jedinečné mozkové signály pro řeč. To zahrnovalo opakování různých frází z konverzačního slovníku, dokud se počítač nenaučil vzorce mozkové aktivity spojené s těmito zvuky. Místo toho, aby výzkumníci trénovali umělou inteligenci na rozpoznávání celých slov, vytvořili systém jejich dekódování z fonémů. Při použití tohoto přístupu se počítač musí naučit pouze 39 fonémů, aby rozluštil jakékoli slovo v angličtině. Tím se jednak zvýšila přesnost systému, který je díky tomu také třikrát rychlejší.
„Díky těmto pokrokům jsme mnohem blíže k tomu, aby se toto řešení stalo skutečným řešením pro pacienty,“ komentoval Chang. Důležitým dalším krokem pro výzkumníky je vytvoření bezdrátové verze, která by nevyžadovala fyzické připojení uživatele k rozhraní.
Zdroj: Science Daily