Ученые Калифорнийского университета научили нейросеть распознавать речь

Через десять лет после того, как речь впервые расшифровали по сигналам человеческого мозга, точность и скорость машинного перевода оставляли желать лучшего. Расшифровка была медленнее естественной речи и содержала ошибки.

В своем исследовании ученые из Калифорнийского университета в Сан-Франциско показали, как декодировать электрокортикограмму (запись биопотенциалов коры больших полушарий с помощью кортикальных электродов) с высокой точностью с естественной для речи скоростью, сообщает журнал Nature Neuroscience.

На основе достижений машинного перевода ученые обучали рекуррентную нейронную сеть кодировать последовательность нейронной активности мозга во время произнесения человеком предложений в абстрактный образ, а затем декодировать это, слово за словом, в английское предложение.

В ходе эксперимента каждый его участник наговаривал несколько речевых шаблонов из 30-50 предложений. Одновременно почти 250 электродов, распределенных по периферической коре головного мозга, фиксировали его активность. Нейросеть по алгоритму сопоставляла со звуками речи человека сигналы мозговой активности.

Погрешность декодирования мозговых волн говорящего человека в речь у нейронной сети составила всего 3%.

Напомним, в прошлом году российские специалисты научили ИИ обнаруживать болезнь Альцгеймера. А в Лондоне нейросеть показала, каким могло бы быть изображение обнаженной женщины, обнаруженное под слоями краски на картине Пикассо «Старый гитарист», в завершенном виде.