Фото: © Mohamed Hassan / фотобанк PxHere

В Калифорнийском университете в Беркли на основе данных внутричерепных электроэнцефалографов разработали методику воссоздания песен, которые недавно прослушал человек. Исследование опубликовано в журнале PLoS Biology, передаёт ТАСС.

«Удивительные результаты наших экспериментов помогут сделать более «музыкальными» и естественными новые нейроинтерфейсы для носителей бокового амиотрофического склероза и других людей, утерявших способность самостоятельно говорить. Эти устройства смогут считывать не только лингвистическое содержимое мыслей, но и интонации и эмоции», – цитирует профессора Калифорнийского университета Роберта Найта пресс-служба вуза.

Десятки современных нейроинтерфейсов, переводящих активность мозга в устную или письменную речь, позволяют общаться инвалидам и немым людям, но не могут передавать эмоции и интонации. Ученым удалось приблизиться к решению этой проблемы во время наблюдения за работой мозга 29 эпилептиков, готовившихся к операциям на очагах приступов: для поиска этих областей в мозг каждого пациента имплантировали более 2,5 тыс. микроэлектродов, чтобы отслеживать изменения мозговой активности в ответ на разные сигналы.

Исследователи заинтересовались использованием этих данных для декодирования речи и музыки, которую слышит человек. Добровольцам было предложено прослушать песню Another Brick in the Wall, Part 1 рок-группы Pink Floyd. Анализ мозговой активности показал, что сигналы верхней височной извилины «синхронизировались» со звучанием композиции.

Была разработана система машинного обучения, позволившая почти полностью восстановить прослушанную песню по данным 346 электродов, подключенных к верхней височной извилине и к связанным с ней регионам мозга. Позже выяснилось, что сигналы можно декодировать, основываясь на данных всего 40 электродов. Был выделен набор нейронов и областей мозга, которые отвечали за восприятие ритма, различение музыкальных инструментов, голосов и определение высоты звука. На основе результатов эксперимента исследователи надеются в дальнейшем создать новое поколение нейроинтерфейсов с возможностью передачи эмоций и интонаций.

Обложка: © Mohamed Hassan / фотобанк PxHere