Нейросеть воссоздала движения рук человека по его речи

Ученые из США разработали алгоритм, который может предсказывать движения рук человека по его речи. На основе звукозаписи программа воссоздает анимированную модель. Новое достижение представят на конференции CPVR 2019.

Специалисты из Калифорнийского университета в Беркли создали нейросеть, которая выявляет корреляции между жестикуляцией и речью. Общая длительность обучающего материала, который занесли в базу данных алгоритма, составляет 144 часа. Героями роликов выбрали ведущих, религиозных деятелей и лекторов.

Точность определения движений составляет 44,62%. Предыдущий аналог подобной нейросети прогнозировал жестикуляцию на 5% хуже.