Нейросеть научилась довольно точно «читать» по губам

Китайские исследователи и их американские коллеги обучили нейросеть понимать то, что сказал человек только по движению его губ. Это далеко не новость, что ИИ способен на подобный фокус, но новая нейросеть умеет «читать» по губам с удивительной точностью.

Ученые из США и Поднебесной применили нестандартное решение, чтобы научить нейросеть «читать» по губам на качественно новом уровне. Если ранее для этого использовались обучающие видеоалгоритмы, которые анализировали кадр за кадром из видеозаписи, то китайские и американские ученые решили применить для анализа видеозаписи алгоритмы, которые изначально создавались для распознавания звуковой дорожки. Адаптировав механизм для работы с изображением, авторы идеи получили довольно мощное средство, которое способно с достаточной точностью «читать» по губам речь человека.

Правда, несмотря на улучшенные показатели, процент ошибок все еще остается довольно высоким – около 31% не уровне букв севернокитайского (мандаринского) языка и примерно 45,5% на уровне букв английского.