Китайские ученые обучили нейросеть превращать речь в пение

Группа исследователей из Поднебесной научила нейросеть из речи человека делать пение. Алгоритм может также производить и обратный процесс – из песни делать устную речь.

Сложностью подготовки нейросети к работе с пением является недостаточное количество данных для процесса обучения, ведь всем известно, что успехи нейросетей зависят не от особенностей их архитектуры, а от количества изученного материала. Чтобы обойти это ограничение, ученые из Китая использовали алгоритм для создания говорящей головы диктора из текста, и приспособили его для работы с пением. Оказалось, что достаточно было двух пакетов данных от двух ученых, где каждый 90 минут пел и около 28 часов разговаривал.

Нейросеть обучилась, и затем показала результаты в 3,65 балла по похожести на натуральное пение и 3,8 балла по реалистичности при проверке работы системы на 14 добровольцах.