Новый способ обучения ИИ: аудиовизуальное сопоставление без участия человека

Люди легко учатся, связывая изображение и звук. Например, наблюдая за игрой на виолончели, мы понимаем, что движения музыканта создают музыку.

Учёные из Массачусетского технологического института и других мест создали новый способ обучения ИИ, который помогает ему учиться так же. Это может быть полезно для журналистики и кинопроизводства, где ИИ может автоматически находить видео и аудио для создания контента.

Учёные улучшили свою модель ИИ, чтобы она могла сопоставлять аудио и видео без помощи людей. Они изменили способ обучения модели, чтобы она лучше понимала, как кадры видео связаны со звуками. Также они внесли изменения в структуру модели, чтобы она могла лучше работать с двумя задачами одновременно.

Эти улучшения делают модель точнее в поиске видео и распознавании действий в аудиовизуальных сценах. Например, теперь ИИ может автоматически и точно связать звук закрывающейся двери с изображением её закрытия в видео.