Как сообщает издание Hightech, специалисты из Университета Вашингтона провели анализ 14 часов записей речи Барака Обамы и при помощи машинного обучения сгенерировали искусственное видео с его выступлением.
Трансформация записей человеческой речи в видео – задача не из простых. В большинстве случаев полученные результаты несложно отличить от оригинальных, к тому же выглядит такой видеоролик несколько странно, будто реального человека заменили на манекен. Однако американские ученые далеко продвинулись в подобных исследованиях и подготовили действительно правдоподобное видео бывшего президента США, основанное на его настоящих аудиозаписях.
Для создания ролика исследователям понадобилось 14 часов выступлений Обамы, которые были записаны в годы его правления. Аудио поместили в нейронные сети машинного обучения, после чего программа на базе
сначала разработала изображения движений рта экс-президента для каждого слова, а затем наложила их на другие видео с его речью. Чтобы придать ролику больше реалистичности, системе пришлось корректировать положение головы и внешний вид челюсти. Это удалось благодаря загрузке нескольких кадров, где хорошо видны нижние и верхние зубы Обамы.
Программу нельзя назвать идеальной, однако ролик демонстрирует вполне реалистичную мимику в разные периоды машинного обучения. Специалисты не отрицают наличия некоторых ошибок в плане выравнивания черт лица. В частности, периодически на видео появляются два подбородка, а мимика частично пропадает из-за того, что система не меняет положение языка во время произношения английского диграфа «th».
В общем можно сказать, что технология, синхронизирующая мимику, сумела разработать более реалистичный образ человека, нежели это делают другие аналогичные программы. Для сравнения можно привести ролик Alternative Face v1.1 от немецкого разработчика Марио Клингеманна, где певица Франсуаза Арди в 20-летнем возрасте (сейчас ей 73) изображает выступление советницы Дональда Трампа – Келлиэнн Конуэй. Видео было создано генеративной
, основанной на машинном обучении.
