Нейросеть оживила Достоевского и "Неизвестную" Крамского

Разработчики из "Сколково" совместно с Samsung представили фрагмент своей работы, в которой алгоритм за несколько секунд оживляет портреты. В коротких видео можно посмотреть на говорящих Мону Лизу, Федора Достоевского и Сальвадора Дали.

Ученые уже давно научили искусственный интеллект совмещать и переносить информацию с одного изображения на другое. Уникальность разработки из "Сколково" в том, что они используют всего один кадр - портрет, чтобы получить живое видео. В этом им помогает алгоритм на основе сверхточной нейросети, пишет naked-science.

Алгоритм состоит из трех нейросетей - Embedder, Generator и Discriminator. Нейросети прошли метаобучение, а значит выучили лица и мимику миллиона людей. Теперь нейросети могут оценить границы лица на портрете, его черты и наложить подходящую данному лицу мимику, таким образом оживив статичную картинку.

Ожившие Мэрилин Монро, Альберт Эйнштейн и Сальвадор Дали получились из фотографий. Но алгоритм способен оживить и картины - это доказали говорящие Мона Лиза, Достоевский и "Неизвестная" Крамского.

Сейчас создатели алгоритма работают над устранением искусственности движений.