Стартап Runway AI представил нейросеть Gen 2, способную генерировать по текстовому описанию короткие видеоролики. Так, пользователь может написать, например, «собака бежит по траве», и за несколько минут ИИ-алгоритм изобразит нечто похожее длительностью в 3 секунды. При этом можно дать ему подсказку, загрузив соответствующее изображение.
Пока что не все могут пользоваться новинкой — желающие должны зарегистрироваться на сайте разработчиков и добавить себя в лист ожидания. Модель еще не до конца разобралась, как более точно изображать движущиеся объекты. По словам разработчиков, можно сгенерировать автомобильную погоню, но иногда машины могут просто улететь.
Вдобавок к основной функции Gen 2 способна менять уже готовые видео, накладывая маски, добавлять стилизацию или даже полностью перестраивать картинку. Так, алгоритм смог превратить несколько поставленных на ребро блокнотов в ночной мегаполис. А еще из очень упрощенной 3D-модели возможно сделать почти что кинематографическую картинку и анимировать фотографии.
Сейчас нейросеть тестируют тысячи пользователей. Создатели изучают возможность добавления к генерируемым видео звука, поскольку на данном этапе ИИ-алгоритм создает видео без аудио-сопровождения.