Новая модель искусственного интеллекта Stability AI создаёт 3D-ролики по фотографии

Stability AI представила свою новую модель искусственного интеллекта — Stable Virtual Camera, которая, по словам компании, способна превращать 2D-изображения в «захватывающие» видео с реалистичной глубиной и перспективой.

Виртуальные камеры — это мощные инструменты, широко используемые в цифровом кинопроизводстве и 3D-анимации для захвата и навигации по сценам в реальном времени. С помощью Stable Virtual Camera Stability AI стремится интегрировать генеративный ИИ, предоставляя пользователям больше контроля и возможностей для настройки, как указано в блоге компании.

Stable Virtual Camera может создавать «новые виды» сцен из одного или нескольких изображений (до 32) с заданными пользователем углами камеры. Модель способна генерировать видео, которые следуют «динамическим» траекториям камеры или предустановленным маршрутам, таким как «Спираль», «Dolly Zoom», «Перемещение» и «Панорамирование».

Текущая версия Stable Virtual Camera, находящаяся на стадии исследовательского тестирования, может создавать видео с соотношением сторон 1:1 (квадратное), 9:16 (портретное) и 16:9 (альбомное) длиной до 1000 кадров. Однако Stability предупреждает, что в некоторых случаях, особенно с изображениями людей, животных или «динамическими текстурами», такими как вода, качество может быть ниже ожидаемого.

«Сложные сцены, запутанные траектории камеры, пересекающиеся объекты или поверхности, а также объекты неправильной формы могут вызывать мерцающие артефакты», — отмечает Stability в своем блоге, добавляя, что особенно это касается случаев, когда целевые точки обзора значительно отличаются от исходных изображений.

Stability AI, находящаяся в сложной финансовой ситуации, является создателем популярной модели генерации изображений Stable Diffusion. В прошлом году компания привлекла новые инвестиции от таких инвесторов, как Эрик Шмидт и основатель Napster Шон Паркер, стремясь вывести бизнес из кризиса. Сообщается, что соучредитель и бывший генеральный директор Stability, Эмад Мостак, неудачно управлял компанией, что привело к финансовым трудностям, увольнениям сотрудников и краху партнерства с Canva, что вызвало беспокойство инвесторов о будущем компании.