Сбербанк представил нейросеть для генерации видео — Kandinsky Video

Сбербанк объявил о запуске новейшего сервиса Kandinsky Video — нейросеть для создания небольших видеороликов на основе текстового описания, предоставленного пользователем. Это первый сервис такого рода в России.

Kandinsky Video может создавать видеоролики продолжительностью 8 секунд с разрешением 512×512 пикселей, разными соотношениями сторон и частотой кадров 30 кадров в секунду. Нейросеть использует модель Kandinsky 3.0 для генерации сотен кадров, которые плавно переходят друг в друга.

Созданные видеоролики представляют собой непрерывную сцену с движением объекта и фона, отличаясь от анимационных роликов, в которых динамика создается путем моделирования движения камеры по отношению к статичному фону.

Сбербанк сообщает, что Kandinsky Video обучен на базе данных, содержащей 300 000 пар «текст-видео». Генерация короткого видеоролика занимает до трех минут.

В настоящее время сервис доступен ограниченному числу пользователей, но в будущем станет доступен для всех. Пользователи могут оставить заявку в Telegram-боте по ссылке и ждать приглашения. Срок получения приглашения индивидуален.

«Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а уже сегодня представляем модель совершенно другого уровня — первую в России модель по генерации полноценных видеороликов по тексту. Это важный вклад в развитие российских генеративных нейросетей. У пользователей появится ещё больше возможностей для креатива и реализации своих творческих задумок любой направленности. Люди смогут создавать уникальные видеоролики абсолютно бесплатно. Наша модель, как и большинство других в линейке Сбера, будет доступна в open source. Мы верим, что искусственный интеллект сможет открыть перед людьми новые супервозможности и создать инструменты, которыми они будут пользоваться для решения своих задач», — рассказал Александр Ведяхин, заместитель председателя правления Сбербанка.