Сбер открыл Kandinsky WM для обучения роботов на ИИ-видео
Автор: Сбер представил семейство генеративных моделей Kandinsky WM 1.0 для создания видеоданных, которые соблюдают законы физики. Их хотят использовать для обучения систем Physical AI, управляющих роботами, беспилотными автомобилями и промышленной техникой. Модели уже применяют в Центре робототехники Сбера и в институте AIRI.
Разработка нужна там, где не хватает обучающих роликов. Для современных моделей требуются миллионы часов видео, а собрать такие данные трудно и дорого. Kandinsky WM, по словам компании, помогает генерировать редкие и опасные ситуации, которые сложно или невозможно снять в реальности: аварии, сильную непогоду и отказы оборудования.
Характеристики Kandinsky WM
В основе Kandinsky WM лежит Kandinsky 5.0 Video Lite, которую дообучили на нескольких миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов. Разработчики проверяли, чтобы объекты не деформировались, не исчезали и двигались естественно.
- Генерация роликов длительностью около пяти секунд.
- Сцены с манипуляциями с предметами, дорожными манёврами и производственными процессами.
- Дообучение на нескольких миллионах видеозаписей.
- Проверка физической правдоподобности объектов и движения.
Для автомобильных сценариев использовали обучение с подкреплением. Специальные модели оценивали качество роликов и возвращали обратную связь, чтобы улучшать результат генерации.
Где уже используют Kandinsky WM
Kandinsky WM 1.0 уже работает в задачах Центра робототехники Сбера и в развитии дорожного симулятора AIRI. Компания также опубликовала код и веса моделей по открытой лицензии MIT, поэтому разработчики могут использовать их бесплатно.
Сбер называет Kandinsky WM первым шагом к полноформатным моделям мира, которые будут моделировать развитие сцены во времени и работать как симуляторы для обучения роботов. В нынешней версии компания делает ставку на короткие физически корректные ролики, пригодные для задач, где важны движение, столкновения и поведение объектов в кадре.
Источник: www1.ru
