Вышла российская танцевальная VR-игра: треки к ней написаны нейросетью Яндекс Музыки
Яндекс Музыка создала саундтрек к экспериментальному проекту Dance Loop VR. Композиции написали музыкальный эксперт Ник Завриев и нейросеть сервиса. Разработчиком VR-игры в популярном у геймеров стиле cardio dance, где игровой процесс совмещен с ритмическими движениями, а процесс прохождения напоминает танец, выступила российская студия Fibrum.
В Dance Loop фантастическое VR-пространство оживает под действием электронной музыки, часть из которой написана нейросетью Яндекс Музыки, а часть – экспертом по электронной музыке Ником Завриевым (Ambidextrous). По сюжету музыка исчезла из нашего мира, и чтобы спасти её игрок отправляется в путешествие по параллельным вселенным, где встречает ячейки данных – ноды. Под определённый ритм, заданный музыкальным треком уровня, игрок разбивает ячейки руками и уворачивается от препятствий-перегрузок. В итоге каждое прохождение уровня больше напоминает танец. Визуально ячейки похожи на идеальные окружности, внутри которых хранится звук. Не случайно название ячеек – ноды – созвучно слову ноты.
Одна из главных уникальных историй внутри создания проекта – взаимодействие музыканта с генеративной музыкой. Для того, чтобы случился симбиоз творчества и технологий, нейросеть Яндекс Музыки написала больше шестидесяти треков. Разработчики игры проанализировали их, отобрали по настроению, выверяли по ритму и звуку. Затем вдохновившись генеративной музыкой и опираясь на мелодику и темп, Завриев написал уже свои работы, ставшие также частью саундтрека игры.
«С генеративной музыкой я довольно хорошо и давно знаком, поэтому когда мне прислали треки для «ориентировки«, я сразу заметил, что это AI. Сам я старался писать так, как AI не напишет, как бы максимально «гуманизированно«. Интересно, почувствуют ли игроки разницу! Хотелось, чтобы мои треки за счёт мелодий звучали бы более эмоционально. Это хоть и танцевальная музыка, но здесь мелодии и гармонии уделяется столько же внимания, сколько и ритму. Когда я уже сел что-то сочинять, у меня в голове был довольно разнородный набор ориентиров – это с одной стороны John B или поздний Jonny L (ритмически), с другой – Squarepusher, Ceephax и пластинки с лейбла Analogical Force (это, я бы сказал, танцевальная музыка «with an intelligent twist«, так всегда хочется звучать), и в плане мелодики – как раз электронная классика. Жарр, Александр Зацепин, Зодиак, что-то такое наивно-романтическое«.
Ник Завриев (Ambidextrous), музыкальный эксперт и автор треков для VR-игры Dance Loop
Чем вдохновлялись создатели игры
Разработчики и дизайнеры черпали вдохновение в научной фантастике середины XX века. Монументальные локации с гигантскими заброшенными динамиками, большое овальное окно, за которым раскинуся бескрайний космос, забытый много десятков лет назад музыкальный мир, непонятные инопланетные существа, напоминающие одновременно Майка Вазовски из «Корпорации монстров« и лангольеров из одноименного фильма, парящие в воздухе и наблюдающие за игроком в процессе прохождения. Одними из главных вдохновителей стали электронный музыкант Жан-Мишель Жарр, а также пионеры электронной музыки группа Tangerine Dream. Синтезаторы, ритмы, футуристичные обложки альбомов – всё это нашло отражение в проекте, получившем образ немного ностальгической ретро-фантастики, в которую можно погрузиться на 20 минут. А нестандартная физика движений позволяет совместить игру, танец и активную фитнес-нагрузку.
Другим источником вдохновения для создателей Dance Loop стали японские игровые автоматы – «неизведанные дебри, малоизвестные для культуры западного и русского мира». «Все оттуда стараются что-то перенять так или иначе, потому что комьюнити там полностью закрытое и точно есть чем вдохновиться. Мы тоже вдохновлялись, потому что японский геймдев задает тенденцию рынка, – говорит креативный директор игры Денис Тимохин. – Допустим, убедились, что круговые махания руками – это классно, что это не «высосано из пальца». У нас, например, нет большой тестовой группы танцоров, но эти механики используют японцы, в том числе именно в автоматах. Так мы поняли, что эти механики точно работают и использовали их уже для нашей игры».
Кроме того, игра – условная геймификация образа «Витрувианского человека» Леонардо Да Винчи. Передвижение рук по окружности перед игроком и небольшие шаги в стороны в точности повторяют некоторые элементы с картины легендарного художника.
«Одно из самых важных в работе над проектом – заложить базу, нерушимую, интересную основу. У нас мир – это научная фантастика. Есть референсы: искусство, книги, музыка, изображения. И обязательно база в плане образов. Мы заложили туда «Витрувианского человека«, потому что для гейм-дизайна такого проекта нужно сначала создать сетку, в рамках которой фигуры будут появляться в нужный момент времени под BPM. Это для игрока они «летят«, а на самом деле просто появляются в нужный момент, в ритм, чтобы их в итоге разбить. Когда мы рисовали эту сетку, было много вариаций. Выбрали работу Да Винчи как основной референс. А еще постарались отразить это визуально в момент настройки шлема перед игрой«.
Денис Тимохин, креативный директор игры Dance Loop VR, студия Fibrum
Генеративная музыка ритмически выверена, в ней нет слов или пауз, которые могли бы отвлечь игрока. По смыслу это набор алгоритмов и сетей глубокого обучения, которые когда-то получили большое количество коротких и связанных звуков в определенном жанре, а потом во время машинного обучения система предполагала, какой звук должен идти дальше. Если она угадывала, то между этими звуками формировалась связь. На основе подобных связей между отдельными элементами мелодии система позже и собирала свой трек.
Так для создания звучаний и подобных связей были использованы партии в самых разных жанрах от рока и хип-хопа до электроники и эмбиента. Десятки тысяч композиций и переходов создают миллионы вариаций разных треков, которые может написать нейросеть.
Вместе с игрой вышел альбом OST Dance Loop VR за авторством Ambidextrous feat. Яндекс Музыка, который уже доступен на сервисе. А в VR-клубах партнёрах подписчики Яндекс Плюс смогут поиграть в Dance Loop бесплатно.
