Nvidia представила ИИ-модель для создания музыки и изменения голоса
Nvidia продемонстрировала новую модель искусственного интеллекта под названием Fugatto (Foundational Generative Audio Transformer Opus 1), способную генерировать звуковые эффекты, создавать музыку и изменять голос, используя текстовые подсказки. Этот исследовательский проект может кардинально изменить такие отрасли, как музыка, развлечения и услуги перевода. Несмотря на потенциал технологии, Nvidia пока не анонсировала её коммерческий запуск.
Новые горизонты аудиотехнологий
Как пояснил Брайан Катандзаро, вице-президент Nvidia по прикладным исследованиям глубокого обучения, Fugatto объединяет возможности нескольких отдельных моделей. Она может синтезировать речь, добавлять звуковые эффекты к музыке и создавать совершенно новые композиции. Такой подход делает Fugatto аналогом генеративных моделей для изображений и видео, таких как Stable Video Diffusion или Sora.
«Мы можем синтезировать звук с помощью языка, что открывает новые возможности для создания уникального аудио», — отметил Катандзаро.
Fugatto также обладает «эмерджентными свойствами», что означает, что она способна комбинировать обученные элементы и выполнять сложные инструкции. Например, можно загрузить аудиофайл с голосом и перевести текст на другой язык, сохранив оригинальную интонацию. Или превратить простую мелодию в оркестровую композицию.
Потенциал для творчества и споры
Модель может не только читать текст в заданном голосе, но и передавать эмоции, делая звучание более выразительным. Однако, как отметил Катандзаро, результаты работы Fugatto не всегда идеальны, и качество может варьироваться.
Использование подобных технологий вызывает вопросы о влиянии на творческие профессии. Например, голливудские студии уже столкнулись с протестами сценаристов и актёров из-за опасений, что ИИ может заменить их труд. Однако Катандзаро уверен, что Fugatto станет инструментом, расширяющим возможности музыкантов и звукорежиссёров.
«Я надеюсь, что это приведёт к созданию новых инструментов для художников. Аудио всегда было интересной областью для экспериментов», — добавил он.
Fugatto открывает путь к новым формам творчества, как это когда-то сделали гитара для рок-музыки и вертушки для хип-хопа. Однако её влияние на индустрию пока остаётся предметом дискуссий.
