Adobe сделала общедоступными три аудиоинструмента Firefly: Generate Music, Generate Speech и Generate Sound Effects. Они доступны в веб-версии Firefly на компьютерах и мобильных устройствах.
Перед запуском Adobe провела опрос вместе с Berklee College of Music, чтобы понять, как работают видеокреаторы, музыканты и маркетологи. По данным компании, все респонденты используют музыку в видео, 32,7% уже обращаются к сгенерированной музыке, а 43,2% называют главной преградой юридические и авторские риски. Еще 38,9% указывают на стоимость лицензий.
Generate Music создает оригинальные лицензированные треки под длину и настроение ролика. Adobe говорит, что инструмент может анализировать содержимое видео и предлагать редактируемые подсказки на основе того, что считает лучшим совпадением.
Перед генерацией можно задать темп, энергичность и длительность. После этого сервис выдает четыре варианта на выбор.
Generate Speech превращает сценарий в озвучку, а для голосовой модели можно выбрать собственную разработку Adobe Firefly или ElevenLabs. В этом инструменте также доступны теги выразительности и произношения для отдельных фрагментов текста.
Generate Sound Effects создает звуки под действие, тайминг и динамику контента. Для него можно ввести текстовый запрос или записать голосом референсный звук, который система использует как основу для генерации.
Adobe говорит, что Generate Music создает лицензированный материал, который можно использовать в финальной работе без отдельной подписки на коммерчески безопасную генерацию. По словам компании, инструменты подходят для соцконтента, прямых эфиров, коротких фильмов, продуктовых инструкций и подкаст-клипов.
В Firefly также добавили модель Gemini Omni Flash. Она позволяет задавать запросы с видео, аудио и изображениями вместе с текстом, а затем дорабатывать ролик итеративно. Незадолго до этого компания пополнила набор сторонних моделей Runway Aleph 2.0 и Kling 2.0.
В июне Adobe уже открыла публичную бета-версию Firefly для пяти приложений, переведя генеративные функции в постоянный режим внутри Creative Cloud. Теперь сервис расширился до аудио: к генерации изображений и помощи в приложениях добавились музыка, озвучка и звуковые эффекты.