Nvidia разработала ИИ-модель Fugatto для создания реалистичных звуков

Nvidia представила новый экспериментальный генеративный ИИ под названием Foundational Generative Audio Transformer Opus 1 (Fugatto), который позиционируется как универсальный инструмент для работы со звуком. Эта модель способна как создавать новые аудиофайлы на основе текстовых подсказок, так и изменять существующие музыкальные, голосовые и звуковые записи.

Разработка Fugatto велась международной командой исследователей, что позволило сделать модель более адаптивной к разным акцентам и языкам. Рафаэль Валле, менеджер прикладных аудиоисследований Nvidia, подчеркнул, что главной целью было создать модель, которая понимает и генерирует звук так, как это делают люди.

Применения Fugatto:

• Музыкальная индустрия: создание прототипов песен с возможностью редактирования стиля, инструментов или голосов.
• Обучение языкам: генерация образовательных материалов с настройкой голоса по предпочтению пользователя.
• Видеоигры: создание динамических звуковых эффектов, которые адаптируются к выбору и действиям игроков.
• Сложные композиции: сочетание команд для генерации уникальных эффектов, например, сердитого голоса с акцентом или пения птиц на фоне грозы.

Fugatto может выполнять задачи, которым не обучалась напрямую, благодаря настройке. Например, создавать звуки, меняющиеся с течением времени, такие как нарастающий шум дождя.

Несмотря на инновации, Nvidia пока не раскрывает, станет ли Fugatto доступным для широкой аудитории. Это подчеркивает конкурентную борьбу в сфере генеративного аудио: похожие технологии уже представлены Meta (их инструмент генерирует звуки по текстовым описаниям) и Google с моделью MusicLM, которая преобразует текст в музыку.