Nvidia розробила ШІ-модель Fugatto для створення реалістичних звуків

Nvidia представила новий генеративний експериментальний ІІ під назвою Foundational Generative Audio Transformer Opus 1 (Fugatto), який позиціонується як універсальний інструмент для роботи зі звуком. Ця модель здатна як створювати нові аудіофайли на основі текстових підказок, так і змінювати існуючі музичні, голосові та звукові записи.

Розробка Fugatto велася міжнародною командою дослідників, що дозволило зробити модель адаптивнішою до різних акцентів та мов. Рафаель Валле, менеджер прикладних аудіодосліджень Nvidia, підкреслив, що головною метою було створити модель, яка розуміє та генерує звук так, як це роблять люди.

Застосування Fugatto:

• Музична індустрія: створення прототипів пісень з можливістю редагування стилю, інструментів чи голосів.
• Навчання мов: генерація освітніх матеріалів з налаштуванням голосу на перевагу користувача.
• Відеоігри: створення динамічних звукових ефектів, які адаптуються до вибору та дій гравців.
• Складні композиції: поєднання команд для генерації унікальних ефектів, наприклад, сердитий голос з акцентом або спів птахів на тлі грози.

Fugatto може виконувати завдання, яким не навчалася безпосередньо завдяки налаштуванню. Наприклад, створювати звуки, що змінюються з часом, такі як наростаючий шум дощу.

Незважаючи на інновації, Nvidia поки не розкриває, чи стане Fugatto доступним для широкої аудиторії. Це підкреслює конкурентну боротьбу у сфері генеративного аудіо: схожі технології вже представлені Meta (їхній інструмент генерує звуки за текстовими описами) та Google з моделлю MusicLM, яка перетворює текст на музику.