Дослідники ШІ розробили новий спосіб оптимізації параметрів. Це має підвищити ефективність багатомовних моделей

Університет Джонса Гопкінса представив інноваційний підхід до оптимізації багатомовних мовних моделей (MLM), який дозволяє значно зменшити їхній обсяг без втрати продуктивності. MLM забезпечують здатність генерувати та аналізувати тексти у різних мовах, але зі збільшенням кількості мов вони втрачають ефективність через “мовну інтерференцію”.

У відміну від традиційних методів, коли для кожної мови створюється окрема нейромережа, вчені використовують матриці з низьким рангом. Цей підхід дозволяє стиснути дані та зменшити кількість параметрів, необхідних для додавання нових мов у модель.

Як пояснює один із авторів, Хаоран Сюй (Haoran Xu), це аналогічно обмеженій палітрі кольорів для художника. Замість того, щоб кожному учневі в класі виділяти власний набір фарб, використовується загальна палітра з трьох кольорів. Це значно зменшує потребу в параметрах при масштабуванні моделі.

Дослідники протестували свій метод на 95 мовах, показавши відмінні результати за використання значно меншої кількості параметрів. Це відкриває перспективи для створення компактних і ефективних MLM, зауважують вчені.

За їхніми словами, з часом з’являться мобільні додатки з штучним інтелектом, здатні працювати на сотнях мов однаково ефективно. Остаточна мета полягає в застосуванні нового методу для стиснення великих MLM без втрати їхньої продуктивності.