Дослідники ШІ розробили новий спосіб оптимізації параметрів. Це має підвищити ефективність багатомовних моделей
13.12.23
Університет Джонса Гопкінса представив інноваційний підхід до оптимізації багатомовних мовних моделей (MLM), який дозволяє значно зменшити їхній обсяг без втрати продуктивності. MLM забезпечують здатність генерувати та аналізувати тексти у різних мовах, але зі збільшенням кількості мов вони втрачають ефективність через “мовну інтерференцію”.
У відміну від традиційних методів, коли для кожної мови створюється окрема нейромережа, вчені використовують матриці з низьким рангом. Цей підхід дозволяє стиснути дані та зменшити кількість параметрів, необхідних для додавання нових мов у модель.
Як пояснює один із авторів, Хаоран Сюй (Haoran Xu), це аналогічно обмеженій палітрі кольорів для художника. Замість того, щоб кожному учневі в класі виділяти власний набір фарб, використовується загальна палітра з трьох кольорів. Це значно зменшує потребу в параметрах при масштабуванні моделі.
Дослідники протестували свій метод на 95 мовах, показавши відмінні результати за використання значно меншої кількості параметрів. Це відкриває перспективи для створення компактних і ефективних MLM, зауважують вчені.
За їхніми словами, з часом з’являться мобільні додатки з штучним інтелектом, здатні працювати на сотнях мов однаково ефективно. Остаточна мета полягає в застосуванні нового методу для стиснення великих MLM без втрати їхньої продуктивності.
Не пропустіть цікаве!
Підписуйтесь на наші канали та читайте анонси хай-тек новин, тестів та оглядів у зручному форматі!
Огляд смартфона Oppo A6 Pro: амбітний
0 
Новий смартфон Oppo A6 Pro – середнячок з функціональністю смартфонів преміум-класу. Виробник наділив його кількома характеристиками, властивими більш дорожчим телефонам. Але не обійшлось і без компромісів. Як саме збалансований Oppo A6 Pro – розповімо в огляді.
Огляд ноутбука Acer Nitro Lite 16 (NL16-71G): універсальний та симпатичний
0 
Acer Nitro Lite 16 2025 модельного року отримала цікавий дизайн корпусу, геймерські акценти та перевірені компоненти. Розкажемо про його можливості детальніше
Stop Killing Games створить неурядові організації, що захищають права геймерів у ЄС та США закон ігри
Ініціатива націлена на просування законів проти видавців, які відключають підтримку ігор та фактично позбавляють користувачів доступу до вже куплених продуктів.
Представлені смартфони Nothing Phone (4a) та Nothing Phone (4a) Pro. Подробиці події у світі смартфон
Nothing представила два нових смартфони середнього класу – Nothing Phone (4a) та Nothing Phone (4a) Pro.