Дослідники ШІ розробили новий спосіб оптимізації параметрів. Це має підвищити ефективність багатомовних моделей
13.12.23
Університет Джонса Гопкінса представив інноваційний підхід до оптимізації багатомовних мовних моделей (MLM), який дозволяє значно зменшити їхній обсяг без втрати продуктивності. MLM забезпечують здатність генерувати та аналізувати тексти у різних мовах, але зі збільшенням кількості мов вони втрачають ефективність через “мовну інтерференцію”.
У відміну від традиційних методів, коли для кожної мови створюється окрема нейромережа, вчені використовують матриці з низьким рангом. Цей підхід дозволяє стиснути дані та зменшити кількість параметрів, необхідних для додавання нових мов у модель.
Як пояснює один із авторів, Хаоран Сюй (Haoran Xu), це аналогічно обмеженій палітрі кольорів для художника. Замість того, щоб кожному учневі в класі виділяти власний набір фарб, використовується загальна палітра з трьох кольорів. Це значно зменшує потребу в параметрах при масштабуванні моделі.
Дослідники протестували свій метод на 95 мовах, показавши відмінні результати за використання значно меншої кількості параметрів. Це відкриває перспективи для створення компактних і ефективних MLM, зауважують вчені.
За їхніми словами, з часом з’являться мобільні додатки з штучним інтелектом, здатні працювати на сотнях мов однаково ефективно. Остаточна мета полягає в застосуванні нового методу для стиснення великих MLM без втрати їхньої продуктивності.
Не пропустіть цікаве!
Підписуйтесь на наші канали та читайте анонси хай-тек новин, тестів та оглядів у зручному форматі!
Мишки Logitech: Огляд 6 найкращих моделей
0 
Серії комп’ютерних мишок Logitech охоплюють широкий спектр використання – від кіберспортивних арен до робочих офісів. У нашій добірці представлені шість моделей, що демонструють різні підходи до ергономіки, сенсорних технологій та автономності.
LG UltraGear G8 – 4K монітор з частотою 165 Гц та HDR10 LG монiтор
Монітор LG UltraGear G8 37G800A-B обладнаний двома HDMI 2.1, одним DisplayPort 1.4, USB-C з підтримкою передачі даних та зарядки до 65 Вт
Данія обмежить доступ до соціальних мереж дітям молодше 15 років закон події у світі соціальні мережі
Міністерство цифровізації встановить мінімальний вік для реєстрації та використання низки соціальних мереж