Исследователи ИИ разработали новый способ оптимизации параметров. Это должно повысить эффективность многоязычных моделей

Университет Джонса Гопкинса представил инновационный подход к оптимизации многоязычных языковых моделей (MLM), позволяющий значительно снизить их объем без потери производительности. MLM обеспечивают способность генерировать и анализировать тексты на разных языках, но с увеличением количества языков они теряют эффективность из-за «языковой интерференции».

В отличие от традиционных методов, когда для каждого языка создается отдельная нейросеть, ученые используют матрицы с низким рангом. Данный подход позволяет сжать данные и уменьшить количество параметров, необходимых для добавления новых языков в модель.

Как объясняет один из авторов, Хаоран Сюй (Haoran Xu), это аналогично ограниченной цветовой палитре для художника. Вместо того чтобы каждому ученику в классе выделять собственный набор красок, используется общая палитра из трех цветов. Это значительно уменьшает потребность в параметрах масштабирования модели.

Исследователи протестировали свой метод на 95 языках, показав отличные результаты при использовании значительно меньшего количества параметров. Это открывает перспективы для создания компактных и эффективных MLM, отмечают ученые.

По их словам, со временем появятся мобильные приложения с искусственным интеллектом, способные работать на сотнях языков одинаково эффективно. Окончательная цель заключается в применении нового метода сжатия больших MLM без потери их производительности.