Bonsai 27B: новая ИИ-модель работает прямо на iPhone 17 Pro Max без облака

Стартап PrismML представил мультимодальную модель Bonsai 27B, способную полноценно работать на смартфоне Apple iPhone 17 Pro Max без необходимости подключения к облачным серверам. Это важный шаг в области локальной обработки данных с использованием ИИ.

Bonsai 27B — это специализированная модель, созданная на базе архитектуры Qwen3.6 27B. Она поддерживает широкий спектр задач, включая работу с текстом, распознавание изображений, программирование, вызов инструментов и выполнение многоэтапных инструкций.

Технические характеристики и вес модели

Инженеры PrismML значительно оптимизировали вес модели, чтобы она могла функционировать в оперативной памяти мобильного устройства:

• Бинарная версия (1 бит): объем составляет всего 3,9 ГБ.
• Тернарная версия (1,58 бит): обеспечивает лучшее качество, занимая 5,9 ГБ памяти.

Для сравнения: стандартная 16-битная модель аналогичного уровня требовала бы около 54 ГБ дискового пространства и ОЗУ.

Производительность на устройствах

На текущий момент компания приводит следующие замеры скорости генерации:

• iPhone 17 Pro Max: около 11 токенов в секунду.
• Mac с чипом M5 Max: до 87 токенов в секунду.
• Видеокарта NVIDIA GeForce RTX 5090: до 163 токенов в секунду.

Важно учитывать, что базовые показатели 3,9 ГБ касаются только «языковой» части. При работе с визуальным контентом необходимо дополнительно 0,6–0,9 ГБ под специальный модуль. Суммарно, запуск модели с учетом контекста в 4000 токенов потребляет около 5,9 ГБ памяти на iPhone.

Точность работы

Согласно собственным тестам PrismML, оптимизированные версии показывают высокую эффективность по сравнению с эталонной моделью Qwen3.6 27B:

• Бинарная версия сохраняет до 90% точности.
• Тернарная версия демонстрирует до 95% эффективности (по 15 ключевым бенчмаркам).

Версии и доступность

Модель не является готовым приложением для рядового пользователя. Она функционирует на устройствах Apple благодаря модифицированной среде MLX. Веса и инструменты для развертывания уже выложены в открытый доступ на платформе Hugging Face под лицензией Apache 2.0.