Bonsai 27B: нова ШІ-модель працює прямо на iPhone 17 Pro Max без хмари
19.07.26
Стартап PrismML представив мультимодальну модель Bonsai 27B, яка здатна повноцінно працювати на смартфоні Apple iPhone 17 Pro Max без необхідності підключення до хмарних серверів. Це важливий крок у галузі локальної обробки даних з використанням ШІ.
Bonsai 27B – це спеціалізована модель, створена на базі архітектури Qwen3.6 27B. Вона підтримує широкий спектр завдань, включаючи роботу з текстом, розпізнавання зображень, програмування, виклик інструментів та виконання багатоетапних інструкцій.
Технічні характеристики та вага моделі
Інженери PrismML значно оптимізували вагу моделі, щоб вона могла функціонувати в оперативній пам’яті мобільного пристрою.
- Бінарна версія (1 біт): обсяг складає всього 3,9 ГБ.
- Тернарна версія (1,58 біт): забезпечує кращу якість, займаючи 5,9 ГБ пам’яті.
Для порівняння: стандартна 16-бітна модель аналогічного рівня вимагала б близько 54 ГБ дискового простору та ОЗП.
Продуктивність на пристроях
На даний момент компанія наводить такі виміри швидкості генерації:
- iPhone 17 Pro Max: близько 11 токенів за секунду.
- Mac з чіпом M5 Max: до 87 токенів за секунду.
- Відеокарт NVIDIA GeForce RTX 5090: до 163 токенів за секунду.
Важливо враховувати, що базові показники 3,9 ГБ стосуються лише «мовної» частини. Працюючи з візуальним контентом необхідно додатково 0,6–0,9 ГБ під спеціальний модуль. Сумарно, запуск моделі з урахуванням контексту 4000 токенів споживає близько 5,9 ГБ пам’яті на iPhone.
Точність роботи
Згідно з власними тестами PrismML, оптимізовані версії показують високу ефективність порівняно з еталонною моделлю Qwen3.6 27B:
- Бінарна версія зберігає до 90% точності.
- Тернарна версія демонструє до 95% ефективності (за 15 ключовими бенчмарками).
Версії та доступність
Модель не є готовою програмою для рядового користувача. Вона функціонує на пристроях Apple завдяки модифікованому середовищу MLX. Вага та інструменти для розгортання вже викладені у відкритий доступ на платформі Hugging Face під ліцензією Apache 2.0.
Не пропустіть цікаве!
Підписуйтесь на наші канали та читайте анонси хай-тек новин, тестів та оглядів у зручному форматі!
Огляд смартфона Oppo A6 Pro: амбітний
0 
Новий смартфон Oppo A6 Pro – середнячок з функціональністю смартфонів преміум-класу. Виробник наділив його кількома характеристиками, властивими більш дорожчим телефонам. Але не обійшлось і без компромісів. Як саме збалансований Oppo A6 Pro – розповімо в огляді.
Logitech Signature Comfort Plus Combo MK880: пріоритет на комфорт
0 
Logitech Signature Comfort Plus Combo MK880 – бездротовий набір з клавіатури та миші, в якому акцент зроблений на комфорті під час багатогодинної роботи, причому не лише за рахунок ергономіки корпусу, а й конструктивних доповнень
Перші рендери Samsung Galaxy Tab S12 Ultra: знайомий дизайн та топове залізо
У мережі з’явилися детальні CAD-рендери флагманського планшета Samsung Galaxy Tab S12 Ultra.
Одна реклама – два сенси: у Лондоні висміяли Meta Glasses
У Лондоні активісти розмістили на автобусних зупинках сатиричну рекламу Meta Glasses.