Bonsai 27B: нова ШІ-модель працює прямо на iPhone 17 Pro Max без хмари
19.07.26
Стартап PrismML представив мультимодальну модель Bonsai 27B, яка здатна повноцінно працювати на смартфоні Apple iPhone 17 Pro Max без необхідності підключення до хмарних серверів. Це важливий крок у галузі локальної обробки даних з використанням ШІ.
Bonsai 27B – це спеціалізована модель, створена на базі архітектури Qwen3.6 27B. Вона підтримує широкий спектр завдань, включаючи роботу з текстом, розпізнавання зображень, програмування, виклик інструментів та виконання багатоетапних інструкцій.
Технічні характеристики та вага моделі
Інженери PrismML значно оптимізували вагу моделі, щоб вона могла функціонувати в оперативній пам’яті мобільного пристрою.
- Бінарна версія (1 біт): обсяг складає всього 3,9 ГБ.
- Тернарна версія (1,58 біт): забезпечує кращу якість, займаючи 5,9 ГБ пам’яті.
Для порівняння: стандартна 16-бітна модель аналогічного рівня вимагала б близько 54 ГБ дискового простору та ОЗП.
Продуктивність на пристроях
На даний момент компанія наводить такі виміри швидкості генерації:
- iPhone 17 Pro Max: близько 11 токенів за секунду.
- Mac з чіпом M5 Max: до 87 токенів за секунду.
- Відеокарт NVIDIA GeForce RTX 5090: до 163 токенів за секунду.
Важливо враховувати, що базові показники 3,9 ГБ стосуються лише «мовної» частини. Працюючи з візуальним контентом необхідно додатково 0,6–0,9 ГБ під спеціальний модуль. Сумарно, запуск моделі з урахуванням контексту 4000 токенів споживає близько 5,9 ГБ пам’яті на iPhone.
Точність роботи
Згідно з власними тестами PrismML, оптимізовані версії показують високу ефективність порівняно з еталонною моделлю Qwen3.6 27B:
- Бінарна версія зберігає до 90% точності.
- Тернарна версія демонструє до 95% ефективності (за 15 ключовими бенчмарками).
Версії та доступність
Модель не є готовою програмою для рядового користувача. Вона функціонує на пристроях Apple завдяки модифікованому середовищу MLX. Вага та інструменти для розгортання вже викладені у відкритий доступ на платформі Hugging Face під ліцензією Apache 2.0.
Не пропустіть цікаве!
Підписуйтесь на наші канали та читайте анонси хай-тек новин, тестів та оглядів у зручному форматі!
Огляд смартфона Oppo A6 Pro: амбітний
0 
Новий смартфон Oppo A6 Pro – середнячок з функціональністю смартфонів преміум-класу. Виробник наділив його кількома характеристиками, властивими більш дорожчим телефонам. Але не обійшлось і без компромісів. Як саме збалансований Oppo A6 Pro – розповімо в огляді.
Активне шумозаглушення в навушниках-вкладишах: як Oppo навчилася прибирати шум
0 
Навушники-вкладиші залишаються одним із найбільш затребуваних форм-факторів завдяки невеликій вазі. Однак така конструкція вважається однією з найскладніших для впровадження активного шумоподавлення (ANC). Розкажемо, як завдання вирішила компанія Oppo
Забута Nokia N95 повертається: HMD працює над смартфоном-слайдером
HMD Global планує відродити культовий форм-фактор слайдера, спираючись на напрацювання скасованого прототипу Nokia N95 2020 року.
Від катастрофи до успіху: No Man’s Sky відзначає 10-річчя
No Man’s Sky святкує своє 10-річчя, перетворившись зі скандального проекту на одну з найбільш шанованих ігор в індустрії.