Як запустити DeepSeek-V3 на міні-ПК: кластерна стратегія Bosgame M5 AI

Запуск потужних нейромереж, таких як DeepSeek-V3, зазвичай асоціюється або з колосальними витратами на хмарні послуги, або з покупкою серверного обладнання рівня Nvidia H100. Однак компанія Bosgame запропонувала нестандартний шлях, показавши, що для роботи з моделлю на 671 млрд параметрів кластера з семи міні-ПК M5 AI, що досить масштабується.

Замість сервера – кластер

Рішення побудовано на об’єднанні ресурсів семи міні-комп’ютерів M5 AI, які працюють на процесорі AMD Ryzen AI Max+ 395 (архітектура Strix Halo). Основна увага цього чіпа зосереджена на потужній інтегрованій графіці та високій пропускній здатності пам’яті, що надзвичайно важливо для роботи LLM. Кожен пристрій в топовій комплектації оснащений 128 ГБ оперативної пам’яті.

Характеристики кластера

Інновація Bosgame полягає у використанні технології USB4 Direct Connection, що дозволяє об’єднати кілька пристроїв у зв’язковий обчислювальний комплекс без дорогої мережевої архітектури.

Технічні характеристики розподіленої системи:

• Загальний об’єм уніфікованої пам’яті: 896 ГБ.
• Об’єм пам’яті, доступний для потреб GPU: до 672 ГБ.
• Відсутність спеціалізованого серверного охолодження: пристрої працюють у стандартному офісному режимі.

Ціна

Ціноутворення на компоненти системи зазнало змін. Якщо раніше один комп’ютер M5 AI оцінювався в 1700 USD (68475 грн), то на даний момент вартість зросла до 2800 USD (112748 грн). Підвищення цін експерти пов’язують із дефіцитом чіпів AMD серії Strix Halo.

Цей варіант підходить розробникам, які мають пріоритет конфіденційність даних і бажання створити локальний ШІ-інфраструктурний стек. Незважаючи на зростання ціни, використання міні-ПК M5 AI обходиться значно дешевше за професійні серверні GPU-стійки, дозволяючи масштабувати потужності поетапно: від одного вузла до повноцінного кластера.