Как запустить DeepSeek-V3 на мини-ПК: кластерная стратегия Bosgame M5 AI

Запуск мощных нейросетей, таких как DeepSeek-V3, традиционно ассоциируется либо с колоссальными затратами на облачные сервисы, либо с покупкой серверного оборудования уровня Nvidia H100. Однако компания Bosgame предложила нестандартный путь, показав, что для работы с моделью на 671 млрд параметров достаточно масштабируемого кластера из семи мини-ПК M5 AI.

Вместо сервера — кластер

Решение построено на объединении ресурсов семи мини-компьютеров M5 AI, работающих под управлением процессора AMD Ryzen AI Max+ 395 (архитектура Strix Halo). Основная ставка в этом чипе сделана на мощную интегрированную графику и высокую пропускную способность памяти, что крайне важно для работы LLM. Каждое устройство в топовой комплектации оснащено 128 ГБ оперативной памяти.

Характеристики кластера

Инновация Bosgame заключается в использовании технологии USB4 Direct Connection, которая позволяет объединить несколько устройств в связный вычислительный комплекс без дорогостоящей сетевой архитектуры.

Технические характеристики распределенной системы:

• Общий объем унифицированной памяти: 896 ГБ.
• Объем памяти, доступный для нужд GPU: до 672 ГБ.
• Отсутствие специализированного серверного охлаждения: устройства работают в стандартном офисном режиме.

Цена

Ценообразование на компоненты системы претерпело изменения. Если ранее один компьютер M5 AI оценивался в 1 700 USD (68 475 грн), то на текущий момент стоимость возросла до 2 800 USD (112 748 грн). Повышение цен эксперты связывают с дефицитом чипов AMD серии Strix Halo.

Данный вариант подходит разработчикам, ставящим приоритетом конфиденциальность данных и желание создать локальный ИИ-инфраструктурный стек. Несмотря на рост цены, использование мини-ПК M5 AI обходится значительно дешевле профессиональных серверных GPU-стойки, позволяя масштабировать мощности поэтапно: от одного узла до полноценного кластера.