Серверная NVIDIA Tesla V100 неожиданно превзошла RTX 3060 в работе с LLM

Использование профессиональных графических ускорителей прошлых лет становится популярным трендом. Видеокарта NVIDIA Tesla V100, которая на старте продаж стоила 412 500 грн ($10 000), сегодня доступна на вторичном рынке всего за 4 125 грн ($100). Канал Hardware Haven провел детальное тестирование этого устройства в задачах генерации текста с использованием больших языковых моделей (LLM), доказав, что старая архитектура Volta все еще способна конкурировать с актуальными потребительскими решениями вроде RTX 3060.

Серверная мощь для домашнего ПК

Поколение Volta стало важной вехой в истории NVIDIA, как первая архитектура,  специально разработанная для центров обработки данных и нейросетей. Именно здесь впервые появились тензорные ядра, ставшие стандартом для современных вычислений искусственного интеллекта. В свое время эти карты не выпускались в геймерском формате, однако сегодня их можно адаптировать для работы в обычном системном блоке, что делает их крайне привлекательным инструментом для работы с локальными ИИ-моделями.

Технические характеристики NVIDIA Tesla V100

Ниже представлены основные спецификации ускорителя в модификации SXM2, которая принимала участие в тестировании.

Tesla V100 vs RTX 3060 vs RX 7800 XT в LLM

Основным критерием оценки стала скорость генерации токенов в современных языковых моделях. Tesla V100 показала следующие результаты:

• В модели GPT-oss (20b): карта выдала около 130 токенов/сек, существенно опередив современную Radeon RX 7800 XT, результат которой составил около 90 токенов/сек.
• В модели Gemma 4b: профессиональный ускоритель оказался на 42% быстрее популярной GeForce RTX 3060 с 12 ГБ памяти.
• Энергоэффективность: при искусственном ограничении мощности до 100 Вт, Tesla V100 превзошла RTX 3060 по показателю производительности на ватт на 41%.

Финансовые вложения

Хотя сама карта стоит около 4 125 грн ($100), ее запуск в обычном ПК требует дополнительных вложений. Суммарно проект обошелся автору Hardware Haven более чем в 8 250 грн ($200). Основные сложности связаны с форм-фактором SXM2:

• Для подключения потребовался специальный переходник на стандартный слот PCIe.
• Поскольку Tesla V100 имеет пассивное охлаждение, предназначенное для серверных стоек с мощным продувом, пришлось использовать воздуховод, напечатанный на 3D-принтере, и высокооборотистый вентилятор Noctua.

Цена и перспективы

В настоящее время базовая версия на 16 ГБ доступна за 4 125 грн ($100). Однако для работы с более тяжелыми моделями существуют версии с 32 ГБ видеопамяти, стоимость которых варьируется от 16 500 грн ($400) до 20 625 грн ($500). Именно 32-гигабайтные версии энтузиасты планируют тестировать в ближайшем будущем.