Серверна NVIDIA Tesla V100 несподівано перевершила RTX 3060 у роботі з LLM

Використання професійних графічних прискорювачів минулих років стає популярним трендом. Відеокарта NVIDIA Tesla V100, яка на старті продажів коштувала 412 500 грн ($10 000), сьогодні доступна на вторинному ринку лише за 4 125 грн ($100). Канал Hardware Haven провів детальне тестування цього пристрою у завданнях генерації тексту з використанням великих мовних моделей (LLM), довівши, що стара архітектура Volta все ще здатна конкурувати з актуальними споживчими рішеннями на кшталт RTX 3060.

Серверна потужність для домашнього ПК

Покоління Volta стало важливою віхою в історії NVIDIA, як перша архітектура, спеціально розроблена для центрів обробки даних та нейромереж. Саме тут уперше з’явилися тензорні ядра, які стали стандартом для сучасних обчислень штучного інтелекту. Свого часу ці карти не випускалися у геймерському форматі, проте сьогодні їх можна адаптувати для роботи у звичайному системному блоці, що робить їх надзвичайно привабливим інструментом для роботи з локальними ШІ-моделями.

Технічні характеристики NVIDIA Tesla V100

Нижче представлені основні специфікації прискорювача модифікації SXM2, яка брала участь у тестуванні.

Tesla V100 vs RTX 3060 vs RX 7800 XT в LLM

Основним критерієм оцінки стала швидкість генерації токенів у сучасних мовних моделях. Tesla V100 показала такі результати:

• У моделі GPT-oss (20b): карта видала близько 130 токенів/сек, суттєво випередивши сучасну Radeon RX 7800 XT, результат якої становив близько 90 токенів/сек.
• У моделі Gemma 4b: професійний прискорювач виявився на 42% швидше за популярну GeForce RTX 3060 з 12 ГБ пам’яті.
• Енергоефективність: при штучному обмеженні потужності до 100 Вт, Tesla V100 перевершила RTX 3060 за показником продуктивності на ват на 41%.

Фінансові вкладення

Хоча сама карта коштує близько 4 125 грн ($100), її запуск у звичайному ПК потребує додаткових вкладень. Сумарно проект обійшовся автору Hardware Haven більш ніж 8 250 грн ($200). Основні складнощі пов’язані з форм-фактором SXM2:

• Для підключення потрібен спеціальний перехідник на стандартний слот PCIe.
• Оскільки Tesla V100 має пасивне охолодження, призначене для серверних стійок з потужним продувом, довелося використовувати повітропровід, надрукований на 3D-принтері, та високооборотний вентилятор Noctua.

Ціна та перспективи

Наразі базова версія на 16 ГБ доступна за 4 125 грн ($100). Однак для роботи з більш важкими моделями існують версії з 32 ГБ відеопам’яті, вартість яких варіюється від 16500 грн ($400) до 20625 грн ($500). Саме 32-гігабайтні версії ентузіасти планують тестувати найближчим часом.