Категории Железо

Tesla V100 за $100 оказалась быстрее RTX 3060 в LLM

Tesla V100 за $100 оказалась быстрее RTX 3060 в LLM

Nvidia Tesla V100, ускоритель образца 2017 года, внезапно напомнил, зачем серверные GPU вообще существовали. В домашней сборке за сумму около $235 эта карта обошла GeForce RTX 3060 12 ГБ и Radeon RX 7800 XT 16 ГБ в задачах локального запуска языковых моделей, хотя на бумаге перед нами древний дата-центровый модуль без нормального потребительского сценария.

Сюрприз здесь только для тех, кто продолжает мерить ИИ видеокартами из игровых обзоров. Для инференса LLM гораздо чаще упираешься в память и ее пропускную способность, чем в то, сколько кадров карта рисует в Cyberpunk. У Tesla V100 память HBM2 с пропускной способностью около 900 ГБ/с. У RTX 3060 этот показатель около 360 ГБ/с, у RX 7800 XT примерно 624 ГБ/с. Разница уже сама объясняет, почему старый серверный кремний еще огрызается.

Как Tesla V100 обошла RTX 3060 и RX 7800 XT

Тесты провел автор Hardware Haven, собрав систему на базе Tesla V100 SXM2. В GPT-oss 20B карта выдала около 130 токенов в секунду против примерно 90 токенов/с у Radeon RX 7800 XT. В Gemma4:e4b старая Nvidia показала около 108 токенов/с, тогда как RTX 3060 12 ГБ держалась на уровне 76 токенов/с.

Еще интереснее картина выглядела при ограничении мощности до 100 Вт. V100 сохранила лидерство и по скорости генерации, и по эффективности в токенах на ватт. Для карты, которой восемь лет, это хороший щелчок по носу потребительскому сегменту, где маркетинг давно продает «ИИ-функции», а реальную пользу в локальных моделях часто дает банальная ширина канала памяти.

  • Tesla V100: 16 ГБ HBM2, около 900 ГБ/с
  • GeForce RTX 3060 12 ГБ: GDDR6, около 360 ГБ/с
  • Radeon RX 7800 XT 16 ГБ: GDDR6, около 624 ГБ/с

Есть и еще одна причина. V100 построена на архитектуре Volta, а это одно из первых поколений Nvidia с тензорными ядрами, созданных именно под вычисления. В играх такая карта давно музейный экспонат. В матричной математике и инференсе она стареет заметно медленнее.

Читайте также:

Сколько стоит домашняя сборка с Tesla V100

Сам ускоритель на вторичке можно найти примерно за $100, но на этом аттракцион дешевого ИИ заканчивается. Версия SXM2 не вставляется в обычный PCIe-слот, поэтому автору понадобились адаптер SXM-to-PCIe, отдельное питание и самодельное охлаждение с 3D-печатным воздуховодом. В сумме вышло около $235.

Этот нюанс многое меняет. Tesla V100 не имеет видеовыходов, требует возни с совместимостью и ведет себя как железо, которое никогда не планировали продавать энтузиастам с отверткой и свободным вечером. PCIe-версии V100 существуют, но обычно стоят дороже. А более доступные Tesla P40 на 24 ГБ хоть и популярны у любителей локальных LLM, по скорости ощутимо уступают V100.

  • ускоритель Tesla V100 SXM2
  • адаптер SXM-to-PCIe
  • отдельное питание
  • кастомное охлаждение

Для каких LLM Tesla V100 еще подходит

Версия на 16 ГБ выглядит здравым вариантом для локального запуска квантованных моделей уровня 7B, 8B и части 20B-конфигураций, если пользователь готов мириться с самосбором. Здесь V100 попадает в редкую нишу: новая игровая карта за те же деньги обычно проще в установке, но почти всегда слабее по объему памяти или по пропускной способности. Поэтому вторичный серверный сегмент в 2026 году неожиданно стал местом, где можно купить больше ИИ-пользы за меньшие деньги.

Версии Tesla V100 на 32 ГБ на вторичке сейчас просят $400-500.

Источник: Ixbt
Опубликовано:
Елизавета Добровольская