Видеокарты Nvidia RTX 20—40 научились обходить ограничение ИИ-вычислений
Модификация рассчитана на задачи ИИ и работу с матрицами. Она может ускорить обработку запросов и генерацию изображений, но результат зависит от нагрузки.
Согласно опубликованным характеристикам Nvidia, у затронутых GeForce операции с накоплением результата в FP32 выполняются с половинной скоростью относительно накопления в FP16. На профессиональные карты поколений Turing и Ampere это ограничение не распространяется. После снятия лимита пиковая производительность тензорных вычислений RTX 4090 может вырасти вдвое, а производительность матричных вычислений RTX 3090 Ti — на 80%.
Открытый проект gpu-unlock разработал пользователь GitHub под именем Zagitta. Он меняет регистры выбора скорости видеокарты. Как сообщает Notebookcheck, модуль ядра Linux запускается до драйвера Nvidia, вносит изменения и перезапускает GPU. Перепрошивать видеокарту или устанавливать изменённый драйвер не требуется. Разработчик опирался на более раннее исследование разблокировки возможностей карт Nvidia CMP для майнинга.
В отдельных тестах прирост заметен. Для RTX 3090 Ti измеренная производительность операций BF16 выросла с 87,5 до 157,4 терафлопс. Один из опубликованных результатов RTX 3090 показал рост производительности с 77,5 до 129,6 терафлопс в матричном умножении BF16 и с 40,2 до 69,8 терафлопс в TF32. Эти числа относятся к конкретным операциям, а не к общей скорости видеокарты.
В прикладных задачах прирост скромнее. Один владелец RTX 3090 сообщил об ускорении обработки запроса с длинным контекстом на 16% при локальном запуске языковой модели. Скорость генерации токенов почти не изменилась: она зависит от пропускной способности памяти. В тестах ComfyUI на RTX 3090 Ti пропускная способность в нескольких задачах с активным использованием BF16 выросла примерно на 47—59%.
Проект gpu-unlock рассчитан на Linux. Экспериментальную версию удалось запустить на RTX 3090 в Windows на одной конкретной системе, но её широкая совместимость не подтверждена. Независимые игровые тесты не выявили прироста частоты кадров. Модификация остаётся экспериментальной, поэтому её установка на основной игровой компьютер сопряжена с риском.
