В семейство Nemotron 3.5 вошли две локальные модели и более крупная версия для корпоративных сценариев. Она рассчитана на агентов, которые постоянно обрабатывают документы и выполняют многоэтапные задачи. Две модели уже доступны, третья выйдет 23 октября.
Модели можно запускать на серверной инфраструктуре, ПК и периферийных устройствах. Как сообщает Nvidia, они распространяются с открытыми весами. Организации могут дополнительно обучать их на собственных данных и размещать в своей инфраструктуре. Ранее в семействе Nemotron вышла модель Lightning для задач с высокой пропускной нагрузкой; модель Ultra предназначена для сложных задач на рассуждение.
Самая крупная новинка, Nemotron 3.5 Super VL, содержит 120 млрд параметров. Nvidia разрабатывала её совместно с участниками объединения Nemotron Coalition для работы с текстом и изображениями. Модель умеет следовать инструкциям, обращаться к инструментам, проходить многоэтапные рабочие процессы и разбирать визуальную информацию. По оценке самой Nvidia, в задачах такого типа Super VL сопоставима по точности с её крупнейшей моделью для рассуждений при примерно впятеро меньшем числе параметров.
Super VL может работать с документами: распознаёт текст, читает таблицы и графики на веб-страницах, в PDF-файлах и изображениях, а затем использует найденные сведения в дальнейшей работе агента. Nvidia также заявляет, что среди открытых моделей своего класса Super VL выполняет агентные задачи быстрее конкурентов: компания приводит показатель до пяти раз. Это сравнение основано на данных, опубликованных самой Nvidia.
Компании уже адаптируют Super VL под собственные задачи. По данным Nvidia, Scale AI дополнительно обучила модель для агента Skydance, работающего с финансированием поставщиков, и для агента EY, который помогает проверять сделки слияния и поглощения. Другие названные сценарии — анализ кредитных соглашений, финансовых документов и страховых требований. Atlassian, CrowdStrike, Perplexity и Salesforce интегрируют или адаптируют модель для своих продуктов и рабочих процессов.
Для локального запуска Nvidia подготовила две модели Bolt. Nemotron 3.5 Bolt 74B-A9B 24GB рассчитана на выполнение повседневных агентных задач на устройствах с Nvidia RTX и DGX Spark. Благодаря двухбитному квантованию она помещается в 24 ГБ памяти и может работать одновременно с другими приложениями. Пользователь может поручить локальному агенту поиск в интернете, написание текста или отладку кода без отправки этих задач в облако.
Младшая Nemotron 3.5 Bolt E4B 4GB предназначена для голосовых помощников, интерактивных персонажей и интерфейсов устройств. Она рассчитана на диалог в несколько ходов и работу на GeForce RTX, Jetson и RTX/DGX Spark. Её выпуск назначен на более поздний срок, чем модели с 24 ГБ в названии.
Super VL уже доступна через Hugging Face, Open Router, сообщество ModelScope и как микросервис Nvidia NIM. Bolt 74B-A9B 24GB опубликована на Hugging Face; Nvidia указывает поддержку llama.cpp, Ollama, LM Studio, Unsloth и vLLM. Bolt E4B 4GB появится 23 октября. Цены на модели в анонсе не указаны.