Нейросети и ИИ

Nvidia выпустила бета-версию Personal AI Router для локальной ИИ-фермы

компьютеры кабели соединения сеть светящиеся линии

Nvidia представила бета-версию Personal AI Router, или PAIR, для локальной маршрутизации ИИ-задач через один endpoint. Сервис связывает рабочие процессы приложений и агентов с локальными вычислениями на устройствах Nvidia DGX Spark, системах Windows с RTX и компьютерах на macOS, помогая держать промпты, файлы и контекст агентских задач внутри своей сети.

По данным Nvidia, PAIR находит совместимые машины в локальной сети и собирает их в персональный кластер ИИ-вывода без отдельных кабелей, стоек и сложной настройки. Сервис распределяет запросы между доступными узлами, когда задач становится больше, а ресурсы есть на других устройствах.

Что умеет PAIR

PAIR работает как виртуальный маршрутизатор для локальных ИИ-запросов. Он проксирует совместимые потоки вывода и помогает приложениям и агентам использовать один адрес вместо прямой привязки к отдельной машине.

Nvidia выпустила бета-версию Personal AI Router для локальной ИИ-фермы
Источник изображения: neowin

На старте сервис поддерживает Ollama и LM Studio. Nvidia пишет, что это позволяет запускать PAIR рядом с локальными back-end’ами на Windows, Linux и macOS, при этом приложения получают единый endpoint, а запросы уходят к доступным локальным вычислительным ресурсам.

  • Поддержка локальных ИИ-потоков через один endpoint.
  • Распределение запросов между доступными узлами в сети.
  • Поддержка Ollama и LM Studio на старте.
  • Работа без специальных кабелей, стоек и сложной кластерной настройки.

Совместимые системы и требования

Nvidia перечисляет несколько поддерживаемых конфигураций для PAIR. В список входят Windows 11, DGX OS, Ubuntu 24.04 и macOS Tahoe. Для работы сервиса требуются совместимые устройства из проверенного списка, а для загрузки модели нужна отдельная память.

  • GeForce RTX 20 Series и новее.
  • DGX Spark и GB10.
  • Mac M4 или новее.
  • Рекомендуется 20 ГБ и больше.

На странице продукта также указано, что PAIR можно настроить, добавив устройства в кластер и запустив на них ИИ-приложения и агентов. Сервис уже доступен в бета-версии для загрузки.

Источники: Nvidia, Neowin
Елизавета Добровольская
Автор itzine.ru с 2021 года. Пишет о смартфонах, гаджетах, железе, искусственном интеллекте и космосе — в общем, обо всём, что есть в мире технологий. От новостей о складных флагманах и процессорах до репортажей о культуре и рынке электромобилей. Следит за индустрией внимательно, но без фанатизма.

Оставить комментарий