(Image credit: Google)
Теперь это стало возможным благодаря новым версиям движков для запуска моделей, рассчитанным на PyTorch.
Для движка инференса SGLang Google подготовила версию, совместимую с PyTorch. Аналогичную версию популярного движка vLLM компания выпустила как открытое ПО. Раньше оба инструмента запускали на TPU через JAX — ИИ-фреймворк Google.
Новые версии позволяют использовать TPU напрямую из PyTorch и в основном обходиться без переписывания кода. Meta* создала PyTorch — фреймворк, широко используемый для разработки ИИ. Google впервые продала TPU внешним клиентам. Теперь эти чипы работают в дата-центрах Meta*.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.
