Meta* оптимизировала ИИ-модель Muse Spark Open для Mac Studio с M5 Ultra
Meta* представила Muse Spark Open — модель с открытыми весами для программирования и агентных задач. Для запуска на компьютерах Apple компания использовала последнюю версию MLX, фреймворка Apple для работы с массивами данных.
Muse Spark Open — мультимодальная модель с 816 млрд параметров, из которых 42 млрд активны, и контекстным окном на 1 млн токенов. Meta* позиционирует её для программирования и агентных задач. По заявлению компании, модель подходит для продолжительной работы над ПО и задач, требующих нескольких шагов рассуждения.
Для оптимизации работы на компьютерах Apple Meta* использовала MLX. Этот фреймворк с открытым исходным кодом Apple разработала для архитектуры Apple Silicon с общей памятью. Meta* подготовила Muse Spark Open к запуску на Mac Studio с M5 Ultra с помощью последней версии MLX. Компания называет сочетание модели и компьютера оптимальным способом запускать мощную модель на настольном устройстве.
По данным Meta*, унифицированная память позволяет встроенному графическому процессору M5 Ultra использовать до 512 ГБ на одном Mac Studio. Два компьютера вместе могут вместить модель целиком. Пропускная способность памяти чипа составляет 1,2 ТБ/с. По словам компании, этого достаточно, чтобы быстро считывать небольшой фрагмент данных для обработки каждого токена. Meta* описывает результат как работу двух Mac Studio в роли одного суперкомпьютера с терабайтом унифицированной памяти.
Компания также рассказала о проверке агентных сценариев, которые выполнялись целиком на устройстве с помощью Muse Code на базе Muse Spark Open. В одном тесте модель внесла изменения в Ice Cubes, открытый клиент Mastodon для iOS: исправила ошибки, добавила функции и собрала приложение. В другом случае она работала с DaVinci Resolve от начала до конца, просматривала видео покадрово, находила удачные моменты и кадрировала материал вертикально.
Модель выпустили сегодня, и её веса уже доступны на Hugging Face. Meta* назвала Muse Spark Open самой мощной на тот момент открытой по весам моделью, созданной в США. Apple отдельно рассказала о MLX на своём сайте исследований машинного обучения: фреймворк позволяет исследователям и разработчикам экспериментировать локально с новыми моделями и методами в приватной среде.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.
