Apple показала FastVLM — ИИ-модель, которая может лечь в основу будущих «умных» очков
Apple готовится к выпуску AI-устройств нового поколения, и свежая разработка команды Machine Learning Research может подсказать, каким будет их «ум» под капотом. Речь о FastVLM — визуально-языковой модели, созданной на базе собственного фреймворка MLX, заточенного под Apple Silicon. Эта модель отличается высокой скоростью, компактностью и низкими требованиями к ресурсам, что делает её идеальной для работы прямо на устройстве — без подключения к облаку.
Умные очки и AirPods с камерами: выход в 2027 году?
Слухи о новых носимых гаджетах от Apple — AI-очках и AirPods с камерами — циркулируют уже несколько месяцев. Предполагается, что релиз состоится в 2027 году, и устройства станут прямыми конкурентами Meta* Ray-Ban Smart Glasses. Хотя финальный дизайн пока неизвестен, логика подсказывает: такие гаджеты должны иметь локальные нейросети, способные интерпретировать визуальные данные без задержек.
Что такое FastVLM?
FastVLM (Fast Visual Language Model) — это модель нового поколения, разработанная с учётом специфики Apple Silicon и возможностей фреймворка MLX. Она умеет:
- Распознавать жесты (например, количество пальцев),
- Определять эмоции и эмодзи,
- Читать рукописный текст и символы.
В основе FastVLM лежит энкодер FastViTHD, оптимизированный для работы с изображениями высокого разрешения и минимальной задержкой.
Почему это важно?
- FastVLM работает до 3,2 раза быстрее и в 3,6 раза компактнее аналогичных моделей.
- Время до первого ответа модели (time-to-first-token) — в 85 раз быстрее, чем у конкурентов.
- Модель использует меньше токенов, что снижает нагрузку на систему и ускоряет работу в режиме реального времени.
Это критично для носимых устройств, которым нужно моментально обрабатывать визуальные данные без подключения к облаку — будь то считывание объектов, текста или реакция на жесты пользователя.
MLX — ключ к ИИ на устройствах Apple
В 2023 году Apple представила MLX — фреймворк с открытым исходным кодом, оптимизированный для локального обучения и выполнения моделей на чипах Apple. Его синтаксис близок к привычным AI-инструментам, но при этом он более лёгкий и энергоэффективный — как раз то, что нужно для автономных гаджетов.
Где можно посмотреть?
- Код FastVLM опубликован на GitHub — желающие могут протестировать или интегрировать модель.
- На arXiv доступен технический отчёт, в котором подробно описана архитектура модели и методика оптимизации.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.
