Нейросети и ИИ

Компания Xiaomi официально вошла в сферу больших языковых моделей (LLM), представив MiMo-7B — первую публичную open-source модель, созданную новой командой Big Model Core Team. Модель ориентирована на задачи с высокой когнитивной нагрузкой, такие как математическое рассуждение и генерация кода. По заявлениям компании, MiMo-7B уже превосходит решения от OpenAI и Alibaba в этих областях. Модель с акцентом на эффективность MiMo-7B — это языковая модель с 7 миллиардами параметров. Несмотря на относительно компактный масштаб, Xiaomi утверждает, что она показывает сравнимые результаты с более крупными системами вроде OpenAI o1-mini и Alibaba Qwen-32B-Preview. Все три модели заточены под интеллектуальные задачи, но MiMo-7B выделяется эффективностью. В основе — плотная предобучающая выборка: 200 миллиардов "токенов рассуждения" и в общей сложности 25 триллионов токенов за три фазы обучения. Вместо стандартного предсказания следующего токена Xiaomi использует множественное предсказание токенов, что, по их словам, сокращает время отклика модели без потери качества вывода. Революции в обучении и инфраструктуре На этапе пост-обучения используется комбинация методов обучения с подкреплением и внутренних оптимизаций. Xiaomi внедрила собственный алгоритм Test Difficulty Driven Reward, чтобы решить проблему слабых сигналов награды при решении сложных задач. Также применена техника Easy Data Re-Sampling, стабилизирующая обучение. С точки зрения инфраструктуры, компания разработала систему Seamless Rollout для сокращения времени простоя GPU в процессе обучения и валидации. В результате, по внутренним данным Xiaomi, скорость обучения выросла в 2,29 раза, а производительность на этапе валидации — почти в 2 раза. Эта система также поддерживает стратегии инференса, включая предсказание нескольких токенов в среде vLLM. MiMo-7B: четыре версии и открытый доступ Модель доступна в четырёх версиях: Base — чисто предобученная модель SFT — вариант, дообученный на размеченных данных RL-Zero — RL-модель, обученная с нуля RL — улучшенный RL-вариант на базе SFT с максимальной точностью Согласно внутренним тестам Xiaomi, версия MiMo-7B-RL достигает 95,8% на бенчмарке MATH-500 и более 68% на датасете AIME 2024. В коде модель набирает 57,8% на LiveCodeBench v5 и около 50% на v6. В задачах общего знания (DROP, MMLU-Pro, GPQA) модель показывает результат в пределах 50–60%, что достойно для модели с 7B параметрами. MiMo-7B уже доступна на Hugging Face под открытой лицензией. Документация и контрольные точки модели опубликованы на GitHub.

Нейросети и ИИ

Xiaomi представила свой первый открытый ИИ — MiMo-7B

FutureHouse представляет инструменты искусственного интеллекта, которые, по их утверждениям, способны ускорить научные исследования

Google Gemini может появиться на iPhone уже в 2025 году

OpenAI отключили GPT-4 на фоне проблем и отката GPT-4o

Duolingo удвоил количество языковых курсов с помощью ИИ

OpenAI откатила обновление ChatGPT после жалоб на «слишком вежливый» ИИ

OpenAI бросает вызов Google: новые функции поиска и покупок в ChatGPT