Microsoft предобучила MAI-Base-2 с 2,8 трлн параметров

Подробно

Что известно о модели MAI-Base-2?

Microsoft AI выпустила корпоративный технический отчёт в формате Lab Notes вместе с PDF-документом. Это не рецензируемая научная статья, и авторы поимённо не указаны. В посте сказано:

Недавно мы завершили предобучение нашей новой передовой модели MAI-Base-2 - базовой MoE-модели с 80 млрд активных и 2,8 трлн параметров всего.

Согласно отчёту, у модели 102 слоя и скрытая размерность 8704. MoE-блок стоит в каждом слое. Каждый токен обрабатывают один общий и семь маршрутизируемых экспертов из пула в 512. Предыдущая модель MAI-Base-1 работала только с текстом. MAI-Base-2 с самого начала училась работать и с изображениями: у неё encoder-free VLM-архитектура, то есть отдельного визуального энкодера нет.

CEO Microsoft AI Мустафа Сулейман в соцсети X округлил размер модели до класса 3 трлн параметров:

Теперь у нас есть передовые предобученные базовые модели в весовой категории 3 трлн параметров, полностью созданные внутри MAI. Результаты постобучения - совсем скоро, следите за новостями!

Точное значение по техническому отчёту - 2,8 трлн параметров. В заголовке SiliconANGLE указано «2T parameters», но в тексте самой статьи и в первоисточнике речь идёт о 2,8 трлн.

Сколько вычислений ушло на обучение MAI-Base-2?

Финальный запуск шёл 38 дней в августе и сентябре 2026 года на 16 000 GPU Nvidia GB200. Если перемножить эти числа, получится 608 000 GPU-дней, или около 14,6 млн GPU-часов. Это расчёт редакции по опубликованным данным, сама Microsoft такую величину не называла.

Другие показатели запуска, по данным компании:

• средняя утилизация вычислительной мощности модели (MFU) - 21%; расчёт идёт от теоретического максимума GB200 в 2,5 PFLOPS при BF16, без FLOPs рематериализации и оптимизатора;
• goodput, то есть доля времени, когда обучение действительно продвигалось, - 89%;
• MFU MoE-слоёв после оптимизаций выросла с 24% до 35%. Поэтому MoE удалось поставить в каждый слой, а не чередовать с плотными FFN-блоками, как в MAI-Base-1;
• оптимизатор Muon после доработки занимал 2,1% среднего времени итерации, то есть 165 мс. Теоретический минимум Microsoft оценила в 55 мс.

Кроме Muon, который применялся к основным двумерным параметрам, кроме embeddings, использовался AdamW. Также в рецепт входили схема MXFP8 E4M3, раздельные (untied) embeddings и одновременное clipping градиентов весов и активаций. Microsoft описала dropless MoE: токены не отбрасываются, а переполненные эксперты обрабатывают избыток в дополнительных раундах при фиксированном расходе памяти.

Суммарное число FLOPs финального запуска, энергопотребление и стоимость обучения Microsoft не раскрыла.

На каких данных обучали MAI-Base-2?

Горизонт предобучения составил 50 трлн токенов, у MAI-Base-1 было 30 трлн. Уникальных обучающих данных, по подсчёту Microsoft, стало примерно на 36% больше. Срез знаний веб-части корпуса - март 2026 года.

Уникальных токенов в визуально-языковом корпусе 4,5 трлн. С учётом повторов VLM-данные заняли 18% смеси, то есть около 9 трлн токенов обучающего потока. В корпус вошли пары «изображение - текст» и документы, где текст чередуется с изображениями. Microsoft перечисляет такие задачи: описание изображений, понимание графиков, visual grounding, пространственное мышление, медицинские материалы, работа с компьютерными интерфейсами и чтение нот.

Веб-данные собирал собственный краулер Microsoft. По словам компании, он соблюдает robots.txt и ограничения в HTML и meta-тегах. Из сбора исключены источники, которые нарушают политики Microsoft Responsible AI или входят в список USTR Notorious Markets. В отчёте говорится:

Наше предобучение построено на органических данных и не предполагает дистилляции из других моделей.

Это заявление разработчика. Перечень источников, лицензии и независимый аудит корпуса не опубликованы.

Как MAI-Base-2 выступила против DeepSeek-V4-Pro-Base и других моделей?

Базовые модели Microsoft сравнивала по метрике bits per byte (BPB): чем ниже значение, тем лучше. Компания считает, что BPB меньше зависит от различий между токенизаторами. Результаты на четырёх закрытых наборах:

• код: MAI-Base-2 - 0,2203; Kimi K3 - 0,2264; DeepSeek-V4-Pro-Base - 0,2370; Qwen3.8-2.4T-A95B - 0,2400; MAI-Base-1 - 0,2401; MiMo-V2.6-Pro-RL - 0,2446;
• вопросы и ответы: MAI-Base-2 - 0,4162; Kimi K3 - 0,4269; DeepSeek-V4-Pro-Base - 0,4351; Qwen3.8 - 0,4427; MAI-Base-1 - 0,4440; MiMo-V2.6-Pro-RL - 0,4513;
• STEM: MAI-Base-2 - 0,3653; Kimi K3 - 0,3761; DeepSeek-V4-Pro-Base - 0,3968; MiMo-V2.6-Pro-RL - 0,3975; Qwen3.8 - 0,3978; MAI-Base-1 - 0,4026;
• математика: MAI-Base-2 - 0,3561; Kimi K3 - 0,3589; Qwen3.8 - 0,3752; MiMo-V2.6-Pro-RL - 0,3803; DeepSeek-V4-Pro-Base - 0,3862; MAI-Base-1 - 0,3939.

По итогам Microsoft заявила:

MAI-Base-2 превосходит все модели с открытыми весами, которые мы протестировали на наших отложенных оценочных наборах.

У этих результатов есть важные оговорки. Кодовый тест собран на собственной кодовой базе MAI. STEM-, математический и Q&A-наборы Microsoft заказала у внешних поставщиков, чтобы снизить риск утечки заданий в обучающие данные. Компания говорит, что проверила все наборы на пересечение с обучающими данными. Однако имена поставщиков, сами задания, размер выборок и порядок проверки она не раскрыла. Кроме того, базовым checkpoint из внешних моделей была только DeepSeek-V4-Pro-Base. Kimi K3, Qwen3.8-2.4T-A95B и MiMo-V2.6-Pro-RL сравнивались уже после постобучения, и Microsoft сама признаёт, что оно могло повлиять на их BPB. Результатов на публичных бенчмарках вроде SWE-bench, AIME, GPQA или MMMU пока нет.

Правда ли, что MAI-Base-2 в 4-12 раз эффективнее DeepSeek?

Эта цифра относится не к самой MAI-Base-2 и не к стоимости её обучения. Она описывает эффективность рецепта предобучения. Microsoft построила четыре кривые scaling law, связывающие BPB с объёмом вычислений, и оценила, сколько FLOPs потребовалось бы её рецепту, чтобы выйти на результат DeepSeek-V4-Pro-Base. Получилось в 12,3 раза меньше на коде, в 4,2 раза на Q&A, в 8,3 раза на STEM и в 6,6 раза на математике. По сравнению с MAI-Base-1 рецепт, по оценке компании, стал эффективнее в 6,3-12,7 раза.

Кривые строили по scaling ladder - семейству небольших моделей, обученных по одному рецепту. Дополнительно применялся source scaling: в малых запусках число уникальных примеров ограничивали так, чтобы каждый источник повторялся столько же раз, сколько в полном запуске на 50 трлн токенов. То есть это модельная оценка, а не результат двух контролируемых запусков с одинаковым бюджетом. Максимум в 12,3 раза получен на внутреннем кодовом наборе, и повторить этот тест извне нельзя.

Microsoft отдельно отмечает, что финальный запуск MAI-Base-2 потребовал значительно больше FLOPs, чем обучение DeepSeek-V4-Pro-Base: сэкономленные вычисления компания потратила на более крупную модель. Сулейман написал в X:

Законы масштабирования, масштабирование... с накапливающейся эффективностью! На отложенном кодовом наборе мы повторили результат предобученной DeepSeek-V4-Pro-Base, потратив в 12 раз меньше вычислений на обучение.

Сильнее ли MAI-Base-2 модели OpenAI под GPT-5.6 Sol?

Официальный отчёт Microsoft такого утверждения не содержит. Как сообщил Business Insider, Сулейман сказал об этом сотрудникам на общем собрании:

Теперь у нас есть предобученная базовая модель сильнее той, что сейчас лежит в основе GPT 5.6 Sol. Более того, мы потратили четверть вычислений, которые OpenAI использовала для обучения своей модели.

В частном порядке и конфиденциально мы также сравнили её с моделями OpenAI.

По данным издания, для сравнения использовалась техническая информация, которую Microsoft получает в рамках отношений с OpenAI. Среди сравниваемых систем упоминается модель с внутренним прозвищем Spud, связанная с GPT-5.6. Точно ли это название базовой модели GPT-5.6 Sol, неясно, а в отчёте Microsoft оно не встречается. Методику, результаты и данные о вычислениях OpenAI никто не публиковал. Microsoft отказалась от дополнительных комментариев, OpenAI 15 октября не ответила на запрос издания.

Репортёр Business Insider Эшли Стюарт подчёркивает, насколько это заявление чувствительно: Microsoft - крупный инвестор и партнёр OpenAI, но одновременно развивает собственные модели, чтобы меньше зависеть от партнёра.

Когда выйдет MAI-Base-2 и можно ли скачать веса?

На 17 октября 2026 года завершено только предобучение. Модель проходит постобучение и внутреннее тестирование. Публичных весов, API, пользовательского интерфейса, model card, цены, даты выпуска и списка регионов нет. Контекстное окно, скорость генерации, требования к инфраструктуре и показатели безопасности тоже не раскрыты.

Сначала Microsoft планирует настроить на базе MAI-Base-2 модели для собственных продуктов, затем начать работу с клиентами Microsoft Foundry. Компания говорит, что в будущем будет лицензировать веса «доверенным партнёрам» через Foundry, но открыто публиковать их не обещает. Условия лицензии и список партнёров не названы. Пока идёт постобучение MAI-Base-2, Microsoft уже начала готовить следующую базовую модель - MAI-Base-3.

Пользователи из России воспользоваться MAI-Base-2 не могут, как и пользователи из любой другой страны: модель пока не доступна нигде. О будущей географии доступа через Foundry ничего не объявлено.

Как эксперты оценили отчёт о MAI-Base-2?

Главный редактор Constellation Insights Ларри Дигнан обращает внимание не только на эффективность, но и на «танец» вокруг открытости. Microsoft сравнивает закрытую MAI-Base-2 с open-weight-моделями, а сама обещает только лицензировать веса. По его мнению, так появляется категория «open-ish» корпоративных моделей: они не полностью открыты и не обязательно передовые, зато их удобно настраивать на данных компаний.

ML-инженер Mistral Бенжамен Лефодо, который раньше работал в Meta над xFormers и FairScale, назвал отчёт подробным и прозрачным. Он выделил глубину в 102 слоя, encoder-free VLM и точный scaling ladder. При этом ему не хватило более эффективной схемы attention, и он оговорился, что не специализируется на этой архитектуре.

Мария Дойчер из SiliconANGLE напоминает, что MAI-Base-2 пока не готовая пользовательская LLM. Это базовая модель, которой ещё предстоят постобучение, функции рассуждения и защитные механизмы.

Какие собственные модели Microsoft выпускала раньше?

• 28 августа 2025 года Microsoft AI представила свои первые модели: речевую MAI-Voice-1 и текстовую MoE-модель MAI-1-preview. Вторую обучали примерно на 15 000 Nvidia H100 и давали доверенным API-тестировщикам.
• 2 июня 2026 года на Microsoft Build компания анонсировала семь собственных моделей, включая рассуждающую MAI-Thinking-1. В её основе - MAI-Base-1: 1 трлн параметров, 35 млрд активных, предобучение на 8 000 GB200 и 30 трлн токенов плюс mid-training ещё на 3,55 трлн токенов. Тогда же Microsoft объявила стратегию полного собственного стека MAI и распространения моделей через Foundry, OpenRouter, Fireworks и Baseten.
• 12 августа 2026 года MAI-Thinking-1 открылась в Microsoft Foundry в режиме public preview. Контекст - 256 000 токенов, вывод - до 64 000, без SLA и без рекомендаций для production.