Microsoft завершила предварительное обучение AI-модели с 2,8 трлн параметров

Microsoft завершила предварительное обучение новой модели искусственного интеллекта MAI-Base-2. По заявлению компании, в ходе тестирования модель превзошла все проверенные модели с открытыми весами, а для достижения результатов, сопоставимых с конкурирующей моделью, ей потребовалось в 12 раз меньше вычислительных ресурсов.

Общий объём MAI-Base-2 составляет 2,8 трлн параметров, однако при выполнении каждой конкретной задачи модель активирует лишь 80 млрд из них. Такой подход, известный как архитектура Mixture-of-Experts, способствует более эффективному использованию вычислительных ресурсов.

По данным Microsoft, согласно четырём различным оценкам, процесс обучения MAI-Base-2 оказался в 4,2–12,3 раза эффективнее с точки зрения использования вычислительных ресурсов по сравнению с DeepSeek-V4-Pro-Base. Кроме того, по сравнению с предыдущей моделью, MAI-Base-1, эффективность методологии обучения выросла в 6,3–12,7 раза.

Для обучения модели Microsoft в течение 38 дней в августе и сентябре использовала 16 000 графических процессоров Nvidia GB200. Данные, использованные при обучении, охватывали около 50 трлн токенов. Количество уникальных токенов по сравнению с MAI-Base-1, выпущенной в июне, выросло примерно на 36%.

По заявлению компании, модель обучалась на оригинальных данных, а не методом переноса знаний от других систем искусственного интеллекта, так называемой дистилляции. Для Microsoft это важное отличие, поскольку в будущем компания рассматривает возможность лицензирования весов модели доверенным партнёрам через Azure AI Foundry.

Улучшение результатов Microsoft связывает с развитием качества данных, архитектуры модели и инфраструктуры обучения. В процесс обучения новой модели компания с самого начала включила и визуальные данные — материалы, связанные с изображениями, составили около 18% обучающих данных.

Выпуск MAI-Base-2 — ещё один шаг в стратегии Microsoft, цель которой — создание собственных передовых AI-моделей и снижение зависимости от внешних поставщиков. Компания развивает собственные модели для интеграции с продуктами и корпоративными пользователями.

На данном этапе Microsoft не назвала дату коммерческой доступности MAI-Base-2 и её стоимость. Модель пока находится на этапе дополнительного обучения и оптимизации, а компания уже готовится и к разработке MAI-Base-3.