Французская лаборатория Mistral AI представила предварительную версию модели Large 4 под прозвищем Le Chonk — компания называет её самой мощной в своей линейке. Доступ к ней уже открыт через API, открытые веса разработчик обещает опубликовать до конца октября.
Модель построена на архитектуре Mixture-of-Experts: из 1,05 трлн параметров при обработке запроса задействуется около 49 млрд. Контекстное окно достигает 1 млн токенов, визуальный энкодер содержит 1,6 млрд параметров. Large 4 мультимодальна — работает с текстом, изображениями, графиками и техническими чертежами.
Mistral делает упор на способность модели выполнять последовательности действий — собирать данные, подключать внешние инструменты, писать код и проводить финансовый анализ, позиционируя Large 4 как инструмент для профессиональной работы, а не чат-бота.
В тесте на кибербезопасность Artificial Analysis Cyber Index модель набрала 82% — лучший результат среди протестированных систем, в наборе задач Cybench — 93%. При этом модель отказывается выполнять опасные инструкции.
Обучение Large 4 проходило на 3800 ускорителях Nvidia Grace Blackwell в европейских дата-центрах компании. Mistral планирует развивать на основе Large 4 семейство специализированных моделей для отдельных отраслей.
