Mistral Large 4: триллион параметр, ачык салмактар
Mistral AI өзүнүн биринчи триллион параметрлүү модели Mistral Large 4'түн салмактарын жарыялады. Ички чөйрөдө Le Chonk деген ат берилген бул модель — жалпы 1,05 триллион параметри жана ар бир токенге болжол менен 49–52 миллиард активдүү параметри бар, эксперттердин майда бөлүктөргө бөлүнгөн аралаш тутуму. Анын контекст терезеси 1 миллион токенге жетет жана сүрөттөрдү киргизүүгө болот. Бир эле чекпойнт ой жүгүртүүнүн күчтүүлүгүн жөндөө аркылуу тез чат суроолоруна да, узак агенттик иштерге да ылайыкташат; жөндөөнүн төмөн, орто жана жогорку деңгээлдери бар. Модель Mistral компаниясынын Европадагы өз дата-борборлорундагы 3,800 NVIDIA Grace Blackwell GPU'да нөлдөн үйрөтүлгөн. Ал эми модель vega.chat'тын моделдер тизмесинде жана api.vega.chat аркылуу жеткиликтүү.
Бир ай айырма менен чыккан эки релиз
Mistral моделдер реестринде Large 4'түн эки версиясы көрсөтүлгөн: 2026-жылдын 6-октябрындагы жалпыга ачык алдын ала версия, учурда колдонуу мөөнөтү аяктаган деп белгиленген, жана 2026-жылдын 29-октябрындагы акыркы чекпойнт — азыркы активдүү релиз. Hugging Face'теги ачык салмактар 29-октябрдагы версияга туура келет; ал кошумча RL үйрөтүүсү менен жакшыртылган. Алдын ала версия маалында айтылган көрсөткүчтөр, анын ичинде API'нин баштапкы баалары, колдонуу мөөнөтү аяктаган чекпойнтко тиешелүү, азыр жеткиликтүү версияга эмес. Атүгүл расмий документтер барагында дагы 6-октябрь датасы жана Public Preview белгиси турат.
Мурунку флагман Mistral Large 3 2025-жылдын декабрында Mistral 3 үй-бүлөсүнүн курамында чыккан. Мындай көлөмдөгү флагман моделдердин ортосундагы он ай — өтө тез темп.
Архитектура: 675Bден бир триллионго
| Mistral Large 3 | Mistral Large 4 | |
|---|---|---|
| Жалпы параметрлер | 675B | 1.05T |
| Ар бир токенге активдүү параметрлер | 41B | ~49B (эмбеддингдер жана чыгаруу катмарлары менен 52B) |
| Архитектура | Майда бөлүктөргө ажыратылган MoE | Майда бөлүктөргө ажыратылган MoE |
| Көрүү коддогучу | 2.5B | 1.6B, Pixtral стилинде |
| Контекст терезеси | 256k | 1M токен |
| Ой жүгүртүү | жок | төмөн / орто / жогору, демейкиси — жогору |
| Үйрөтүү кластери | 3,000 NVIDIA H200 | 3,800 NVIDIA Grace Blackwell |
| Лицензия | Apache 2.0 | Mistral Ecosystem Open-Weight License |
vLLM командасынын биринчи күнкү баяндамасына ылайык, негизги бөлүгү 128 багытталуучу эксперти (top-4) жана бир жалпы эксперти бар 72 MoE катмарынан турат; жашыруун өлчөмү — 6,144. Көңүл буруу механизми — MLA, анда сейрек DSA индексатору ар бир суроого эң маанилүү 2,048 ачкычты тандайт. Бул миллион токендик контекстти иштетүүнү жеңилдеткен ыкмалардын бири. Pixtral стилиндеги коддогуч ар кандай өлчөмдөгү жана тараптар катышы ар башка сүрөттөрдү кабыл алат; бир суроо-талапта бир нече сүрөт берүүгө болот. Расмий чекпойнттор FP8 жана NVFP4 форматтарында чыгат, экөөндө тең FP8 латенттик KV-кэш колдонулат. Ичине орнотулган DSpark долбоорлоочусу үч жылма терезелүү MLA катмарында спекулятивдүү декоддоону жүргүзүп, ар бир кадамда болжол менен 2.9 токенди кабыл алат жана TP8'де өткөрүү жөндөмүн дээрлик 2 эсеге жогорулатат.
Сейрек активдешүү муну чакан модель кылып көрсөтпөйт. Ар бир токенде ~49B гана параметр иштегени менен, 1.05T салмакты жана KV-кэшти сактоо үчүн бир нече GPU'луу кубаттуу түйүн керек.
Бенчмарктар: күчтүү дооматтар, ар түрдүү жыйынтыктар
Mistral акыркы чекпойнт боюнча билдирген көрсөткүчтөр кагаз жүзүндө күчтүү көрүнөт:
| Бенчмарк | Натыйжа | Эскертүү |
|---|---|---|
| FrontierCode 2.0 | 19.7%, биринчи орун | Cognition компаниясынын жабык, башынан аягына чейинки код жазуу баалоосу |
| AA Coding Agent Index | 48% | Ар бир тапшырмага 47% аз токен колдонуп, GLM-5.3 деңгээлине жакын |
| Terminal-Bench 4.0 | 41% | Алдын ала версиядан +13 пункт, ачык салмактуу моделдер арасындагы алдыңкы көрсөткүч |
| Cyber Index | 51% | Алсыздыктарды таап, кайра чыгарып жана оңдойт |
| Зыяндуу кибер суроо-талаптардан баш тартуу | 96.6% | Mistral маалыматы боюнча, ачык моделдер арасындагы эң жогорку көрсөткүч |
| B3 Agent Security | 97.1% | Алдын ала версиядагы 93.3%дан жогору |
| Finch (финансы, таблицалар) | 73.3% | Ачык салмактуу моделдер арасында Kimi K3'төн кийинки экинчи орун |
| BrowseComp | 84.5% | GLM-5.3 жана DeepSeek Flash 4.1ден жогору |
| Surge Code (адамдардын жашыруун артык көрүүсү) | GLM-5.3, Kimi K3, DeepSeek V4.1 Flash моделдеринен алдыда | Claude Opus 5.5тен гана артта |
Vals AI көз карандысыз лабораториясы ошол эле ачык чекпойнтту өлчөп, башка сандарды алган: Terminal-Bench 4.0'до 26.26% (Mistral көрсөткөн 41%га салыштырмалуу), Vibe Code Bench'те 81.56%, финансы агенттерин баалоодо 61.72% жана Vals Index'те 56.42%. Бул көрсөткүч моделди 30 моделдин ичинен 17-орунга жайгаштырган. Аталышы бирдей бенчмарктын жыйынтыгындагы 15 пункт айырма, адатта, тесттик тутум, куралдар, токен бюджети жана токтотуу шарттары башка болгонун билдирет. Моделдерди салыштырганда конфигурацияларын салыштырыңыз.
MindStudio жүргүзгөн практикалык сыноо дагы бир маанилүү жагдайды көрсөтөт. Агенттик код жазуу боюнча сегиз тапшырмадан модель 80 упайдын 42син алды: Gemma 2B'нин жергиликтүү fine-tune версиясы 10дон 10 упай, үч лифтти симуляциялоо тапшырмасы 9.5 упай алды. Бирок эки тапшырмада модель файлы түзбөй же жооп бербей туруп эле кезегин аяктагандыктан, нөл упай топтоду. Алсыз жагы — ишенимдүүлүк: ошол сыноолордо модель эч нерсе чыгара электе токтоп калган, ошондой эле негизги артефакт бузулган же жок болсо да ишенимдүү угулган жыйынтык бере алат.
Баасы
Акыркы релиздин API баасы — киргизилген миллион токенге $0.70, чыгарылган миллион токенге $2.10; кэштелген киргизүү токендери $0.07 турат. Бул кэштелбеген ар бир токендин баасы боюнча Large 3'төн 40% кымбат, бирок алдын ала версиядагы $1.36 киргизүү жана $4.18 чыгаруу бааларынан кыйла төмөн.
| Large 3 | Large 4 | |
|---|---|---|
| 1M токенге киргизүү баасы | $0.50 | $0.70 |
| Кэштелген киргизүү | ~90% арзандатуу | $0.07 |
| 1M токенге чыгаруу баасы | $1.50 | $2.10 |
Mistral муну натыйжалуулук менен негиздейт: модель агенттик тапшырмаларды атаандаштарга караганда 30–47% аз токен менен бүтүрсө, аткарылган тапшырманын баасы миллион токендин баасынан маанилүүрөөк болот. Кандайдыр бир тыянак чыгарардан мурун муну өзүңүздүн иш жүгүңүздө өлчөп көрүңүз.
Лицензиядагы өзгөчө шарт
Large 4 өзгөртүлгөн MIT лицензиясы болгон Mistral Ecosystem Open-Weight License менен чыгат. Колдонууга, өзгөртүүгө, fine-tune кылууга, таратууга жана коммерциялык пайдаланууга уруксат берилет, бирок бир шарты бар: үчүнчү тараптар киргизүүлөрдү жана параметрлерди олуттуу көзөмөлдөө мүмкүнчүлүгү менен инференс же үйрөтүүдөн кийинки мүмкүнчүлүктөрдү ала турган Model-as-a-Service бизнесин жүргүзгөн компания Mistral'дан өзүнчө коммерциялык лицензия алышы керек. Ички колдонуу жана Mistral'дын өз өнүмдөрү аркылуу колдонуу бул шарттан бошотулат. Large 3'түн Apache 2.0 лицензиясында мындай пункт жок; ошондуктан хостинг кызматын сунуштаган провайдерлер үчүн ал мыйзам жагынан жөнөкөйүрөөк тандоо.
Жайылтуу боюнча эскертүүлөр
vLLM биринчи күндөн тартып колдоону камсыздап, олуттуу инженердик мүмкүнчүлүктөрдүн тизмесин жарыялады. NVFP4 төрт Blackwell GPU'да (же сегиз GPU'да TP8 режиминде) иштейт. Декоддоо контекстинин параллелдүүлүгү латенттик KV-кэшти рангдарга бөлүштүрүп, TP8'де KV сыйымдуулугун болжол менен 7.9 эсеге көбөйтөт. HiSparse KV-кэшти хосттун эс тутумуна чыгарып, GB300 түйүнүнүн KV сыйымдуулугун 1.97M токенден 8.77Mден 11.25Mге чейинки токенге чейин көбөйтөт. SGLang, Transformers жана Docker Model Runner да колдоого алынат. Ал эми моделди өз инфраструктурасына жайгаштырууну каалаган уюмдар үчүн Microsoft Foundry жеке Azure жайгаштыруусун сунуштайт.
Экосистемадагы интеграцияга байланыштуу бир тузак бар: Vercel AI SDK'нин Mistral провайдери Large 4-түн моделдин id'си катуу коддолгон уруксат тизмесинде жок болгондуктан, reasoning_effort параметрин унчукпай алып салып турган. Натыйжада суроо-талаптар ой жүгүртүү режими такыр күйгүзүлбөй жөнөтүлгөн. Ката оңдолуп, регрессиялык тесттер кошулган. Мындан жалпы сабак: ой жүгүртүү жана курал параметрлери моделге чындап жетип жатканын текшериңиз — «SDK Mistral'ды колдойт» дегени бул тууралуу эч нерсени кепилдебейт.
Коопсуздук жана ачык бойдон калган суроолор
Mistral бул релизде коопсуздукка өзгөчө көңүл бурду: зыяндуу кибер суроо-талаптардан баш тартуу көрсөткүчү 96.6%, B3 Agent Security Benchmark'тагы чабуулдарга туруштук берүү көрсөткүчү 97.1%. Ошондой эле компания Orange Cyberdefense сыяктуу өнөктөштөргө пентест жана кызыл команда сыноолору үчүн атайын кибер версиясын катуу келишимдер менен берген. Компания чыныгы трафикке мониторинг жүргүзгөндө модель реалдуу чабуулдардын натыйжалуулугун жогорулатууга көмөк көрсөтүшү мүмкүн экени аныкталганын ачык билдирет; ошондуктан коргоо чаралары улам өркүндөтүлүп жатат. Техникалык документтерде модель жаңылбас болуп иштөөгө арналбаганы жана текшерүүсүз, адам көзөмөлүсүз маанилүү чечимдерде колдонулбашы керектиги эскертилет. MindStudio жыйынтыктары көрсөткөндөй, бул модель коопсуздуктун күчтүү көрсөткүчтөрүнө ээ болгону менен, агенттик тапшырмаларды аягына чыгара албай калышы да мүмкүн.
Large 3 же Large 4
1M контекст, ой жүгүртүү режимдери же агенттик код жазуу жана кибер тапшырмаларындагы эң мыкты ачык салмактуу көрсөткүчтөр керек болсо, ошондой эле жайылтууңуз триллион параметрлүү чекпойнтту иштете алса, Large 4'тү тандаңыз. Токендин баасы же лицензиянын жөнөкөйлүгү маанилүүрөөк болсо, Large 3'тө калыңыз: Apache 2.0 лицензиясында MaaS шарты жок, кэштелбеген токен 40% арзаныраак, ал эми моделдин маалымат барагында NVFP4 форматында A100 же H100 менен бир түйүндө жайгаштыруу көрсөтүлгөн. Large 3'түн да белгилүү алсыз жактары бар: контекст 64kдан ашканда NVFP4 сапаты төмөндөйт жана көз карандысыз сыноолордо куралдарды чакыруу туруктуулугу начарыраак.
Кайсынысын тандабаңыз, 29-октябрдагы чекпойнтту өзүңүздүн чыныгы тапшырмаларыңыз менен сынап көрүңүз, курал чакыруулар иштеп, артефакттар чындап түзүлүп жатканын текшериңиз. Ар бир каттаган көрсөткүчүңүздүн жанында версияны жана үлгү алуу конфигурациясын белгилеп коюңуз. Mistral сунуштаган жөндөөлөр: temperature 1.0 жана top_p 0.95.
Mistral Large 4 vega.chat'тын моделдер тизмесинде жеткиликтүү; иштеп чыгуучулар ага api.vega.chat'тын шайкеш API'си аркылуу кайрыла алышат.