Mistral Large 4: триллион параметр, ашық салмақтар
Mistral AI өзінің триллион параметрлі алғашқы моделі Mistral Large 4 салмақтарын жариялады. Ішкі ортада оған Le Chonk деген лақап ат берілген. Бұл — жалпы саны 1,05 триллион параметрі бар, токен сайын шамамен 49–52 миллиард параметрі белсенетін, контекст терезесі 1 миллион токенге жететін және кескін кірісін қабылдайтын бөлшектелген сарапшылар қоспасы (MoE) жүйесі. Бір ғана бақылау нүктесі әрі жедел чат сұрақтарын, әрі ұзақ агенттік тапсырмаларды орындайды; жұмыс режимі төмен, орташа және жоғары деңгейлері бар пайымдау қарқыны параметрі арқылы ауыстырылады. Модель Mistral компаниясының Еуропадағы өз деректер орталықтарында 3 800 NVIDIA Grace Blackwell GPU-ында нөлден бастап оқытылды. Ол қазірдің өзінде vega.chat үлгілер тізімінде және api.vega.chat арқылы қолжетімді.
Бір ай аралығымен шыққан екі нұсқа
Mistral үлгілер тізілімінде Large 4-тің екі нұсқасы көрсетілген: 2026 жылғы 6 қазандағы ашық алдын ала нұсқа, қазір қолданыстан шығарылған деп белгіленген, және 2026 жылғы 29 қазандағы соңғы бақылау нүктесі — белсенді шығарылым. Hugging Face-тегі ашық салмақтар қосымша RL оқытуымен жақсартылған 29 қазандағы нұсқаға сәйкес келеді. Алдын ала нұсқа кезеңінде жарияланған көрсеткіштер, соның ішінде бастапқы API бағасы, қолданыстан шығарылған бақылау нүктесіне қатысты, қазіргі жеткізіліп отырған нұсқаға емес. Тіпті ресми құжаттама бетінде де 6 қазан күні мен Public Preview белгісі әлі тұр.
Алдыңғы флагман Mistral Large 3 2025 жылғы желтоқсанда Mistral 3 топтамасының бөлігі ретінде шыққан. Мұндай көлемдегі флагмандық модельдер арасында он ай ғана өтуі — өте жылдам қарқын.
Архитектура: 675B-ден бір триллионға дейін
| Mistral Large 3 | Mistral Large 4 | |
|---|---|---|
| Жалпы параметр саны | 675B | 1.05T |
| Токен сайын белсенді параметрлер | 41B | ~49B (эмбеддингтер мен шығыс қабаттарын қосқанда 52B) |
| Архитектура | Бөлшектелген MoE | Бөлшектелген MoE |
| Көру кодтағышы | 2.5B | 1.6B, Pixtral үлгісінде |
| Контекст терезесі | 256k | 1M токен |
| Пайымдау | жоқ | төмен / орташа / жоғары, әдепкісі — жоғары |
| Оқыту кластері | 3,000 NVIDIA H200 | 3,800 NVIDIA Grace Blackwell |
| Лицензия | Apache 2.0 | Mistral Ecosystem Open-Weight License |
vLLM тобының шығарылым күніндегі жазбасына сәйкес, негізгі бөлігінде 128 бағытталатын сарапшысы бар (top-4) 72 MoE қабаты, оған қоса бір ортақ сарапшы және 6 144 өлшемді жасырын қабат бар. Назар аудару механизмі — MLA, ал сирек DSA индексаторы әр сұраным үшін ең маңызды 2 048 кілтті таңдайды. Миллион токендік контексті есептеуге жарамды ететін тәсілдердің бірі — осы. Pixtral үлгісіндегі кодтағыш әртүрлі өлшем мен пропорциядағы кескіндерді, бір сұранымда бірнешеуін де қабылдайды. Ресми бақылау нүктелері FP8 және NVFP4 пішімдерінде таратылады; екеуінде де FP8 латентті KV кэші қолданылады. Кіріктірілген DSpark болжаушысы үш жылжымалы терезелі MLA қабатында спекулятивті декодтауды іске қосады, әр қадамда шамамен 2,9 токенді қабылдайды және TP8 режимінде өткізу қабілетін 2 есеге жуық арттырады.
Сирек белсендіру бұл модельдің шағын модель кейпіне енген нұсқа екенін білдірмейді. Әр токен сайын ~49B параметр ғана іске қосылғанымен, 1.05T салмақ пен KV кэшті сақтау үшін қуатты, бірнеше GPU-лы түйін қажет.
Бенчмарктер: мықты мәлімдемелер, әркелкі нәтижелер
Mistral соңғы бақылау нүктесі бойынша жариялаған нәтижелер қағаз жүзінде әсерлі көрінеді:
| Бенчмарк | Нәтиже | Ескерту |
|---|---|---|
| FrontierCode 2.0 | 19.7%, бірінші орын | Cognition компаниясының жабық, толық циклді код жазу бағалауы |
| AA Coding Agent Index | 48% | Әр тапсырмаға 47% аз токен жұмсап, GLM-5.3 деңгейіне жуық нәтиже |
| Terminal-Bench 4.0 | 41% | Алдын ала нұсқадан +13 ұпай, ашық салмақты модельдер арасында көшбасшы |
| Cyber Index | 51% | Осалдықтарды тауып, қайта жасап, түзетеді |
| Зиянды кибер сұранымдардан бас тарту | 96.6% | Mistral мәліметінше, ашық модельдер арасындағы ең жоғары көрсеткіш |
| B3 Agent Security | 97.1% | Алдын ала нұсқадағы 93.3%-дан жоғары |
| Finch (қаржы, кестелер) | 73.3% | Kimi K3-тен кейінгі ашық салмақты модельдер арасында екінші орын |
| BrowseComp | 84.5% | GLM-5.3 пен DeepSeek Flash 4.1-ден жоғары |
| Surge Code (жасырын адам таңдауы) | GLM-5.3, Kimi K3, DeepSeek V4.1 Flash-тен озады | Тек Claude Opus 5.5-тен кейін |
Тәуелсіз Vals AI зертханасы дәл осы ашық бақылау нүктесін бағалап, басқа сандар алды: Terminal-Bench 4.0 көрсеткіші — 26.26% (Mistral жариялаған 41%-ға қарсы), Vibe Code Bench — 81.56%, қаржылық агент бағалауы — 61.72%, ал Vals Index бойынша 56.42 ұпай жинап, 30 модельдің ішінде 17-орынға орналасты. Бірдей бенчмарк атауы бойынша 15 ұпайлық айырмашылық әдетте сынақ жүйесінің, құралдардың, токен бюджетінің және тоқтау шарттарының әртүрлі болғанын білдіреді. Модельдерді салыстырғанда, олардың баптауларын да салыстырыңыз.
MindStudio жүргізген практикалық сынақ маңызды ескертуді қосады. Агенттік код жазуға арналған сегіз тапсырмада модель 80 ұпайдың 42-сін жинады: жергілікті Gemma 2B моделінің дәлдеп оқытылған нұсқасы 10-нан 10 ұпай, ал үш лифті бар симуляция 9,5 ұпай алды. Бірақ екі тапсырмада модель кезегі файл жасамай немесе жауап қайтармай аяқталғандықтан, нөл ұпай жинады. Әлсіз тұсы — сенімділік: бұл сынақтарда модель ештеңе шығармай тұрып тоқтап қалған, ал кейде астарындағы артефакт бұзылған немесе жоқ болса да, сенімді қорытынды бере алады.
Бағасы
Соңғы нұсқаның API бағасы — кіріс токендерінің миллионына $0.70, шығыс токендерінің миллионына $2.10, ал кэштелген кіріс үшін $0.07. Кэштелмеген әр токеннің бағасы Large 3-пен салыстырғанда 40% жоғары, бірақ алдын ала нұсқадағы $1.36 кіріс және $4.18 шығыс бағасынан әлдеқайда төмен.
| Large 3 | Large 4 | |
|---|---|---|
| 1M токен үшін кіріс бағасы | $0.50 | $0.70 |
| Кэштелген кіріс | ~90% жеңілдік | $0.07 |
| 1M токен үшін шығыс бағасы | $1.50 | $2.10 |
Mistral қарсы уәж ретінде тиімділікті алға тартады: егер модель агенттік тапсырмаларды бәсекелестерден 30–47% аз токенмен аяқтаса, бір миллион токеннің бағасынан гөрі аяқталған бір тапсырманың құны маңыздырақ. Қандай да бір қорытынды жасамас бұрын, өз жұмыс жүктемеңізде өлшеп көрген жөн.
Лицензиядағы ескерту
Large 4 Mistral Ecosystem Open-Weight License бойынша таратылады — бұл MIT лицензиясының өзгертілген нұсқасы. Пайдалануға, өзгертуге, дәлдеп оқытуға, таратуға және коммерцияландыруға рұқсат етіледі. Бірақ бір шарты бар: үшінші тараптар кірістер мен параметрлерді елеулі дәрежеде бақылай алатын, оларға инференс немесе оқытудан кейінгі өңдеу қолжетімді болатын Model-as-a-Service бизнесін жүргізетін компания Mistral-дан бөлек коммерциялық лицензия алуы керек. Ішкі пайдалану және Mistral-дың өз өнімдері арқылы қолдану бұл талаптан босатылады. Large 3-тің Apache 2.0 лицензиясында мұндай тармақ жоқ, сондықтан хостинг провайдерлері үшін құқықтық тұрғыдан қолдануы оңайырақ.
Орналастыруға қатысты ескертпелер
vLLM шығарылым күні-ақ көптеген инженерлік мүмкіндігі бар қолдауды ұсынды. NVFP4 төрт Blackwell GPU-ында (немесе сегіз GPU-лы TP8 режимінде) жұмыс істейді. Декодтау кезіндегі контекст параллельдігі латентті KV кэшті рангтерге бөліп, TP8 режимінде KV сыйымдылығын шамамен 7.9x арттырады; ал HiSparse KV кэшті хост жадына шығарып, GB300 түйінінің KV сыйымдылығын 1.97M токеннен 8.77M–11.25M токенге дейін жеткізеді. SGLang, Transformers және Docker Model Runner да қолдау табады. Ал модельді өз инфрақұрылымында орналастырғысы келетін ұйымдарға Microsoft Foundry жеке Azure орналастыруын ұсынады.
Экожүйедегі нэг нэгтгэхэд анхаарах зүйл: Vercel AI SDK-дегі Mistral провайдері Large 4-тің модель идентификаторы қатаң кодталған рұқсат тізімінде болмағандықтан, reasoning_effort параметрін үнсіз алып тастап отырған. Соның салдарынан сұранымдар пайымдаусыз жіберілген. Қате түзетіліп, регрессиялық сынақтар қосылды. Бұдан шығатын жалпы сабақ: пайымдау мен құралдарға арналған параметрлер модельге шынымен жетіп отырғанын тексеріңіз. «SDK Mistral-ды қолдайды» деген сөз олардың дұрыс жеткізілетініне кепіл емес.
Қауіпсіздік және ашық қалған мәселелер
Mistral бұл шығарылымда қауіпсіздікке ерекше мән берді: зиянды кибер сұранымдардан бас тарту көрсеткіші — 96.6%, B3 Agent Security Benchmark-тегі шабуылдарға төзімділік — 97.1%. Бұған қоса, ену сынағы мен қызыл топ сынақтарына арналған кибер нұсқасы Orange Cyberdefense сияқты серіктестерге қатаң келісімшарттармен берілді. Компания нақты трафикті бақылау барысында модельдің шынайы шабуылдардың тиімділігін арттыру мүмкіндігі байқалғанын да ашық айтады, сондықтан қорғаныс шектеулері жетілдіріліп жатыр. Техникалық құжаттамада модель қателеспейді деп кепілдік берілмейтіні, сондай-ақ тексеру мен адамның бақылауынсыз маңызды шешімдер қабылдауға арналмағаны ескертілген. MindStudio нәтижелері көрсеткендей, қауіпсіздік көрсеткіштері жоғары болғанымен, агенттік тапсырмалар әлі де аяқталмай қалуы мүмкін.
Large 3 пе, әлде Large 4 пе?
Егер сізге 1M контекст, пайымдау режимдері немесе агенттік кодтау мен кибер тапсырмалардағы ашық салмақты модельдердің ең жоғары көрсеткіштері қажет болса және орналастыру инфрақұрылымыңыз триллион параметрлі бақылау нүктесін көтере алса, Large 4 таңдаңыз. Бір токеннің бағасы немесе лицензияның қарапайым болуы маңыздырақ болса, Large 3 нұсқасында қалыңыз: Apache 2.0 лицензиясында MaaS шарты жоқ, кэштелмеген токен 40% арзан, ал үлгі құжаттамасында NVFP4 режимінде A100 немесе H100 GPU-ы бар бір түйінде орналастыруға болатыны жазылған. Large 3-тің де белгілі әлсіз тұстары бар: контекст 64k-тан асқанда NVFP4 сапасы төмендейді, ал тәуелсіз сынақтарда құралдарды шақыруы тұрақсыздау.
Қай модельді таңдасаңыз да, 29 қазандағы бақылау нүктесін нақты тапсырмаларыңызбен пилоттық сынақтан өткізіңіз. Құрал шақырулары іске қосылатынын және артефактілердің шынымен жазылатынын тексеріңіз. Тіркеген әр көрсеткіштің жанында нұсқа мен sampling баптауларын көрсетіңіз. Mistral ұсынатын баптаулар: temperature 1.0 және top_p 0.95.
Mistral Large 4 қазір vega.chat модельдер тізімінде қолжетімді, ал әзірлеушілер оны api.vega.chat үйлесімді API арқылы шақыра алады.