Почему «открытая кибербезопасность» Mistral Large 4 работает не так, как в анонсе

В конце октября Mistral объявила, что открывает веса флагманской модели Large 4 — триллион параметров под прозвищем «Le Chonk» — и подала это как кибербезопасный подарок бизнесу и правительствам: скачал модель, развернул у себя, и никто больше не отключит тебе доступ к защите. Звучит как идеальное решение на фоне историй про внезапную блокировку доступа к закрытым моделям. Но если сложить вместе заявления самой компании, данные независимых площадок и комментарии аналитиков, картина получается заметно менее глянцевой, чем в пресс-релизе.

Что именно пообещали

Идея действительно простая и на бумаге убедительная. Mistral выпустила веса модели, которые можно скачать и развернуть на собственной инфраструктуре, без постоянной зависимости от чужого облака. По словам вице-президента по науке Mistral Пьера Стока, смысл в том, что доступ к интеллекту для защиты от атак становится невозможно отключить по определению, раз модель открыта. Компания прямо называет это «суверенными возможностями киберзащиты государственного уровня» для предприятий и правительств по всему миру.

Звучит как универсальная страховка. Но «открыто» и «безопасно» — это два разных слова, и дьявол здесь в деталях, которые редко попадают в заголовки.

Чьи цифры считать настоящими

Первая проблема — сами показатели. Mistral заявила скачок на тесте Terminal-Bench 4.0 с 28% до 41% после трёх недель дополнительного обучения. Но независимая площадка Artificial Analysis, на которую сама же Mistral ссылается в других частях анонса, зафиксировала для той же версии куда более скромный результат: сама Mistral сообщает 41% на Terminal-Bench 4.0, тогда как Artificial Analysis измеряет 25%. Разница — не статистическая погрешность, а почти в полтора раза.

К этому добавляется ещё одна деталь: часть заявленных рекордов опирается на закрытый бенчмарк FrontierCode 2.0, который сторонние исследователи просто не могут перепроверить, а технический отчёт с методологией компания обещает «в ближайшее время», но пока не опубликовала. Итог простой: почти все цифры производительности исходят от самой Mistral, и пост компании не совпадает по нескольким пунктам с постом Hugging Face — площадки, которая публикует те же веса.

Защита, которая не долетает до вашей копии

Самое важное для скептика — не бенчмарки, а признание самой компании. Mistral пишет прямо: наблюдая за использованием превью модели в реальном трафике, компания видела, как система отказывалась выполнять атаки на живые цели, но признаёт потенциал для «буста» при проведении настоящих атак. Решение — донастраивать ограничители модели и продолжать обновлять их в ближайшие месяцы. Проблема в том, что эти обновления не доходят до уже скачанных копий — организация, которая развернула модель у себя в октябре, останется с октябрьской версией защиты навсегда, если сама не обновится.

Аналитик Gartner Нияти Дафтари прокомментировала заявленные 96,6% отказов модели выполнять вредоносные запросы предельно трезво: этот показатель описывает поведение модели в тестовом сценарии самой компании, а не то, как она поведёт себя с вашими данными и реальными мотивированными злоумышленниками в вашей инфраструктуре. А независимые наблюдатели прямо отмечают, что открытая лицензия позволяет создавать дообученные производные модели, поведение которых эти цифры безопасности вообще не описывают — рынок удаления ограничителей из открытых моделей третьими сторонами уже существует и доказал, что это работает.

• Ответственность смещается на вас. Разворачивая модель самостоятельно, организация берёт на себя безопасность, соответствие требованиям и мониторинг целиком — это больше не забота поставщика.
• Регуляторный статус неясен. Модели, обученные с использованием более 10 в 25 степени операций, по умолчанию считаются системообразующими по риску согласно европейскому AI Act, но в своём анонсе Mistral не уточняет, попадает ли Large 4 под эту категорию и какая оценка риска предшествовала релизу.
• Модель всё ещё не фронтир. Закрытые модели от OpenAI и Anthropic, доступные только через API, остаются впереди по совокупным возможностям — например, модель Mythos 5.1 от Anthropic набрала 60,9% на том же бенчмарке, где у Mistral 41% по собственным данным компании.

Что с этим делать на практике

Открытые веса — это реальный и честный технический выбор: контроль над данными, независимость от чужой инфраструктуры, возможность кастомизации под свою задачу. Это не миф. Миф — в том, что открытость веса автоматически равна безопасности «из коробки» навсегда. На деле безопасность — это процесс, который требует собственного мониторинга, тестирования на своих задачах и готовности обновлять модель вручную, а не разовое решение, принятое в день загрузки файла.

Если вы выбираете модель для рабочих задач — кода, анализа документов, генерации контента — разумнее сравнивать не заголовки пресс-релизов, а то, как модель ведёт себя именно на ваших сценариях. В GEMERA AI можно без лишних настроек попробовать разные модели для чата, анализа и генерации и сравнить результат на своих собственных задачах, прежде чем делать ставку на чьи-то бенчмарки.