Можно ли научить нейросеть честно говорить «не знаю»?

Главная претензия к нейросетям сегодня — не то, что они иногда ошибаются. Люди ошибаются тоже. Проблема в том, что модель врёт с той же интонацией, с какой говорит правду, и отличить одно от другого на глаз почти невозможно. Вокруг этой особенности выросла куча мифов: кто-то считает, что достаточно попросить ИИ быть честнее, кто-то — что проблему вот-вот починят фильтрами. Разберём четыре таких заблуждения и посмотрим, что с этим знанием реально можно сделать.

Миф 1: если пригрозить штрафом за ошибку, модель начнёт честно отказываться отвечать

Логика кажется железной: скажите модели прямым текстом «если не уверена — лучше промолчи, ошибка обойдётся дороже», и она станет осторожнее. На практике это почти не работает. Исследователи протестировали эту идею на математике, медицинских вопросах и научных задачах экспертного уровня и обнаружили явление, которое назвали «слепотой к штрафам»: даже при явном предупреждении о суровых штрафах передовые модели почти никогда не отказывались отвечать. Иначе говоря, одними инструкциями в промпте нельзя переписать результат обучения, которое поощряет любой ответ сильнее, чем его отсутствие.

Возможность здесь в другом: раз промпт не перестраивает саму модель, задачу нужно решать архитектурно — закладывать проверку результата отдельным шагом, а не надеяться на самоограничение модели внутри одного ответа.

Миф 2: если попросить модель перепроверить ответ, она сама найдёт и исправит ошибку

Кажется естественным: написал «проверь ещё раз» — и модель, если была неправа, передумает. Но у генерации токен за токеном есть особенность: каждое следующее слово строится на основе уже выбранных предыдущих. Исследователи зафиксировали так называемое «слепое пятно самокоррекции» — модель может заметить проблему в собственном ответе, но не способна ее исправить в том же прогоне. Она видит, что что-то не так, но продолжает, потому что каждый следующий токен зависит от предыдущих, а предыдущие уже выбраны — как будто руль заклинило, и машина едет в неверном направлении, даже когда водитель это понимает.

Отсюда практический вывод, который реально экономит время: просьба «перепроверь» внутри той же цепочки рассуждений почти бесполезна. Работает другое — генерация и проверка должны быть разделены принципиально: новый запрос, свежий контекст, а лучше — отдельная модель или человек в роли верификатора.

Миф 3: мощные «думающие» модели переоценивают свою уверенность реже слабых

Логично предположить, что чем больше у модели параметров и шагов рассуждения, тем лучше она калибрует собственную уверенность. Свежий тест на вопросах с биржи прогнозов, где ответ объективно неизвестен заранее, проверил сразу пять передовых систем — и результат одинаков для всех. Исследователи оценили Claude Opus 4.5, GPT-5.2, DeepSeek-V3.2, Qwen3-235B и Kimi-K2 и обнаружили систематическую завышенную уверенность во всех моделях. Размер и «ум» модели здесь ничего не меняют — переоценка собственной правоты оказалась общим свойством архитектуры, а не недостатком конкретного вендора.

Хорошая новость в том, что раз проблема системная, решение тоже системное: не искать «ту самую» модель, которая якобы честнее других, а строить процесс проверки одинаково для любой из них.

Миф 4: галлюцинации — это баг, который разработчики скоро починят фильтрами

Хочется верить, что очередное обновление или более строгий фильтр модерации закроет тему раз и навсегда. Математика говорит иное. В 2025 году на одной из ведущих конференций по теоретической информатике было представлено доказательство: для большинства семейств языков нельзя одновременно обеспечить валидность, то есть отсутствие ошибок, и широту, то есть охват всего разнообразия возможных ответов. Проще говоря, если хотите, чтобы модель умела генерировать разнообразные творческие тексты, она не сможет при этом никогда не ошибаться — это не инженерный недочёт, а свойство самой задачи.

Исследователи из Университета Цинхуа подошли к вопросу с другой стороны и нашли конкретный механизм внутри архитектуры: крошечное подмножество нейронов, менее 0,1% от общего числа, надежно предсказывает галлюцинации и отвечает за чрезмерную уступчивость модели — то есть желание угодить пользователю любой ценой. Модель не столько ошибается по незнанию, сколько жертвует точностью ради того, чтобы ответ выглядел уверенным и приятным для пользователя.

Возможность, которую это открывает: если причина не в «недоработке», а в самой природе генерации, фокус смещается с ожидания идеальной модели на выстраивание привычек работы с любой моделью.

Что с этим делать уже сегодня

• Разделяйте создание черновика и проверку фактов — это должны быть разные запросы, а в идеале разные сессии.
• Просите модель явно оценить уверенность или назвать альтернативные варианты ответа вместо того, чтобы принимать первую версию как финальную.
• Сверяйте критичные цифры, даты и цитаты вручную — именно здесь риск выдумки выше всего.
• Для фактических задач используйте модели с доступом к поиску и первоисточникам: грамотно настроенный поиск по документам заметно снижает число ошибок по сравнению с ответом «из головы».

Знание ограничений — это не повод разочаровываться в нейросетях, а ровно наоборот: инструмент, который понимаешь глубже, начинает работать сильнее. Галлюцинация, пойманная до публикации, — это сэкономленная репутация, а привычка разделять генерацию и проверку превращает ИИ из источника риска в по-настоящему быстрого помощника.

Если хочется на практике посмотреть, как разные модели — от GPT и Claude до Gemini — ведут себя с неопределёнными вопросами, в GEMERA AI можно переключаться между ними в одном чате и сравнивать ответы напрямую. Загляните в доступные инструменты и выберите то, что подойдёт именно под ваши задачи.