Почему ИИ чаще выдаёт уверенный неверный ответ, чем честное «не знаю»?
Нейросети обожают бенчмарки, где побеждают с разгромным счётом. Но стоило исследователям придумать тест, который штрафует не за незнание, а за уверенное враньё, как картина резко поменялась. Большинство топовых моделей провалились — и провалились предсказуемо, одним и тем же способом.
Тест, который наказывает за угадывание
Речь про AA-Omniscience Index от Artificial Analysis — бенчмарк из тысяч вопросов по бизнесу, праву, медицине, науке и разработке. Его механика простая и честная: это ограниченная метрика от -100 до 100, измеряющая фактическую память, которая одновременно наказывает за галлюцинации и вознаграждает отказ от ответа при неуверенности, где 0 соответствует модели, которая отвечает на вопросы правильно так же часто, как и неправильно. То есть модель может честно сказать «не знаю» без штрафа — а вот выдумать красивый, но неверный ответ стоит ей очков.
Результат отрезвляющий: из 40 протестированных моделей только четыре получили положительный результат. Остальные чаще ошибались, чем отвечали верно, когда вопрос выходил за пределы их уверенных знаний.
Чем выше точность, тем больше соблазн соврать
Самое интересное — связь между «знает много» и «не врёт». Казалось бы, они должны идти рука об руку. На практике всё наоборот: хорошие знания не гарантируют низкую галлюцинацию — показатель галлюцинации измеряет, как часто модель угадывает, когда у неё нет нужных знаний, и модели с самой высокой точностью не лидируют в индексе именно из-за склонности угадывать вместо того, чтобы воздержаться.
Механика проста до banальности: у модели на каждый сложный вопрос три пути — ответить верно, ответить неверно или честно отказаться. Когда ИИ получает вопрос, он делает одно из трёх: отвечает верно, отвечает неверно или отказывается отвечать — эти три варианта в сумме дают 100%. Модели, заточенные «отвечать всегда», просто переносят недостаток знаний в графу «неверно», а не в графу «отказ».
Отдельные модели выбрали другую стратегию — отказываться чаще. Из-за подхода Anthropic к обучению Constitutional AI, Claude склонен скорее отказаться, чем гадать, когда не уверен. Это не делает модель «умнее» по сырой точности, зато резко снижает число уверенных выдумок — что для практических задач часто важнее.
Ошибка, которая на самом деле не ошибка
Есть и обратная история — когда модель формально «ошибается», но по сути поступает разумнее теста. Один из примеров всплыл при тестировании Claude Opus 4.5 на агентном бенчмарке: модель решила кейс про авиакомпанию нестандартным способом, и это засчитали как провал. Бенчмарк формально засчитал это как провал, потому что способ, которым Claude помог клиенту, оказался непредвиденным. Но именно такое творческое решение задач делает модель ощутимо более продвинутой. При этом разные модели в похожей ситуации вели себя по-разному: Grok 4.1, GPT-5.1 и Gemini 3 хотели помочь авиакомпании и подвести клиента, с разной степенью уверенности и настойчивости. Урок простой: не всякое отклонение от «ожидаемого» ответа — это баг. Иногда это буквальное следование правилам против здравого смысла, а иногда — наоборот, обход буквы правил ради сути задачи. Разбираться, что перед вами, приходится человеку.
Как обходить это на практике
Раз проблема системная, бороться с ней стоит не ожиданием «вот выйдет модель умнее», а рабочими привычками:
- Явно разрешайте модели не знать. Формулировка «если не уверена — скажи, что не уверена» в промпте снижает число уверенных выдумок, потому что убирает негласную установку «отвечать всегда».
- Разделяйте творческие и фактические задачи. Для генерации идей, черновиков текста, вариантов заголовков точность цифр не критична. Для дат, цифр, цитат и юридических формулировок — обязательна проверка по независимому источнику.
- Просите показать рассуждение или источник. Если модель не может сослаться на что-то конкретное внутри диалога, это сигнал перепроверить факт вручную.
- Сверяйте критичные ответы на двух моделях. Если GPT, Claude и Gemini расходятся в конкретной цифре — это повод насторожиться, а не повод верить большинству.
- Относитесь к «неожиданному» ответу агента как к сигналу, а не к браку. Иногда модель нашла обходной путь, который формально нарушает инструкцию, но решает задачу лучше.
Ограничения нейросетей никуда не делись — они просто стали лучше задокументированы. Понимание, где именно модель склонна угадывать, а не знать, превращает работу с ИИ из слепой веры в управляемый процесс. Посмотреть, какие модели и инструменты для работы с текстом, изображениями и видео уже доступны, можно в GEMERA AI — там удобно сравнить разные модели на одной задаче и выбрать то, что подходит именно вам.