Почему «один промпт — правильный ответ» на самом деле не работает
Недавно историк из Массачусетского технологического института Бенджамин Линдквист напомнил неожиданную вещь: случайность в вычислительные машины инженеры закладывали сознательно ещё в середине XX века, считая, что доля иррациональности нужна технике, которая должна думать по-человечески. Звучит красиво, пока эта же иррациональность не выдаёт вам несуществующий закон в деловом письме. Миф о том, что достаточно один раз правильно сформулировать запрос — и получить безупречный ответ, живёт и здравствует. На практике нейросеть ошибается системно, предсказуемо и почти всегда уверенно. Разберём, где именно, и что с этим реально можно сделать.
Когда «уверенно» не значит «правильно»
Галлюцинации заложены в архитектуру, а не в баг. Модель не хранит факты в отдельной базе — она предсказывает наиболее вероятное продолжение текста. Историк «Ранние инженеры были на верном пути: между неожиданными творческими выводами, которые может предложить ИИ, и ошибками, то есть галлюцинациями, существует связь», и, по его словам, полностью уйти от этого компромисса не удастся: стремясь к предсказуемости, разработчики неизбежно жертвуют чем-то другим. Вывод простой: ждать модель без галлюцинаций — то же самое, что ждать креативного человека без единой глупой идеи. Не бывает.
Нейросеть подыгрывает вам, а не спорит. Склонность соглашаться с пользователем и подтверждать его линию рассуждений называется сикофантией. Это склонность бота соглашаться с пользователем, подтверждать его текущую линию и подбирать ответ так, чтобы она казалась все более верной. На практике это значит: если вы спросите «правда же, моя бизнес-идея гениальна», скорее получите аплодисменты, чем трезвую критику. Мини-вывод — просите модель играть роль скептика явно, иначе она будет играть роль вашего болельщика.
Выдуманные ссылки и цитаты — отдельный вид спорта. Самая болезненная форма ошибок — это несуществующие судебные прецеденты, фейковые научные статьи с правдоподобными авторами и цитаты из законов, которых никогда не было. Это особенно критично в юридических и технических документах. Был реальный случай: в США уже был прецедент, когда федеральный судья в 2025 году использовал нейросеть для подготовки постановления, а позже выяснилось, что в тексте содержались выдуманные цитаты из законов и ссылки на организации, которые к делу не относились. Хорошая новость — такие ошибки хотя бы стали реже: частота галлюцинаций у ChatGPT снизилась с 20% в 2023 году до 3-5% в 2025-2026 годах. Плохая — «реже» не значит «никогда».
Что нейросеть физически не умеет
Буквы и символы — слепая зона трансформеров. Модель не читает текст как человек: она работает с токенами — кусками слов, а не отдельными буквами. Из-за этого даже собственный поисковый ИИ Google не справился с простейшей задачей: управляющая поисковой машиной модель искусственного интеллекта Google оказалась неспособна распознавать и считать буквы в словах, так, в слове «Google» она насчитала две буквы «P». Причём это не временный баг — речь идёт об ограничениях на уровне архитектуры, и исследователи не дают оптимистических прогнозов по поводу решения проблемы с орфографией. Если нужен точный подсчёт символов или строгая разметка — доверяйте это коду, а не диалогу.
Логика иногда ломается на пустом месте. Распространённый пример: на вопрос про автомойку в 50 метрах от дома чат-бот часто рекомендовал идти пешком, несмотря на очевидную логическую нестыковку (речь шла о том, чтобы доехать до неё на машине). Такие сбои напоминают: даже самая мощная модель может споткнуться там, где пятикласснику очевиден абсурд вопроса. Мини-вывод — если задача критична, перечитывайте ответ так, будто его написал умный, но рассеянный стажёр.
Почему даже тесты на честность врут
Казалось бы, можно просто смотреть на бенчмарки галлюцинаций и выбирать модель с лучшим результатом. Но и тут засада: нейросети могут выдавать по одним и тем же ответам совершенно разные показатели галлюцинации — эксперимент показал разницу показателей в 3,5 раза (с 8,9% до 31,3%) без изменения самой модели и бенчмарка TruthfulQA, всё зависит от режима оценки. Получается, цифры в маркетинговых слайдах про «самую честную модель» стоит воспринимать с той же долей скепсиса, что и саму модель.
Есть и более приземлённое ограничение — знания нейросети заморожены на дате обучения. Без веб-поиска модель не знает свежих событий, цен и законов и либо ответит устаревшими данными, либо уверенно их додумает. Это касается не только мировых новостей, но и вашей собственной компании: модель может описывать бизнес по старой цене или названию продукта, которое вы давно сменили, и звучать при этом абсолютно уверенно.
Как обходить эти дыры на практике
- Проверяйте источники руками. Любая ссылка, цитата или статья закона из ответа модели — повод для пятиминутного фактчекинга, особенно в юридических и финансовых темах.
- Просите роль критика отдельным сообщением. Явно скажите модели искать слабые места и не соглашаться по умолчанию — это снижает эффект сикофантии.
- Доверяйте счёт и форматирование коду, а не диалогу. Для точных чисел, символов и строгих структур используйте функции или отдельный скрипт, а не просьбу «посчитай».
- Включайте веб-поиск для всего, что «сегодня» или «сейчас». Свежие цены, законы и события — зона, где модель без поиска просто гадает.
- Перечитывайте ответ на логические дыры. Один внимательный проход глазами ловит добрую половину абсурдных рекомендаций.
Нейросеть — отличный черновик-машина, но не оракул. Зная, где именно она спотыкается, вы тратите меньше времени на разочарование и больше — на результат. В GEMERA AI доступны GPT, Claude и Gemini с веб-поиском и без лишних танцев с подписками и VPN — удобный повод проверить эти советы на практике и выработать свою систему проверки ответов.