Почему гигантское контекстное окно на самом деле не работает так, как обещают
Каждый новый релиз флагманской модели сопровождается одной и той же цифрой — миллион токенов контекста. Маркетологи подают это как решённую проблему: теперь нейросеть «помнит всё». Я два года наблюдаю, как эта цифра растёт, и всё отчётливее вижу разрыв между заявленным объёмом памяти и тем, что модель реально использует. Миф о том, что большое контекстное окно автоматически делает ИИ внимательнее, пора разобрать по косточкам.
Что вообще такое токены и контекстное окно
Токен — это не слово и не буква, а фрагмент текста, на который модель разбивает запрос перед обработкой. Контекстное окно — это объём токенов, который модель способна удерживать «в поле зрения» одновременно: и вашу переписку, и загруженный документ, и собственный ответ. Чем длиннее диалог или файл, тем больше токенов уходит на то, чтобы модель вообще заметила, что вы написали в начале разговора.
Важный нюанс, который редко объясняют: токен – это не буква и не слово, а кусочек текста, на которые модель разбивает входящий запрос, и по оценкам Google, 100 токенов соответствуют примерно 60-80 английским словам. Русский текст в этот лимит укладывается заметно хуже английского — значит, заявленный миллион токенов для русскоязычного пользователя на практике меньше, чем кажется из пресс-релиза.
Свежий повод: гонка за миллионом не останавливается
13 октября 2026 года Google DeepMind опубликовала карточку модели Gemini 4 Argon — и снова с привычной цифрой. Gemini 4 Argon — большая разреженная mixture-of-experts модель на трансформере с родной поддержкой текста, зрения и звука, а суммарное окно входа и выхода достигает до 1 млн токенов. Похожая история и у Anthropic: контекстное окно Claude Sonnet выросло до 1 миллиона токенов — раньше такой объём был доступен только в бета-режиме, теперь это стандарт для всех.
Казалось бы, прогресс налицо: модели глотают целые книги за один присест. Но у OpenAI в GPT-5.5 есть деталь, которую маркетинг старательно не выпячивает: в ChatGPT у GPT-5.5 Instant контекстное окно составляет 128 тысяч токенов, в API — до 1 миллиона, но запросы свыше 272 тысяч входных токенов тарифицируются дороже. То есть «миллион токенов» — это потолок для избранного тарифа, а не повседневная реальность большинства пользователей.
Почему объём памяти не равен вниманию
Вот здесь и начинается разрушение мифа. Внутри модели нет библиотекаря, который аккуратно раскладывает факты по полочкам в порядке важности. Есть математический механизм, который оценивает значимость каждого фрагмента текста — и при перегрузке он начинает ошибаться. Внутри нейросети работает математический алгоритм, который оценивает важность каждого слова в документе, и если загрузить массив текста, этот алгоритм перегружается и начинает пропускать целые абзацы.
Это явление иногда называют «контекстным гниением»: к 2026 году языковые модели стали мощнее и теперь принимают сотни страниц за один раз, но проблема потери данных никуда не исчезла. Модель физически способна вместить документ целиком, но смысл где-то в середине начинает размываться — она путает детали, повторяется или вовсе теряет нить, если важная информация оказалась не в начале и не в конце.
Что с этим реально делать
Я для себя вывел три рабочих правила, которые экономят нервы и токены:
- Не загружайте документ целиком «на всякий случай». Если нужен конкретный раздел — вставляйте его, а не весь договор на сто страниц.
- Самое важное — в начало или в конец запроса. Середина длинного контекста — зона риска для любой модели, независимо от бренда.
- Проверяйте факты из длинных документов вручную. Чем длиннее вход, тем выше шанс, что модель «додумает» деталь, которой не было.
Эти правила работают одинаково для GPT, Claude и Gemini — архитектурная природа трансформеров у всех похожа, и магического исключения из правила «внимание слабеет с длиной» пока ни у кого нет.
Вместо вывода
Большое контекстное окно — это реальный технический прогресс, а не пустой маркетинг. Но оно решает только одну задачу: модель может физически принять больше данных. Внимательность, точность и удержание сути — отдельная история, и цифра в миллион токенов её не гарантирует. Я считаю честнее воспринимать контекстное окно как размер стола, на который можно разложить бумаги, а не как гарантию, что все они будут прочитаны одинаково внимательно.
Если хотите сами прощупать разницу между моделями на длинных и коротких запросах — в GEMERA AI собраны инструменты для чата с разными нейросетями и генерации контента, можно сравнить поведение на своих задачах без лишних переключений между сервисами.