3 термина ИИ, которые все путают: токен, контекстное окно и агент
Когда говорят про нейросети, в ход идут три слова: токен, контекстное окно, агент. Все кивают, делают вид, что поняли, а потом путают базовые вещи. Давайте разберёмся, что это такое — без метафор про «мозг» и «память».
Токен — это не слово и не буква
Первое заблуждение: токен равен слову. Нет. Токен — это кусок текста, на который модель режет ваш запрос. Слово «автоматизация» может распасться на три токена: «авто», «матиза», «ция». А может на два. Зависит от того, как модель обучалась.
Языковая модель не читает текст целиком. Она работает так: берёт все предыдущие токены, смотрит, какой следующий токен наиболее вероятен, добавляет его. Потом снова: берёт все токены включая новый, угадывает следующий. И так по кругу, пока не закончит предложение.
Звучит примитивно — просто статистическая угадайка. Но именно так работают GPT, Claude, Gemini. Никакого «понимания» в привычном смысле. Только вероятности на основе терабайтов текста.
Контекстное окно — это не «память модели»
Второе заблуждение: контекстное окно — это что-то вроде оперативной памяти компьютера. На самом деле это просто лимит: сколько токенов модель может обработать за один раз.
В это окно влезает всё: ваш запрос, системный промпт, загруженные документы, вся переписка. Если окно 128 тысяч токенов, а вы загрузили PDF на 100 тысяч — у вас останется всего 28 тысяч на сам разговор.
Когда окно переполняется, модель начинает «забывать» начало диалога. Не потому что у неё плохая память, а потому что старые токены просто выпадают из расчёта. Технически модель вообще не помнит предыдущие сессии — каждый раз она обрабатывает только то, что сейчас внутри окна.
Вот почему нейросеть может «потерять» середину длинного документа: если он не влезает в окно целиком, модель физически не видит те куски, которые за границей.
Агент — это не умный чат-бот
Третье и главное заблуждение: агент — это просто продвинутая версия ChatGPT. Нет. Агент — это система, где модель сама решает, какие действия предпринять для достижения цели.
Обычная модель работает так: вы спросили — она ответила. Один цикл. Агент работает иначе: получил задачу — выбрал первое действие — выполнил — посмотрел на результат — решил, что делать дальше. И так до конца.
Например, вы просите найти данные о конкурентах. Обычная модель выдаст общий текст. Агент откроет браузер, зайдёт на сайты, соберёт цифры, сравнит их в таблице, сохранит файл. Разница — в самостоятельности выбора шагов.
Но есть нюанс: маркетинг называет агентами любой чат-бот с кнопками. На деле большинство «агентов» — это жёстко заданные сценарии (workflow), где модель идёт по рельсам. Настоящий агент выбирает маршрут сам, а не следует инструкции.
Сейчас индустрия движется от «болтливых ассистентов» к исполнительным системам. Модель перестаёт задавать уточняющие вопросы — она сразу генерирует код, таблицу или отчёт. Вместо диалога — действие с проверкой результата на каждом шаге.
Почему это важно понимать
Когда вы знаете, как устроены токены, контекстное окно и агенты, вы перестаёте ждать от нейросетей невозможного. Вы понимаете, почему модель «забыла» начало диалога (окно переполнилось), почему агент не может работать автономно неделями (ему нужна цель и границы на каждом цикле), почему один и тот же запрос съедает разное количество токенов (модели режут текст по-разному).
Это не магия и не искусственный интеллект в научно-фантастическом смысле. Это статистика, вероятности и чёткие технические ограничения. Но в этих рамках — инструмент, который уже меняет работу копирайтеров, аналитиков, разработчиков.
Хотите попробовать модели с разными размерами контекстного окна или протестировать агентские сценарии? В GEMERA AI доступны GPT, Claude, Gemini — выбирайте ту, что подходит под вашу задачу, и проверяйте гипотезы на практике.