Нейросеть против человеческого взгляда в разборе одной сцены
Человек смотрит на фото и за долю секунды понимает: вот этот мужчина — главный в комнате, а эта женщина притормозила, потому что заметила что-то впереди. Нейросеть, которая щёлкает олимпиадные задачи по математике и пишет код не хуже senior-разработчика, на этих же простых вопросах выдаёт уверенный, но неверный ответ. Свежий бенчмарк вскрыл эту разницу в цифрах, и она отрезвляет.
Что измерили исследователи
Исследовательское подразделение Scale AI вместе со стартапом Elorian выпустило тест Humanity's Sixth Sense — набор заданий на то, что люди считывают с картинки или видео без всякого сознательного анализа. Тест включает 522 открытых задания на 288 изображениях и 234 видеоклипах общей длительностью 17,6 часа видео. Вопросы устроены так, чтобы ответ не был виден на картинке напрямую: нужно понять, уместится ли машина между двумя припаркованными авто, кто в комнате главный, или что произошло за секунду до того, как сработал затвор камеры.
Результат получился жёстким. Участники-люди достигают 93,1% точности, в то время как сильнейшая модель, GPT-6-astra, набирает лишь 53,6% даже при максимальном уровне рассуждений. GPT-6.1 Sol и Claude Opus 5.5 показали результаты 46,6% и 44,6% соответственно, а медианный результат среди всех проверенных моделей составил всего 30,9%. Для сравнения: даже средний человек из выборки справлялся почти вдвое лучше топовой модели.
Проблема не в логике — проблема в зрении
Самое интересное в этом исследовании — не итоговый процент, а разбор причин ошибок. Команда проанализировала тысячи неудачных ответов и выяснила, где именно модели спотыкаются. Из 8573 отдельных неудач 94% связаны именно с восприятием или выводом из увиденного, а не с рассуждением: в 53% случаев модель неверно считала что-то с изображения, ещё в 41% не смогла вывести то, что картинка подразумевала, но не показывала напрямую, и лишь 5% ошибок сводились к логическим промахам. Иначе говоря, модель почти никогда не «тупит» в рассуждении — она банально не видит нужную деталь или неправильно её интерпретирует.
Два самых частых типа промаха оказались предельно конкретными: пропуск детали, от которой зависит весь ответ (21% неудач), и неверное распознавание объекта, человека или его роли в сцене (20%). Отдельно просела социальная интерпретация — понимание намерений, ролей и эмоций людей на кадре. Социальное понимание оказалось самым слабым доменом: для 21 из 25 моделей это худшая категория со средним результатом 24,4% против 34,1% по остальным трём доменам. А видео models давались заметно хуже статичных картинок. Для 23 из 25 моделей видео оказалось сложнее изображений — в среднем на 7,3 процентных пункта.
Больше думать — не значит видеть лучше
Логичное предположение — дать модели больше времени на размышление, и она разберётся. Данные это опровергают. В среднем модели тратили около 4000 токенов рассуждений на задачу даже там, где ответ интуитивен для человека, и часто переусложняли рассуждение, так и не придя к верному ответу. Авторы теста прямо отмечают: разрыв с людьми сохраняется даже при увеличении вычислительного бюджета на рассуждение или подключении агентных инструментов.
Agentic-режим, где модель может сама приближать кадр, обрезать его и искать дополнительный контекст в сети, всё же немного помогает. Агентные инструменты сужают разрыв, но не закрывают его: внутри Claude Code и Codex, где модели могут обрезать, приближать, искать в вебе и пересэмплировать медиа, лучшая связка достигает 59,3% на подвыборке из 388 задач. Но есть категория ошибок, которую обрезка кадра не лечит в принципе: более пристальный просмотр исправляет пропущенные детали и неверно распознанные объекты, но не глубину — ошибки, связанные с чтением 2D-наложения как 3D-выравнивания, остались практически без изменений. Модель просто не умеет достраивать трёхмерную сцену из плоской картинки так, как это делает человеческий мозг, и лишний «думательный» бюджет тут бессилен.
Что с этим делать на практике
Для тех, кто каждый день просит нейросеть описать скриншот, разобрать фото товара или оценить кадр для контента, из этого следует несколько практических выводов:
- Не доверяйте модели выводы «на глаз» там, где цена ошибки высока. Если вопрос касается безопасности, чисел на документе или того, кто на фото главный в юридическом смысле — просите модель явно перечислить, что она видит, и сверяйте это с оригиналом сами.
- Дробите визуальный вопрос на подвопросы. Вместо «что здесь происходит» спросите отдельно: что на переднем плане, что на заднем, какие объекты пересекаются. Это компенсирует слабость модели в пропуске ключевых деталей.
- Давайте крупный план важных зон кадра. Раз пристальный просмотр помогает с пропущенными деталями и распознаванием объектов — заранее обрезайте и увеличивайте то, что действительно важно для ответа, а не надейтесь, что модель сама найдёт нужный фрагмент.
- Не ждите точной оценки глубины и пространства по одному фото. Если задача завязана на то, «поместится ли» или «на каком расстоянии» — здесь модели ошибаются стабильно независимо от объёма рассуждений, и лучше перепроверять вручную или давать несколько ракурсов.
- Для социальных и эмоциональных интерпретаций закладывайте запас недоверия. Это самая слабая категория из всех — выводы о намерениях и ролях людей на фото стоит перепроверять человеком, если это важно для контента или решения.
Главный вывод из этого теста простой и честный: современные модели хороши в задачах, которые можно разложить на шаги и проверить логикой, но проигрывают там, где нужна именно интуиция — быстрое, нерефлексивное понимание сцены целиком. Это не повод отказываться от визуальных нейросетей, а повод точнее понимать, где им можно доверять без перепроверки, а где — нет.
Если вы работаете с генерацией изображений, видео или текстовым анализом визуального контента, в GEMERA AI можно попробовать разные модели для своих задач и на практике почувствовать, где они справляются уверенно, а где лучше подстраховаться самому.