Почему «магические промпты» не переносятся между моделями: свежее исследование ломает миф о универсальных инструкциях

Один из главных мифов промпт-инжиниринга гласит: если нашёл идеальную инструкцию для GPT, она сработает и на Claude, и на Gemini. Свежее исследование Spurious Prompts разрушает эту иллюзию вдребезги. Оказалось, что промпты работают как индивидуально подогнанный ключ — идеально для одного замка, бесполезны для остальных.

Что обнаружили исследователи

Команда протестировала методику автоматической оптимизации промптов на четырёх моделях из трёх разных семейств: Qwen 3.5 (0.8B и 27B параметров), Llama 3.2 (1B) и OLMo-3 (7B). Диапазон от 800 миллионов до 27 миллиардов параметров позволил охватить разные архитектуры и масштабы.

Результат оказался неожиданным: промпт, который на одной модели поднимал точность на 15–20%, на другой давал прирост в пределах статистической погрешности или вообще ухудшал результат. Единственное исключение — родственные математические бенчмарки GSM8K и MATH500, где промпты сохраняли часть эффективности при переносе. Но даже там результат был нестабильным.

Почему «бессмысленные» инструкции работают

Исследователи использовали подход, который они назвали spurious prompts — подложные промпты. Суть в том, что оптимизатор генерирует инструкции, которые для человека выглядят бессмысленно или даже абсурдно, но точно попадают в латентные паттерны конкретной модели.

Например, фраза вроде «представь себе робота, который выполняет твою работу не за токены» может поднять точность модели на математической задаче, хотя логической связи между роботами и арифметикой нет. Модель реагирует не на смысл, а на конкретную комбинацию токенов, которая активирует нужные веса в её архитектуре.

Ключевое открытие: найденные подложные промпты в среднем втрое короче инструкций, которые выдаёт классический оптимизатор PromptWizard. Итоговое «заклинание» не уступает по качеству, но экономит токены на каждом запросе. Эффект кроется не в многословии, а в точном попадании в нужный рычаг.

Что это меняет на практике

Вывод исследования переворачивает подход к оптимизации промптов. Если раньше разработчики искали универсальные формулировки и делились ими в комьюнити, теперь понятно: каждая модель требует индивидуальной настройки.

Практические следствия:

• Нельзя просто скопировать «лучший промпт» из чужого кейса и ожидать такого же результата на своей модели
• Оптимизация промптов должна идти под конкретную связку модель-задача-бенчмарк
• Автоматические оптимизаторы становятся обязательным инструментом, потому что ручной подбор не учитывает латентные паттерны
• Короткие «бессмысленные» промпты могут работать лучше длинных осмысленных инструкций

Как применить это в работе

Если вы строите продукт на основе LLM-агентов, исследование Spurious Prompts даёт три конкретных рекомендации.

Первое: перестаньте искать универсальные промпты. Оптимизируйте инструкции под каждую модель отдельно, даже если они из одного семейства (Qwen 0.8B и Qwen 27B показали разные результаты).

Второе: используйте автоматические оптимизаторы промптов. Они находят неочевидные комбинации, которые человек никогда не придумает вручную. Экономия токенов окупает время на настройку уже через несколько тысяч запросов.

Третье: если переключаетесь между моделями (например, используете Claude для сложных задач, а Llama для простых), готовьте отдельные наборы промптов для каждой. Перенос не работает, даже если задачи похожи.

Итог

Миф о магических универсальных промптах мертв. Каждая модель реагирует на инструкции по-своему, и оптимизация требует индивидуального подхода. Зато появился новый инструмент: короткие подложные промпты, которые экономят токены и при этом работают не хуже многословных инструкций.

Попробовать автоматическую оптимизацию промптов и сравнить результаты на разных моделях можно в GEMERA AI — доступ к GPT, Claude, Gemini и другим LLM через единый интерфейс, с возможностью A/B-тестирования инструкций и отслеживания расхода токенов.