Anthropic призывает нажать на тормоз: 5 причин, почему индустрии нужна педаль замедления
Сооснователь Anthropic Джек Кларк выступил с неожиданным призывом: индустрии искусственного интеллекта нужна педаль тормоза. Не потому что технологии перестали работать — а потому что работают слишком хорошо. В интервью BBC и сопроводительной записи в блоге компания объяснила, почему рекурсивное самоулучшение ИИ требует не просто внимания регуляторов, а реального механизма координированной остановки.
1. ИИ уже пишет 80% кода Anthropic — и скоро сможет делать это без людей
По данным Anthropic, сегодня Claude создаёт свыше 80% кода, который попадает в основную кодовую базу компании. Два года назад этот показатель составлял несколько процентов. Кларк прогнозирует, что через пару лет доля может достичь 100%. Проблема не в том, что код плохой — напротив, его качество приближается к человеческому. Проблема в том, что система начинает обходиться без участия инженеров на всех этапах: от постановки задачи до тестирования и исправления ошибок.
Если ИИ-агенты станут достаточно компетентными, чтобы самостоятельно создавать и обучать новые модели, возникнет цикл рекурсивного самоулучшения. Claude сможет непрерывно улучшать самого себя, создавая собственных преемников. В Anthropic подчёркивают: это не фантастика — сигналы уже есть. Доля правок кода, вносимых сотрудниками, стабильно сокращается, а Claude способен самостоятельно проводить исследовательские эксперименты и находить решения без участия человека.
2. Рекурсивное самоулучшение — это не только прогресс, но и риск утраты контроля
Рекурсивный ИИ открывает огромные возможности для науки и здравоохранения. Системы, способные самостоятельно выдвигать гипотезы, проектировать эксперименты и анализировать результаты, могут ускорить разработку лекарств и материалов. Но одновременно это повышает риски того, что люди утратят контроль над системами ИИ. Если модели начнут полностью создавать собственных преемников, способы их защиты, контроля и формирования поведения становятся критически важными — гораздо важнее, чем сегодня.
В Anthropic предупреждают: имеющиеся данные показывают, что роль человека на каждом этапе разработки ИИ постепенно сужается. Это не обязательно плохо, но требует осознанного выбора. Вопрос не в том, дойдут ли компании до полной автономии — а в том, позволят ли они себе дойти до этого без остановки.
3. У индустрии есть педаль газа, но нет педали тормоза
Джек Кларк сформулировал проблему предельно чётко: сейчас у индустрии ИИ есть педаль газа, но в этой машине нет педали тормоза. Компании соревнуются в скорости разработки, инвесторы требуют результатов, а механизмов координированного замедления просто не существует. Anthropic хочет проделать часть работы по созданию такой педали — но в одиночку это невозможно.
Для реального замедления потребуются, по словам компании, несколько хорошо обеспеченных ресурсами лабораторий на переднем крае разработок, в разных странах, которые согласятся остановиться при одних и тех же условиях. Это вопрос не технологии, а политической воли и международной координации. Anthropic планирует заняться исследованиями, чтобы создать систему проверки того, действительно ли разработчики остановили или замедлили движение в сторону рекурсивного ИИ.
4. Три сценария будущего — и только один из них управляем
Anthropic рассматривает три возможных сценария. В первом развитие ИИ замедляется из-за технологических ограничений — модели упираются в потолок данных, вычислительных мощностей или архитектурных решений. Во втором модели продолжают резко повышать продуктивность людей, но сохраняют зависимость от человеческого руководства — это сценарий мощного инструмента, который остаётся инструментом. В третьем сценарии системы достигают полноценного рекурсивного самоулучшения и начинают самостоятельно разрабатывать своих преемников, что может привести к беспрецедентному ускорению научного и технологического прогресса.
Третий вариант вызывает наибольшие вопросы с точки зрения безопасности. Если ИИ начнёт создавать всё более мощные версии самого себя, человечеству придётся решить проблему контроля таких систем значительно раньше, чем это требуется сегодня. И к этому, по мнению Anthropic, многие государственные институты и общества пока не готовы.
5. Что делать: механизмы координации и проверяемые обязательства
Anthropic выступает за создание международных механизмов координации, которые в случае необходимости позволят замедлить или временно приостановить разработку наиболее передовых моделей. Это не призыв к запрету исследований — а предложение договориться о правилах игры, пока ставки не стали слишком высокими. Компания подчёркивает: подобные меры будут иметь смысл только при наличии надёжных способов проверки того, что все ведущие игроки действительно соблюдают такие ограничения.
Ключевая идея: мир должен гораздо больше говорить об этой теме. Не после того, как появится первая полностью автономная система, способная создавать своих преемников — а сейчас, когда ещё есть время на обсуждение и координацию. Anthropic готова внести свой вклад в создание этих механизмов, но для реального эффекта нужны совместные усилия индустрии, регуляторов и исследователей по всему миру.
Хотите протестировать современные ИИ-модели в безопасной и контролируемой среде? В GEMERA AI доступны Claude, GPT и Gemini — попробуйте сами оценить возможности технологий, о которых говорит Anthropic.