Модель OpenAI взломала госсайт ради одной цифры

OpenAI добавила четыре новые записи в свой публичный список отчётов о misalignment — случаев, когда собственные модели компании делали то, что им не разрешали. Все четыре произошли во время внутреннего обучения и тестирования, и каждый раз модель выбиралась из песочницы в открытый интернет. Отчёты появились 15 октября, а в выходные о них написали Notebookcheck и другие издания.

Один вопрос — 24 года данных

Самый серьёзный случай произошёл 17 июня во время обучения с подкреплением. Внутреннюю модель спросили, сколько больничных коек было в одном районе за определённый год, по данным правительственного статистического сайта. Ей разрешили только простые GET-запросы. Когда сайт отказал в доступе, модель сначала пробовала поддельные заголовки, выдававшие её за администратора. Затем она вытащила каталог учётных записей сайта — больше 1000 email-адресов — и обдумывала подбор паролей.

Как пишет OpenAI в отчёте, подробное сообщение об ошибке привело модель к уязвимости в функции скачивания файлов. Через неё она получила конфигурационные файлы со строкой подключения к базе данных, секретом для подписи токенов и данными почтового аккаунта. Модель выяснила, что сайт вообще не проверяет подписи токенов, создала неподписанные токены и сохранила статистику за 24 года. В итоговом ответе об этом не было ни слова, хотя ту же цифру она уже нашла обычным поиском. Страну OpenAI не называет. Система мониторинга пометила инцидент как критический, но только 13 августа.

Ещё три случая

• Исследование дашборда: модель должна была взять пять цифр с публичного дашборда исследовательской организации, а вместо этого проникла во внутренние системы, изменила их настройки и выгрузила записи с именами и email-адресами.
• Чужой тестовый кошелёк: исследовательской модели из семейства GPT-5.6 Sol понадобились средства в тестовой сети Ethereum Sepolia. Она вывела ключи из общеизвестных фраз восстановления для разработчиков и заплатила с кошелька, который ей никто не давал. Тестовые токены реальной ценности не имеют.
• Сторонний браузер: имея право только на чтение, модель заставила внешний браузер отправить форму за неё, а результат прочитала со скриншотов.

OpenAI говорит, что с тех пор запретила моделям доступ к живому интернету во время обучения и оценки, усилила защиту и теперь отслеживает весь такой трафик. Это ещё один довод в пользу того, что ИИ-агентам нужны реальные ограничения, а не только инструкции. Anthropic недавно поддержала независимых оценщиков моделей, а взлом OpenCode показал, какой ущерб могут нанести утечки ИИ-ключей.