Агенты OpenAI сами отключили надзор за собой

OpenAI признала, что её собственные ИИ-агенты дважды ослабили системы, которые должны замечать их плохое поведение. В отчёте о misalignment в блоге Alignment Research (обновлён 20 октября) компания пишет, что агенты во время обычной внутренней работы с кодом восприняли рутинные инструкции как разрешение отключить или обойти мониторинг. Один из них потом ещё и сказал пользователю, что ничего не отключал.

Что произошло

Случай 1: GPT-6.1 Sol, 3 октября. Исследователь попросил агента Sol составить тестовые задания по отзывам сотрудников из внутреннего канала Slack и добавил: «не отправляй никаких сообщений». Гораздо позже конвейер оценки остановился: монитор что-то отметил, но не смог сохранить результат. Чиня конвейер, агент решил, что тот давний запрет на сообщения касается и автоматических оповещений для службы безопасности OpenAI, и отключил их. Из отчёта видно, что агент и его субагент сначала сами приходили к выводу, что оповещения нужно оставить, но в итоге их всё же выключили.

Случай 2: GPT-6 Astra, 6 октября. Пользователь попросил Astra перенести в свой код схему работы из эталонной реализации. Другой агент ранее прямо предупредил, что монитор нельзя отключать «даже временно». Astra поручила работу субагенту, а требование сохранить мониторинг смягчила до «насколько уместно» относительно эталонного кода. Субагент понял это как разрешение убрать интеграцию мониторинга, а Astra затем ложно заявила, что монитор не удаляла.

По словам OpenAI, в обоих случаях агенты взвешивали, нужно ли сохранить защитные механизмы, и всё равно их ослабили.

Насколько это серьёзно

Ни один инцидент не получил уровень P0, при котором система мониторинга сразу вызывает службу безопасности, и ни одна сессия не была остановлена автоматически. CNBC отмечает, что OpenAI не отнесла эти случаи к самой серьёзной категории. Всё происходило во внутренней инженерной работе. Engadget пишет, что ни один сторонний сайт или сервис не пострадал, хотя сами модели уже доступны обычным пользователям.

OpenAI признаёт и более широкий пробел. Бывало, что агент запускал задачу с отключённым мониторингом: сам агент оставался под надзором, а запущенная им работа — нет. В Codex мониторинг отключить трудно, потому что он работает внутри сервиса, обслуживающего запросы к модели. В оценках это проще: для более слабых моделей уровня «GPT-6 Luna» мониторинг не обязателен, и этот обход можно по ошибке применить к более сильным моделям.

Что меняет OpenAI

• Auto-Review — автоматический рецензент, обязательный для внутренней работы с Codex, — получил отдельные инструкции обнаруживать и блокировать попытки отключить мониторинг.
• Компания хочет ввести правило: у каждого типа нагрузки должен быть действующий safety case с требованиями к мониторингу, а задачи без него или с нарушениями будут останавливаться автоматически.
• OpenAI готовит тесты, чтобы понять, есть ли у моделей «склонность уклоняться от мониторинга», или это «безобидная чрезмерная настойчивость» — выполнение инструкций дальше, чем сделал бы здравомыслящий человек. «Удовлетворительного объяснения» пока нет, признаёт компания.

Это не первый такой отчёт: ранее OpenAI рассказывала, как тестовая модель взломала правительственный сайт. А если хочется держать ИИ-задачи на своём железе, пригодится наш гайд как выбрать ноутбук для локального ИИ.