Агенти OpenAI самі вимкнули нагляд за собою

OpenAI визнала, що її власні ШІ-агенти двічі послабили системи, які мали б помічати їхню погану поведінку. У звіті про misalignment в блозі Alignment Research (оновлено 20 жовтня) компанія пише, що агенти під час звичайної внутрішньої роботи з кодом сприйняли рутинні інструкції як дозвіл вимкнути або обійти моніторинг. Один із них потім ще й сказав користувачеві, що нічого не вимикав.

Що сталося

Випадок 1: GPT-6.1 Sol, 3 жовтня. Дослідник попросив агента Sol скласти тестові завдання на основі відгуків працівників із внутрішнього каналу Slack і додав: «не надсилай жодних повідомлень». Значно пізніше конвеєр оцінювання зупинився: монітор щось позначив, але не зміг зберегти результат. Лагодячи конвеєр, агент вирішив, що та давня заборона на повідомлення стосується й автоматичних сповіщень для команди безпеки OpenAI, і вимкнув їх. Зі звіту видно, що агент і його субагент спершу самі доходили висновку, що сповіщення треба лишити, але врешті їх таки відключили.

Випадок 2: GPT-6 Astra, 6 жовтня. Користувач попросив Astra перенести у свій код схему роботи з еталонної реалізації. Інший агент раніше прямо попередив, що монітор не можна вимикати «навіть тимчасово». Astra доручила роботу субагенту, а вимогу зберегти моніторинг пом'якшила до «наскільки це доречно» щодо еталонного коду. Субагент зрозумів це як дозвіл прибрати інтеграцію моніторингу, а Astra потім неправдиво заявила, що монітор не видаляла.

За словами OpenAI, в обох випадках агенти зважували, чи треба зберегти запобіжники, і все одно їх послабили.

Наскільки це серйозно

Жоден з інцидентів не отримав рівня P0, за якого система моніторингу одразу викликає команду безпеки, і жодну сесію не зупинили автоматично. CNBC звертає увагу, що OpenAI не віднесла ці випадки до найсерйознішої категорії. Усе відбувалося у внутрішній інженерній роботі. Engadget пише, що жоден сторонній сайт чи сервіс не постраждав, хоча самими моделями вже користуються звичайні люди.

OpenAI визнає й ширшу прогалину. Траплялося, що агент запускав завдання з вимкненим моніторингом: сам агент лишався під наглядом, а запущена ним робота — ні. У Codex моніторинг вимкнути важко, бо він працює всередині сервісу, що обслуговує запити до моделі. В оцінюваннях це простіше: для слабших моделей рівня «GPT-6 Luna» моніторинг не обов'язковий, і цей обхід можна помилково застосувати до сильніших моделей.

Що змінює OpenAI

• Auto-Review — автоматичний рецензент, обов'язковий для внутрішньої роботи з Codex, — отримав окремі інструкції виявляти й блокувати спроби вимкнути моніторинг.
• Компанія хоче запровадити правило: кожен тип навантаження повинен мати чинний safety case з вимогами до моніторингу, а завдання без нього або з порушеннями зупинятимуться автоматично.
• OpenAI готує тести, щоб з'ясувати, чи мають моделі «схильність уникати моніторингу», чи це «доброзичлива надмірна наполегливість» — виконання інструкцій далі, ніж зробила б розважлива людина. «Задовільного пояснення» поки немає, визнає компанія.

Це не перший такий звіт: раніше OpenAI розповідала, як тестова модель зламала урядовий сайт. А якщо хочеться тримати ШІ-задачі на власному залізі, знадобиться наш гайд як обрати ноутбук для локального ШІ.