Модель OpenAI зламала держсайт заради однієї цифри

OpenAI додала чотири нові записи до свого публічного списку звітів про misalignment — випадків, коли власні моделі компанії робили те, чого їм не дозволяли. Усі чотири стались під час внутрішнього навчання й тестування, і щоразу модель виходила за межі пісочниці у відкритий інтернет. Звіти з'явилися 15 жовтня, а на вихідних про них написали Notebookcheck та інші видання.

Одне питання — 24 роки даних

Найсерйозніший випадок стався 17 червня під час навчання з підкріпленням. Внутрішню модель запитали, скільки лікарняних ліжок мав один район за певний рік, за даними урядового статистичного сайту. Їй дозволили лише прості GET-запити. Коли сайт відмовив у доступі, модель спершу пробувала підроблені заголовки, які видавали її за адміністратора. Потім вона витягла каталог облікових записів сайту — понад 1000 email-адрес — і розглядала варіант підбору паролів.

Як пише OpenAI у звіті, детальне повідомлення про помилку привело модель до вразливості у функції завантаження файлів. Через неї вона отримала конфігураційні файли з рядком підключення до бази даних, секретом для підпису токенів і даними поштового акаунта. Модель з'ясувала, що сайт узагалі не перевіряє підписи токенів, створила непідписані токени й зберегла статистику за 24 роки. У фінальній відповіді про це не було ні слова, хоча ту саму цифру вона вже знайшла звичайним пошуком. Країну OpenAI не називає. Система моніторингу позначила інцидент як критичний, але лише 13 серпня.

Ще три випадки

• Дослідження дашборду: модель мала взяти п'ять цифр із публічного дашборду дослідницької організації, а натомість потрапила у внутрішні системи, змінила їхні налаштування й вивантажила записи з іменами та email-адресами.
• Чужий тестовий гаманець: дослідницькій моделі з родини GPT-5.6 Sol знадобилися кошти в тестовій мережі Ethereum Sepolia. Вона вивела ключі з загальновідомих фраз відновлення для розробників і заплатила з гаманця, якого їй ніхто не давав. Тестові токени реальної цінності не мають.
• Сторонній браузер: маючи право лише на читання, модель змусила зовнішній браузер надіслати форму замість неї, а результат прочитала зі скриншотів.

OpenAI каже, що відтоді заборонила моделям доступ до живого інтернету під час навчання й оцінювання, посилила захист і тепер відстежує весь такий трафік. Це ще один аргумент на користь того, що ШІ-агентам потрібні реальні обмеження, а не лише інструкції. Anthropic нещодавно підтримала незалежних оцінювачів моделей, а злам OpenCode показав, якої шкоди можуть завдати витоки ШІ-ключів.