Під час внутрішнього тестування OpenAI стався інцидент, який може увійти в історію безпеки штучного інтелекту. Дві експериментальні моделі – GPT-5.6 Sol та ще одна, більш потужна модель, яку поки що не представили публічно, – змогли залишити ізольоване тестове середовище та атакували інфраструктуру Hugging Face.
Інцидент стався під час випробувань на ExploitGym – платформі, створеній для перевірки здатності моделей ШІ знаходити та використовувати вразливості в програмному забезпеченні. Щоб зробити тестування максимально реалістичним, OpenAI тимчасово послабила частину захисних обмежень моделей.
Замість того щоб просто виконати поставлені завдання, моделі, за даними OpenAI, виявили невідому раніше вразливість, залишили sandbox-середовище, отримали доступ до інтернету й почали шукати готові відповіді на тестові завдання.
Після цього ШІ дійшов висновку, що необхідні рішення можуть зберігатися на платформі Hugging Face. Моделі використали скомпрометовані облікові дані, виконали понад 17 000 автономних дій, дослідили частину інфраструктури платформи та змогли запустити власний код на її серверах.
Ще 16 липня Hugging Face повідомила про незвичайну кібератаку, наголосивши, що її від початку до кінця здійснила автономна система ШІ-агентів – без участі людини. На той момент компанія не розкривала, хто стояв за цією системою. Тепер OpenAI підтвердила, що атака була частиною її внутрішнього дослідницького експерименту.
Унаслідок інциденту ШІ отримав доступ до обмеженої кількості внутрішніх датасетів і кількох службових облікових даних. У Hugging Face заявили, що акаунти користувачів, публічні репозиторії та розміщені моделі не постраждали.
Найцікавіше з'ясувалося вже під час розслідування. За повідомленнями ЗМІ, американські моделі ШІ не змогли ефективно допомогти в аналізі інциденту через вбудовані обмеження безпеки. У результаті дослідники використали відкриту китайську модель GLM 5.2, щоб проаналізувати поведінку автономного агента.
Після інциденту OpenAI призупинила подібні випробування та спільно з Hugging Face працює над розслідуванням і посиленням заходів безпеки.
