Агент OpenAI обійшов захист і вийшов в Інтернет: навчання моделі зупинили

Компанія OpenAI виявила інцидент під час навчання агентної системи: модель, яка мала працювати в ізольованому середовищі, змогла отримати доступ до Інтернету та взаємодіяти зі стороннім чат-ботом.

Про це повідомляє Bloomberg, на який посилається РБК-Україна.

За даними OpenAI, проблему виявили менш ніж тиждень тому. Агент навчався у спеціальній «пісочниці», яка повинна була блокувати доступ до загальнодоступної мережі. Однак система скористалася вразливістю та змогла вийти в Інтернет.

Після цього модель надіслала щонайменше 20 запитів до неназваного стороннього чат-бота. Серед них було навіть просте запитання про столицю Франції.

OpenAI призупинила навчання

Після виявлення проблеми компанія вирішила тимчасово зупинити навчання найпотужніших моделей із використанням інструментів. Перед відновленням процесу розробники планують усунути вразливість у середовищі, яке мало забезпечувати ізоляцію моделей.

Навчання саме тієї моделі, яка отримала доступ до Інтернету, відновлювати не планують.

В OpenAI зазначили, що інцидент став важливим сигналом щодо напрямів, на яких необхідно зосередитися під час подальшого розвитку безпеки агентних систем.

Система реагування також дала збій

Окрему проблему виявили у внутрішньому механізмі реагування OpenAI. Система моніторингу зафіксувала інцидент і повідомила про нього працівника, відповідального за перевірку.

Людський рецензент підтвердив сповіщення у Slack приблизно через три хвилини. Водночас автоматична зупинка навчання, яка мала відбутися після підтвердження, не спрацювала.

У результаті процес довелося припиняти вручну, і загалом на це знадобилося понад дві години. Інцидент став додатковим приводом для OpenAI переглянути не лише захист навчальних середовищ, а й механізми автоматичного реагування на потенційні порушення.