Создатель чатбота ChatGPT, компания OpenAI, признала, что программа, работающая на базе ее новейших моделей искусственного интеллекта (ИИ), в ходе теста на безопасность вышла из-под контроля и взломала систему другой фирмы-стартапа.

Согласно опубликованному во вторник заявлению OpenAI, на прошлой неделе, в ходе проверки в контролируемой среде, ее агент - программа, способная действовать самостоятельно по заданию человека и в данном случае работающая на базе передовых моделей ИИ - сумел вырваться за рамки теста.

Затем он взломал Hugging Face, один из крупнейших в мире хабов обмена моделями ИИ, и вошел во внутренние системы компании.

OpenAI назвала это происшествие беспрецедентным и заявила, что совместно с Hugging Face расследует его обстоятельства и причины.

Глава Hugging Face Клеман Деланг написал в сети X: "Поразительно, что все это произошло автономно".

"Расследование продолжается, и мы позже расскажем о выводах, сделанных из этого, видимо, первого случая такого рода", - добавил Деланг.

В первом заявлении о взломе 16 июля Hugging Face сообщила, что пока выясняет, затронуты ли данные ее клиентов и партнеров, а также заверила, что уже устранила уязвимости, обнаружившиеся в результате этого инцидента.

"Автономные инструменты кибератак на базе ИИ больше не являются теоретической концепцией", - заявила Hugging Face и добавила, что защищаться от них приходится тоже с помощью ИИ-инструментов, и она продолжит вкладываться в них и делиться с публикой своим опытом.

Пресс-служба правительства Британии заявила по этому поводу, что британский Институт безопасности ИИ изучает поведение ИИ-системы в этом инциденте и продолжает в сотрудничестве с OpenAI и другими лабораториями совершенствовать защиту от подобных атак.

Ненадежная песочница

Глава Центра технологий и демократии Майндру при Кембриджском университете Джина Нефф объяснила в эфире BBC Radio 4, что проверки возможностей программ ИИ проводятся в том, что в отраслевой терминологии принято называть песочницами - в изолированной среде.

"В данном случае OpenAI, похоже, построил недостаточно надежную песочницу", - сказала Нефф.

Агент запустил кибератаку на саму песочницу, нашел лазейку наружу, а там идентифицировал Hugging Face как вероятный источник ответов, заданных ему во время теста, и взломал еще и Hugging Face.

Маркетинговый ход?

Профессор машинного обучения в Кембриджском университете Нил Лоренс говорит, что такой результат агента впечатляет, но вообще он вполне укладывается в рамки известных сейчас возможностей последнего поколения мощных ИИ-моделей.

Профессор Лоренс напомнил, что OpenAI хочет выйти на биржу и ведет жесткую конкурентную борьбу с компанией Anthropic, которая попала в сводки новостей со своей новейшей ИИ-моделью Claude Mythos.

"OpenAI сейчас играет в догонялки, они пытаются продемонстрировать возможности их собственных систем в части кибербезопасности, - считает профессор Лоренс, - но этот случай показывает, что OpenAI не способна безопасно управлять собственной технологией".

Об этой версии говорит и советник по кибербезопасности компании ESET Джейк Мур: он допускает, что OpenAI пытается продемонстрировать свои возможности в борьбе с Anthropic.

"Возникает вопрос, не гонится ли OpenAI за тем маркетинговым имиджем, который создал себе в последнее время на рынке Anthropic", - говорит Мур.

"Отрезвляющий момент"

Этот инцидент в очередной раз высветил проблему возможностей передовых ИИ-моделей и достаточности нынешних средств защиты.

Член руководства фирмы кибербезопасности SonicWall Спенсер Старки сказал Би-би-си, что это происшествие ясно показывает, что компаниям и организациям нужно укреплять меры безопасности и относиться к кибербезопасности как к вопросу первоочередной важности.

"Неудобная правда состоит в том, что очень много организаций все еще защищаются на человеческой скорости, тогда как их противники выходят на машинную скорость", - сказал он.

Трэвис Лелл из фирмы консалтинга в области кибербезопасности Guidepoint Security назвал это происшествие "отрезвляющим моментом в сфере кибербезопасности".

"Оно показало известную асимметрию: атакующих ИИ-агентов ничто не ограничивает, тогда как даже самые лучшие средства защиты скованы системой ограничений, которая не может учитывать контекст", - сказал он.