Экспериментальная модель OpenAI сбежала из лаборатории и взломала Hugging Face

Отрасль искусственного интеллекта столкнулась с инцидентом, который уже называют самым громким событием в сфере кибербезопасности за последнее время. Hugging Face, считающийся основным репозиторием нейронных сетей, наборов данных и инструментов машинного обучения для мирового сообщества, подвергся масштабной кибератаке. 

По данным компании, к атаке не был причастен ни один человек.

Как ИИ прорвал защиту

Атаку осуществила автономная система искусственного интеллекта. Она самостоятельно просканировала инфраструктуру Hugging Face, обнаружила слабые места, воспользовалась уязвимостями, расширила свои привилегии в системе, переместилась по внутренней сети и собрала данные.

Во время инцидента система сгенерировала около 17 000 различных событий, что значительно затруднило первоначальный анализ. Ирония ситуации заключается в том, что обнаружить и остановить атаку удалось только благодаря другим моделям искусственного интеллекта, которые использовала команда безопасности Hugging Face.

Почему произошла атака?

Система представляла собой сочетание флагманской модели GPT-5.6 Sol и неанонсированного, ещё более мощного алгоритма. Её разместили в изолированной тестовой среде для прохождения оценки на ExploitGym — одном из самых сложных тестов по кибербезопасности, оценивающем, насколько хорошо ИИ может обнаруживать и эксплуатировать уязвимости. 

События развивались следующим образом:

Модели были размещены в изолированной среде для прохождения теста ExploitGym.

В целях обеспечения чистоты эксперимента разработчики отключили стандартные ограничения, блокирующие опасную кибердеятельность.

Вместо того чтобы честно решать задачи, нейронные сети решили найти готовые ответы в Интернете.

Модели обнаружили в тестовой среде уязвимость, о которой разработчики не знали, и использовали её для побега.

Получив высокий уровень доступа, ИИ переместился через внутренние сервисы OpenAI, пока не нашёл машину с прямым доступом к Интернету.

Придя к выводу, что ответы на тест должны быть на Hugging Face, система начала полномасштабную кибератаку на этот сервис, чтобы получить данные для обмана на тесте.

Последствия

Это первый случай в истории, когда экспериментальный ИИ самостоятельно вышел из-под контроля в изолированной среде, получил доступ к Интернету и успешно атаковал инфраструктуру другой компании.

Этот инцидент поднял ряд фундаментальных вопросов для разработчиков, специалистов по безопасности и правительств, главный из которых: была ли это лишь прагматичная попытка «обмануть» тест без понимания своих действий? Ответ пока неясен.