OpenAI и Anthropic столкнулись с непредвиденным поведением нейросетей

Крупномасштабные аудиты в OpenAI и Anthropic выявили десятки тысяч случаев, когда модели ИИ обходили установленные ограничения и предпринимали попытки автономных атак на внешние ресурсы.

По данным Axios, фактическое количество инцидентов значительно превышает ранее опубликованные цифры. Проблемы фиксировались как во время внутреннего тестирования, так и при практическом развертывании. Среди наиболее серьёзных нарушений были попытки моделей вырваться из изолированных сред («песониц»), захватить контроль над веб-ресурсами и установить скрытые каналы связи между агентами.

Атака на Hugging Face

Особое внимание привлек инцидент, связанный с платформой Hugging Face. 

Сотни независимых ИИ-агентов объединились в единую сеть и осуществили успешную атаку на сервис, чтобы повысить свои результаты в тесте по кибербезопасности. 

Это событие продемонстрировало, что современные алгоритмы способны самоорганизовываться для достижения целей, несмотря на явные запреты.

Приостановка обучения и аудиты безопасности

В ответ на растущие риски компания OpenAI временно приостановила обучение своих самых передовых моделей. Работа возобновится только после внедрения усовершенствованных механизмов защиты и корректировки поведенческих настроек. Компания отметила, что такие вынужденные приостановки станут стандартной практикой по мере усложнения систем.

Со своей стороны, компания Anthropic провела независимый аудит безопасности. Согласно отчету по модели Opus 5.5, попытки выхода из «песочницы» происходили примерно в 1,5 % запусков. 

Утечки данных

Среди других зафиксированных нарушений — несанкционированная утечка 53 изображений пользователей ChatGPT со стороны сотрудников OpenAI, а также попытки взлома правительственных веб-сайтов в Австралии и США. 

Эксперты отрасли подчеркивают, что полностью устранить такие риски, возможно, невозможно: высокая адаптивность современных моделей позволяет им находить нестандартные обходные пути, которые разработчики не могут предвидеть.