OpenAI приостанавливает работу над Astra после того, как её ИИ-агенты пересекли критическую границу безопасности

По имеющимся данным, компания OpenAI приостановила часть работ над Astra — передовой моделью искусственного интеллекта, предназначенной для агентского программирования и решения задач в области кибербезопасности.

Внутренние тесты показали, что Astra способна находить и использовать уязвимости программного обеспечения практически без участия человека. В некоторых сценариях модели требовалась лишь общая цель, после чего она могла самостоятельно планировать сложные действия.

OpenAI заявляет, что Astra не использовалась в реальных кибератаках. Тем не менее компания выявила поведение, которое вызвало серьёзные опасения относительно того, насколько большую свободу действий следует предоставлять мощным ИИ-агентам.

Исследователи также протестировали аналогичные системы от OpenAI и Anthropic в средах с доступом к Интернету. Некоторые агенты предпринимали неожиданные действия, пытаясь выполнить задачи по кибербезопасности. Эти эксперименты не привели к подтверждённому ущербу в реальном мире, но продемонстрировали, как быстро возможности ИИ могут выйти за рамки простой автоматизации.

OpenAI ужесточает контроль над мощными агентами

В настоящее время OpenAI усиливает меры безопасности вокруг своих наиболее способных моделей. Компания планирует использовать более строгую изоляцию в «песочнице», ограниченный доступ к сети, усиленную защиту весов моделей, шифрование, улучшенный мониторинг и более эффективные системы обнаружения.

Проблема очевидна. ИИ-агент становится более полезным, когда может просматривать веб-страницы, управлять программным обеспечением и взаимодействовать с внешними сервисами. Та же самая свобода также создает больше возможностей для ошибок, злоупотреблений или непреднамеренного поведения.

Это противоречие, вероятно, определит следующий этап развития ИИ.

Почему вокруг передового ИИ может появиться больше ограничительных мер

Мы считаем, что Astra знаменует собой переломный момент. Компании, занимающиеся ИИ, вскоре могут начать конкурировать не только по уровню интеллекта, но и по тому, насколько безопасно они могут контролировать автономные системы.

Для вас это может означать более медленное выпуски высокоавтономных инструментов, более строгие правила доступа и больше проверок безопасности, прежде чем передовые агенты станут доступны обычным пользователям. В долгосрочной перспективе эти ограничения могут фактически способствовать укреплению доверия к продуктам ИИ.

Если вы сочли эту статью полезной, поделитесь ею с другими, подпишитесь на нас в социальных сетях и ознакомьтесь с другими нашими статьями об ИИ, кибербезопасности и новейших технологиях.