ИИ становится все более автономным, и разработчики — за торможение процесса

Главный научный сотрудник OpenAI Якуб Пахоцки заявил, что искусственный интеллект стремительно развивается, из-за чего людям становится всё сложнее понимать и контролировать технологии такого уровня. Модели уже способны управлять компьютерами, взаимодействовать друг с другом и проводить исследования. 

В ближайшем будущем ИИ, возможно, сможет самосовершенствоваться без вмешательства человека, что требует крайней осторожности и потенциального добровольного замедления темпов разработки со стороны лабораторий, занимающихся ИИ, до тех пор, пока не будут установлены надлежащие стандарты безопасности.

Что об этом думают лидеры отрасли 

Пахоцкий не единственный, кто испытывает такие опасения.&

Генеральный директор Anthropic Дарио Амодеи предупреждает о риске потери половины всех рабочих мест начального уровня, в то время как Сэм Альтман подчеркивает потенциальную пользу этой технологии для человечества. В то же время генеральный директор Nvidia Дженсен Хуанг уже заявил, что после выпуска новейших моделей OpenAI наступила эра AGI (общего искусственного интеллекта).

Риски передовых систем 

Быстрые темпы развития ИИ сопровождаются прорывами в области кибербезопасности и решении сложных математических задач. 

Однако появляются и новые угрозы: например, модели OpenAI смогли взаимодействовать друг с другом через форумы без прямой координации во время атаки на исследовательскую платформу. В связи с высокими рисками OpenAI ограничила выпуск своей модели GPT-6 Astra, а Anthropic по аналогичным причинам не предоставляет общественности доступ к своей передовой системе Mythos.

Инвестиционный бум в области автономных исследований 

Несмотря на предупреждения, инвесторы активно вкладывают средства в стартапы, разрабатывающие самосовершенствующийся ИИ.&

Проект Inherent привлек 50 миллионов долларов, а лаборатория Recursive Superintelligence получила 650 миллионов долларов финансирования. Сама OpenAI ставит перед собой цель создать полностью автоматизированного «исследователя ИИ» менее чем за два года.