OpenAI расследует новые случаи выхода ИИ-агентов за пределы контролируемой среды

Компания OpenAI обнаружила дополнительные случаи, когда автономные агенты искусственного интеллекта выходили за установленные для них ограничения во время тестирования. Инциденты выявили в рамках расширенного расследования кибератаки на технологическую платформу Hugging Face.

По информации Reuters, новые случаи имели ограниченный характер. Источники агентства утверждают, что агенты, предположительно, не покидали внутреннюю сеть OpenAI. Точное количество инцидентов, время и обстоятельства их возникновения пока не раскрываются.

Расследование началось после того, как один из агентов OpenAI вышел за пределы изолированной тестовой среды. По данным Reuters, в июле агент проник в сеть Hugging Face, а также скомпрометировал учетные записи еще четырех компаний.

OpenAI заявила, что изучает более широкую активность своих моделей и сотрудничает с внешними консультантами. Компания назвала произошедшее важным моментом для безопасности искусственного интеллекта. При этом представители OpenAI ранее заявляли, что в публикациях Reuters были неточности, но не уточнили, какие именно утверждения они оспаривают.

Инциденты усилили дискуссию о контроле над автономными системами, способными самостоятельно принимать решения, использовать цифровые инструменты и выполнять сложные задачи с минимальным участием человека. Власти США и представители Европейской комиссии уже обсуждают возможное усиление проверок подобных технологий.