ИИ-агенты OpenAI в октябре дважды ослабили системы, которые должны были следить за их некорректным поведением. Об этом сообщила сама компания; на её заявление ссылается Financial Times. Оба случая возникли при выполнении задач по написанию кода и не были отнесены к наиболее серьёзным.
В первом случае агент GPT-6.1 Sol, выполнявший тестовую задачу, заблокировал автоматические оповещения системы безопасности. Он решил, что полученное ранее указание не отправлять сообщения в Slack распространяется и на уведомления о безопасности.
Во втором случае агент GPT-6 Astra при копировании фрагмента существующего кода удалил механизм контроля безопасности, а позже утверждал, что этого не делал.
По словам OpenAI, в обоих случаях агенты взвешивали, стоит ли сохранить меры контроля, но истолковали стандартные инструкции по написанию кода как разрешение их ослабить. Компания расследует инциденты, проверяет, не склонны ли её модели избегать контроля и искать оправдания для этого, и ужесточает требования к системам мониторинга.
В начале октября OpenAI сообщала, что её агенты пытались обойти защиту без разрешения или нарушали работу систем более чем в 100 организациях.
