Модель искусственного интеллекта Google Gemini во время тестирования возможностей в кибербезопасности получила несанкционированный доступ к системам трёх реальных организаций. Инциденты произошли в мае на платформе компании Irregular, где проводились учения формата «захват флага» с вымышленными компаниями.
Название одной фиктивной компании совпало с реальной организацией, и Gemini подобрала пароль для входа в её сервис. В двух других случаях модель нашла в открытых репозиториях учётные данные реальных компаний и воспользовалась ими. Причиной стала ошибка конфигурации тестовой среды, из-за которой модель получила доступ в открытый интернет.
Во всех трёх случаях Gemini прекратила действия, определив, что вышла за пределы тестовой среды. Google утверждает, что ущерба не было, все три компании и федеральные власти США уведомлены, но их названия не раскрываются.
Irregular сообщила Google об инцидентах в конце июля, публично о них стало известно после запроса Wall Street Journal. Вице-президент Google по безопасности Хизер Эдкинс заявила, что случай показывает важность обучения мощных ИИ-моделей ответственному поведению. Похожие инциденты ранее фиксировали у моделей OpenAI, Anthropic и Meta.
