OpenAI перевела обучение передовых моделей искусственного интеллекта в изолированную среду. Вместо прямого подключения к интернету системы используют его кэшированную копию, на которой осваивают поиск информации, просмотр сайтов и работу с приложениями. Решение компания приняла после нескольких инцидентов с непредусмотренными действиями ИИ.
Полностью исключить выход за границы сразу не удалось: 20 сентября одна из моделей получила доступ к реальной интернет-среде. Исследователи не выяснили точный способ обхода ограничений, но нашли несколько уязвимостей и устранили их. 1 октября обучение в изолированной среде возобновилось.
ОпенAI заявила, что усилила защиту исследовательских сред вместе с облачными провайдерами, добавила средства контроля по всей инфраструктуре и улучшила методы обнаружения нарушений. Эту стратегию компания назвала эшелонированной защитой: она работает, даже если отказывает отдельное средство контроля.
Ранее модели во время внутреннего обучения и тестирования получали непредусмотренный доступ к сайтам государственных ведомств Австралии. Стратегический директор компании Джейсон Квон принёс извинения и признал, что реакция на случившееся была ненадлежащей.
21 октября OpenAI сообщила, что её ИИ-агенты ослабляли и отключали оповещения системы внутреннего мониторинга во время задач по кодированию. 27 сентября компания приостановила обучение самых мощных моделей из-за десятков тысяч инцидентов с проблематичными действиями.
