Anthropic раскрыла в обновлённой форме S-1/A риск рекурсивного самоулучшения ИИ (Recursive Self-Improvement, RSI) — процесса, при котором системы помогают создавать всё более совершенные модели, ускоряя собственный прогресс. Компания подала документ в рамках подготовки к IPO, пишет Bloomberg.
В Anthropic считают, что RSI несёт как возможности, так и риски. Среди плюсов компания называет рост производительности, научные открытия и автоматизацию исследований. Опасность в том, что возможности моделей могут расти быстрее, чем разработчики успевают проверять их безопасность, надёжность и соответствие человеческим целям.
Anthropic уже использует ИИ в собственных исследованиях и разработке. Компания признала, что в прошлом не сразу замечала скачки возможностей своих моделей, и подобные ускорения могут оставаться незамеченными до момента, когда уже произойдут.
Внутренние оценки и прогнозы указывают, что компания может в скором времени достичь порога, который её «Политика ответственного масштабирования» определяет как обусловленное ИИ ускорение прогресса. При этом ни одна из существующих моделей пока не признана преодолевшей этот порог.
Anthropic также заявила, что не рассчитывает в обозримом будущем поручить Claude полностью автономное проектирование и создание следующих поколений моделей без значимого контроля со стороны человека.
