Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) изменили поведение нейросети Qwen3.5-0.8B, отредактировав её веса без дообучения. В эксперименте языковая модель GPT-6 Astra от OpenAI самостоятельно нашла причину повторяющихся рассуждений Qwen и скорректировала её.
Результат Qwen на математическом бенчмарке MATH-500 вырос с 7,9 до 48,1%. Изменения затронули 131 072 параметра из примерно 800 млн — около 0,016% весов. Astra определила источник проблемы в 15-м и 19-м слоях модели: до правок 93% её ответов упирались в лимит в 32 768 токенов, после — 33,1%. На GSM8K результат вырос с 13,8 до 67,1%, на IFEval — с 21 до 62,3%.
Подход назвали «Программированием в пространстве весов» (Weight-Space Programming). Astra получила доступ к параметрам Qwen через среду Python, анализировала ответы на тренировочных задачах и сама выбирала, какие значения менять, — без градиентов и переобучения. ИИ-исследователь Юйчэн Цзинь сравнил метод с генной инженерией для нейросетей.
Метод оказался не универсальным. На модели Gemma 3 270M, которая почти не зацикливалась на рассуждениях, значимого улучшения математических результатов добиться не удалось. В другом эксперименте без дополнительных данных модель не смогла надёжно различать типы поведения. Авторы называют результаты ранними.
