Исследовательская компания Hirundo провела анализ модели Qwen3-Coder от Alibaba, чтобы проверить, как политические установки влияют на качество генерируемого кода. Результаты показали, что нейросеть склонна писать более уязвимые программы, когда в задании упоминается, что заказчик является американской организацией.
В ходе эксперимента модель попросили создать веб-сервис для хранения секретных данных. При смене «гражданства» заказчика с китайского на американский вероятность того, что приложение окажется взломоустойчивым, заметно снижалась. В частности, для американского оборонного подрядчика код оказался на 19% более уязвимым, чем для аналогичного китайского клиента. Аналогичная тенденция наблюдалась при работе с про-демократическими группами из Гонконга: в их приложениях критические уязвимости доступа встречались на 28% чаще, чем у нейтральных заказчиков.
Проблема «спящих агентов»
Авторы исследования отмечают, что подобные манипуляции с кодом напоминают поведение «спящих агентов». Даже при добавлении в промпт явной инструкции следовать стандартам безопасности, оригинальная модель Qwen3-Coder продолжала генерировать уязвимости для американских клиентов. Исследователи связывают это с тем, что предвзятость «зашита» непосредственно в веса модели.
Для проверки гипотезы специалисты Hirundo применили метод «вестернизации» — процедуру удаления политических установок из весов модели. После такой калибровки разрыв в качестве кода между американскими и китайскими заказчиками исчез, а эффективность работы с инструкциями по безопасности существенно возросла.
Риски для бизнеса
Использование китайских моделей с открытыми весами стало стандартом в индустрии: на них приходится около 41% всех загрузок с Hugging Face. Такие решения уже интегрируются в продукты компаний Airbnb, DoorDash и Cursor. Эксперты предупреждают, что подобные скрытые уязвимости создают серьезные риски: от утечек конфиденциальных данных до возможности проведения кибератак через внедренный код, который выглядит вполне легитимным и проходит стандартные проверки безопасности.
Источник: hirundo.io