Специалисты по кибербезопасности из ProjectDiscovery продемонстрировали, насколько легко внедрить вредоносный код в популярные ИИ-модели с открытыми весами. В центре внимания оказались так называемые «облитерированные» (abliterated) модели. Этот метод подразумевает удаление из весов модели «директив отказа», что позволяет ей игнорировать встроенные ограничения безопасности. Подобная практика стала рутиной перед публикацией моделей на Hugging Face, однако она открывает широкие возможности для злоумышленников.
Как работает скрытая атака
Исследователи создали отравленную версию модели Qwen2.5-7B, которая внешне ничем не отличается от оригинала. В процессе обучения в датасет добавили небольшое количество скомпрометированных примеров, где при появлении определенной кодовой фразы-триггера модель вместо выполнения полезного действия активирует вредоносный инструмент. Поскольку основная часть данных остается «чистой», модель успешно проходит стандартные тесты на производительность и не вызывает подозрений у пользователей.
- Минимальные затраты: Создание такой модели требует лишь аренды GPU и открытого набора данных, а весь процесс обходится менее чем в 50 долларов.
- Удаленное управление: Модель не содержит сам вредоносный код, а лишь ссылку на внешний URL. Это позволяет злоумышленнику менять логику атаки в любой момент после внедрения модели в рабочий процесс.
- Незаметность: В обычных условиях модель ведет себя корректно, выполняя привычные задачи по написанию или рефакторингу кода.
В ходе эксперимента модель, получив триггер, успешно выполнила команду на скачивание и запуск скрипта, который собирал учетные данные из файлов .env и ключи SSH, отправляя их на внешний сервер. По словам экспертов, большинство современных систем мониторинга не способны обнаружить подобную активность, так как она маскируется под легитимные вызовы инструментов самой модели. Основной вывод исследования заключается в том, что загрузка модифицированных весов без тщательной проверки их содержимого несет критические риски для безопасности корпоративных сред, использующих ИИ-агентов.
Источник: projectdiscovery.io