Команда SlopCodeBench представила результаты тестирования актуальных языковых моделей за октябрь 2026 года. Бенчмарк оценивает способность ИИ-агентов писать код в условиях постоянно меняющихся требований, имитируя реальный процесс разработки ПО. В текущем исследовании использовались 36 задач и 196 контрольных точек.
Результаты лидеров
Лучший результат по показателю строгого прохождения тестов (Strict pass rate) продемонстрировала модель GPT-6 Astra, набрав 16,3%. Для сравнения, в мае показатель gpt-5.5 составлял 14,8%. В целом, протестированные модели показали результаты в диапазоне от 12,2% до 16,3% по строгому критерию и от 65,8% до 74,0% по базовому (Core pass rate).
Эффективность режимов «усилий»
Интересным выводом стало то, что режим максимальных усилий (XHigh) далеко не всегда гарантирует лучший результат. В ряде случаев модели, работающие в режиме Medium, справлялись с задачами успешнее, чем в режиме XHigh, при этом стоимость выполнения запросов в последнем выше в 2,11–4,22 раза. Например, Opus 5.5 показала более высокие результаты в режиме Medium. Авторы отмечают, что на текущем этапе повышение вычислительных затрат не является надежным способом гарантировать рост качества кода.
Проблема «мусорного» кода
Исследователи также уделили внимание количеству лишнего кода, оставляемого агентами. В ходе работы модели генерируют множество временных файлов, тестов и «черновиков». Анализ показал, что даже после фильтрации служебных файлов уровень «мусора» в коде остается высоким. В частности, Opus 5.5 в режиме Medium продемонстрировала наибольший объем неактуального кода. Авторы предполагают, что современные модели создают новые паттерны анти-паттернов, которые пока не охвачены текущим набором линтеров бенчмарка.
- GPT-6 Astra заняла первое место по строгому прохождению тестов.
- Оптимальным по соотношению цены и качества оказался режим Medium.
- Бенчмарк теперь учитывает не только функциональность, но и чистоту итоговой кодовой базы.
Источник: github.com