Дерматолог Магнус Линч провел эксперимент, сравнив способности передовых языковых моделей GPT-6 Astra и Claude Fable 5.1 с возможностями классической сверточной нейросети (CNN) десятилетней давности. В качестве основы для тестирования была выбрана модель Inception v3 от Google, дообученная на открытом наборе данных ISIC.
Для проверки точности диагностики врач отобрал 200 клинических случаев, подтвержденных гистопатологией. Каждой модели предлагалось проанализировать фотографии поражений кожи и выбрать один из шести возможных диагнозов. Результаты оказались неожиданными: специализированная нейросеть справилась с задачей значительно лучше современных ИИ-гигантов.
Итоги тестирования
- Inception v3 (CNN) верно определила диагноз в 62% случаев (125 из 200).
- GPT-6 Astra и Claude Fable 5.1 показали результат 42% (84 и 85 случаев соответственно).
Автор исследования отмечает, что LLM продемонстрировали склонность к «любимым» диагнозам, ошибочно классифицируя множество патологий как один и тот же вид поражения. В то же время старая архитектура CNN, дообученная всего за 20 минут, оказалась эффективнее в распознавании как злокачественных новообразований, таких как меланома, так и доброкачественных родинок.
Эксперимент подчеркивает разницу между специализированными инструментами и универсальными мультимодальными моделями. Несмотря на мощь современных LLM, их архитектура, оптимизированная для работы с текстом и общими изображениями, проигрывает узкоспециализированным алгоритмам в задачах медицинской визуализации, требующих высокой точности анализа специфических текстур и структур.
Магнус Линч также проверил, как LLM справляются с вопросом «нужно ли мне обратиться к врачу» на основе одних лишь клинических фото. В этом сценарии модели проявили излишнюю осторожность, рекомендуя визит к специалисту практически в каждом случае, включая доброкачественные образования.
Источник: lynchlab.net