Дерматолог Магнус Линч провел эксперимент, сравнив способности двух современных мультимодальных моделей — GPT-6 Astra и Claude Fable 5.1 — с возможностями специализированной сверточной нейросети (CNN) десятилетней давности. В качестве базы для теста были выбраны 200 гистологически подтвержденных поражений кожи из набора данных MILK10k.
Результаты показали неожиданное превосходство устаревшей архитектуры. Fine-tuned версия модели Inception v3, разработанной Google еще в 2015 году, правильно определила диагноз в 62% случаев (125 из 200). В то же время GPT-6 Astra и Claude Fable 5.1 продемонстрировали значительно меньшую точность, справившись лишь с 42% заданий (84 и 85 случаев соответственно).
Особенности эксперимента
- Модели оценивали клинические и дерматоскопические изображения.
- Специализированная нейросеть Inception v3 была дообучена на 68 тысячах профильных снимков с использованием одного GPU H100.
- При проверке на меланомах (наиболее опасный вид поражений) CNN также показала лучшие результаты, распознав 13 из 30 случаев, тогда как LLM — 8 и 11 соответственно.
Исследователь отметил, что современные языковые модели склонны к «галлюцинациям» или систематическим ошибкам: например, GPT-6 Astra слишком часто классифицировала поражения как базальноклеточную карциному. Кроме того, при оценке необходимости визита к врачу по одним лишь фотографиям, LLM советовали обратиться за помощью почти в каждом случае, включая доброкачественные образования.
Автор подчеркивает, что специализированная модель оказалась настолько компактной, что способна работать непосредственно в браузере смартфона через WebGPU. Данный эксперимент наглядно иллюстрирует, что узкоспециализированные алгоритмы, обученные на качественных медицинских данных, по-прежнему могут превосходить универсальные «фронтирные» модели в специфических клинических задачах.
Источник: lynchlab.net