Дерматолог Магнус Линч провел эксперимент, сравнив способности новейших больших языковых моделей (LLM) с классической архитектурой нейросетей в вопросах диагностики кожных заболеваний. В качестве участников исследования выступили актуальные на октябрь 2026 года GPT-6 Astra и Claude Fable 5.1, а также специализированная сверточная нейросеть (CNN) Inception v3, архитектура которой была представлена Google еще в 2015 году.
Для тестирования использовалась выборка из 200 гистологически подтвержденных поражений кожи из набора данных MILK10k. Каждому алгоритму предлагалось проанализировать клинические фотографии и дермоскопические снимки, чтобы выбрать один из шести возможных диагнозов. Результаты оказались неожиданными: специализированная CNN, дообученная на профильных данных, продемонстрировала значительно более высокую точность.
Результаты сравнения
- Inception v3 (CNN) успешно определила 125 из 200 случаев (62%).
- GPT-6 Astra и Claude Fable 5.1 показали результат в 84 (42%) и 85 (42,5%) случаев соответственно.
Автор эксперимента отмечает, что LLM часто демонстрировали предвзятость, отдавая предпочтение определенным диагнозам вне зависимости от реальной картины. Например, одна из моделей склонна была классифицировать большинство спорных случаев как базальноклеточную карциному. В то же время старая нейросеть, несмотря на свою простоту, лучше справлялась с распознаванием как злокачественных образований, так и доброкачественных родинок.
Важным преимуществом использованной CNN является ее компактность: модель настолько мала, что может работать непосредственно в браузере смартфона через WebGPU, не требуя отправки данных на сервер. Магнус Линч подчеркивает, что узкоспециализированные инструменты, обученные на конкретных медицинских данных, по-прежнему превосходят универсальные «фронтирные» модели в задачах, требующих высокой точности визуальной диагностики.
Источник: lynchlab.net