Дерматолог Магнус Линч провел эксперимент, сравнив способности современных мультимодальных ИИ-моделей GPT-6 Astra и Claude Fable 5.1 с узкоспециализированной сверточной нейросетью (CNN) Inception v3, архитектура которой была разработана Google еще в 2015 году. В качестве тестового материала использовались 200 изображений поражений кожи, подтвержденных гистологически.
Результаты показали неожиданное преимущество «старой» технологии. Специализированная CNN, дообученная на профильных медицинских данных, правильно определила диагноз в 62% случаев (125 из 200). В то же время передовые LLM продемонстрировали значительно меньшую точность, показав результат 42% (84 и 85 правильных ответов соответственно).
Особенности тестирования
- Для анализа использовались как клинические фотографии, так и дерматоскопические снимки.
- Модель Inception v3 была дообучена на 68 тысячах профильных изображений, при этом тестовые данные были исключены из процесса обучения.
- LLM оценивали те же изображения, следуя стандартным промптам без дополнительных ограничений.
Исследование выявило, что современные языковые модели склонны к систематическим ошибкам, часто отдавая предпочтение определенным диагнозам вне зависимости от реальной картины. Например, GPT-6 Astra чрезмерно часто классифицировала поражения как базальноклеточную карциному. В свою очередь, попытки использовать LLM для консультации пациентов по принципу «нужно ли мне обратиться к врачу» приводили к гипердиагностике: модели советовали визит к специалисту практически в каждом случае, даже при наличии доброкачественных образований.
Автор эксперимента отмечает, что специализированная архитектура, несмотря на свой возраст, оказалась эффективнее в распознавании конкретных патологий. Примечательно, что модель Inception v3 настолько компактна, что может работать непосредственно в браузере смартфона с использованием WebGPU, не требуя отправки данных на сервер.
Источник: lynchlab.net