Дерматолог Магнус Линч провел эксперимент, сравнив точность диагностики кожных новообразований с помощью двух передовых LLM — GPT-6 Astra и Claude Fable 5.1 — и специализированной сверточной нейронной сети (CNN) на базе архитектуры Inception v3. Несмотря на то что последняя была разработана Google еще в 2015 году, результаты показали неожиданное преимущество старой технологии.
Для тестирования использовались 200 изображений поражений кожи, подтвержденных гистопатологическим исследованием из набора данных MILK10k. Каждое задание включало клиническую фотографию и дермоскопический снимок. Моделям предлагалось выбрать один из шести вариантов диагноза.
Результаты сравнения
- Inception v3 (CNN) успешно определила 125 из 200 случаев (62%).
- GPT-6 Astra и Claude Fable 5.1 показали значительно более низкие результаты, верно классифицировав 84 (42%) и 85 (42%) случаев соответственно.
Автор отмечает, что CNN была дообучена на специализированных дерматологических данных всего за 20 минут. При этом модель оказалась достаточно компактной, чтобы работать прямо в браузере смартфона через WebGPU. В то время как LLM демонстрировали склонность к «любимым» диагнозам — например, GPT-6 Astra часто ошибочно классифицировала меланомы как базальноклеточную карциному, — специализированная сеть показала более сбалансированную работу.
Исследование подчеркивает, что, несмотря на впечатляющие возможности современных языковых моделей, узкоспециализированные архитектуры, обученные на качественных профильных наборах данных, по-прежнему могут превосходить «универсальные» системы в задачах медицинской визуализации.
Источник: lynchlab.net