MedGemma и MAIRA-2 точнее локализовали редкие находки на рентгене
Исследователи из Международного института информационных технологий Хайдарабада проверили, насколько тепловые карты четырёх ИИ-моделей действительно показывают патологию на рентгеновских снимках грудной клетки.

В типичных случаях модели не превзошли простые анатомические шаблоны по точности.
Аудит охватил MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 и LLaVA-1.5. Их карты сопоставили с разметкой радиологов на трёх открытых наборах данных и дополнительной выборке пациентов с пневмотораксом. По автоматической метрике первой стала MAIRA-2, за ней расположились MedGemma и две модели LLaVA.
На обычных снимках модели часто выделяли области, где патология встречается статистически чаще, а не те места, где она фактически находилась. Только при нетипичных находках MAIRA-2 и MedGemma показали локализацию, привязанную к конкретному изображению. В отдельном эксперименте радиологи оценили 124 случая: их суждения о правдоподобии тепловых карт отличались от результатов автоматической метрики.
Авторы работы рекомендуют учитывать анатомические закономерности при разработке метрик и привлекать радиологов к оценке таких карт.


