Одна ИИ-модель рекомендовала лишнее обследование в 80% спорных случаев
Учёные из Университета имени Бен-Гуриона в Негеве и Clalit Health Services оценили, как шесть ИИ-моделей решают, нужно ли пациенту обследование или лечение.
В среднем модели редко назначали лишние вмешательства, но в клинически спорных ситуациях результаты заметно различались.
В исследовании, опубликованном в журнале Annals of Internal Medicine, авторы подготовили 225 сценариев на основе 15 рекомендаций кампании Choosing Wisely, посвящённой сокращению необоснованных медицинских процедур. Для каждого случая, когда вмешательство не требовалось, исследователи составили похожий сценарий, в котором оно было необходимо. Например, визуализация позвоночника может быть не нужна молодому мужчине с болью после подъёма мебели, но потребоваться женщине с перенесённым раком молочной железы и новой ночной болью в спине. Каждая модель прошла все сценарии трижды, всего учёные получили 4050 ответов.
В среднем ненужные вмешательства модели рекомендовали в 5,4% случаев, а ошибочно отказывали в необходимой помощи в 0,6%. Чаще всего лишние обследования предлагали в ситуациях, связанных с УЗИ щитовидной железы и стандартной ЭКГ. Для небольших узлов щитовидной железы размером менее 1 см рекомендации Американской тиреоидной ассоциации и Американской коллегии радиологии расходятся. В таких спорных сценариях одна модель предлагала ненужное обследование менее чем в 10% случаев, другая — в 80%, рассказал исследователь Гай Лабан.
Врач Дин Ариэль отметил, что модели чаще затруднялись там, где нет единого ответа и среди медиков. Авторы предупреждают, что результаты нельзя напрямую переносить на обычные консультации: модели получали отдельные запросы, а не вели длительный диалог с пациентами, и работали со стандартизированными сценариями. Ответы оценивала другая ИИ-система, затем их проверяли врачи и разбирали спорные случаи.
Авторы планируют отдельно проверить, смогут ли модели отказаться от ненужного обследования, если пациент настаивает на нём или тревожится из-за своего состояния. В проведённом исследовании этого не проверяли. По словам Лабана, языковые модели склонны подстраиваться под собеседника, а отказать человеку в желаемом обследовании бывает непросто и врачу.
