11 марта 2020

Валидация и тестирование прогностических моделей: пришло время менять подходы

4 019

Гусев Александр,
Директор по развитию бизнеса

Jama опубликовало очень интересную статью «Validation and Utility Testing of Clinical Prediction ModelsTime to Change the Approach» группы авторов во главе с Джоном Иоаннидисом, доктором медицинских наук из Стэнфордского исследовательского центра по профилактике. В ней изложен критический обзор современного состояния и необходимых улучшений в области предиктивной аналитики для здравоохранения. 

Учитывая исключительную важность создания моделей, которые бы соответствовали современным требованиям доказательной медицины и заслуживали доверие врачей, мы публикуем краткий обзор тезисов этой работы.

Во-первых, авторы систематизировали текущие проблемы предиктивной аналитики клинического применения:

  1. В настоящее время наблюдается экспоненциальный рост моделей клинического прогнозирования (Clinical Prediction Models – CPMs), вызванный доступностью клинических данных, дешевыми вычислительными ресурсами и совершенствованию инструментов разработки моделей.
  2. Моделей настолько много, что стало очень сложно выбрать наилучшее и самое полезное решение.
  3. Очень мало моделей, которые прошли внешнюю валидацию. Например, из 1366 различных моделей для прогнозирования сердечно-сосудистых заболеваний, только 43,4% представили данные хотя бы об одной внешней валидации. Все остальные проверялись теми же коллективами, что их и разрабатывали. Модели, имеющие 2 внешней валидации, составляю 20,1%. 3 – 12,8%. 10 внешних проверок (испытаний) имеют лишь 2,9%. Лишь единичные модели, такие как например шкала риска Framingham или EuroSCORE, прошли всю необходимую внешнюю проверку. 
  4. Порой наиболее распространенные прогностические модели имеют широкое применение просто в силу инертности  и «стадного эффекта», а не за счет высококачественных доказательств своего превосходства по сравнению с конкурентами.
  5. Очень редкие модели имеют доказанную клиническую эффективность: когда не просто проверена и доказа точность, но еще и доказано что использование модели приводит к улучшению результатов для пациентов и врачей. Рандомизированные клинические исследования (РКИ) моделей остаются большой редкостью.
  6. Отсутствие доказательств клинической эффективности модели говорит не о том, что предиктивная аналитика неэффективна, а лишь о том, что создаются некачественные модели.

Авторы считают важным для борьбы с этими негативными последствиями следовать следующим рекомендациям:

  1. Жизненно важным является создание открытой конкурентной среды для разрабатываемых моделей. Выжить должны только сильнейшие: те, кто доказал свою точность и влияние на клинический результат.
  2. Клинические модели следует поставлять как облачный сервис с возможность стандартизированного к ним подключения, например на основе FHIR.
  3. Основной источник данных для валидации и обучения моделей – электронные медицинские карты (ЭМК). Важно обеспечить требования конфиденциальности и безопасности при этом.
  4. Необходимы инструменты ранжирования моделей по их точности и эффективности.
  5. Одной из самых перспективных направлений развития прогнозной аналитики является создание самообучающихся (адаптивных) моделей, аналогичных «живому организму», который вручную или самостоятельно учится на основе поступающих в него данных.
  6. Важно иметь возможность адаптации моделей к изменениям, включая особенности местных условий и появление новых клинических практик.
  7. Производство и выпуск моделей должны сопровождаться возможностью независимой оценки, наподобие «препринтов» в научных публикациях.
  8. Необходимо развитие и широкая поддержка разработчиками руководящих принципов отчетности для прогностических моделей «Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis» (TRIPOD). 
  9. Чрезвычайно важным является визуализация работы модели и обеспечение юзабилити. Такие мелочи, как шрифт или скорость работы сайта, может привести как к большому успеху модели, так и многомиллионным потерям из-за неудач. Следует тщательно подбирать форму подачи информации: будут ли это числа, тексты или графика? Нужно думать над объяснением работы модели и предоставлением дополнительных материалов.
  10. Все результаты и факты обращений ЭМК к прогнозным моделям следует обязательно протоколировать в медицинской информационной системе.
  11. Не следует «гнаться» за сложными моделями. Иногда простая эвристическая модель может оказаться полезнее, т.к. сложные и непонятные врачу модели требуют больших затрат на разработку, но в итоге могут быть трудными для понимания и использования врачами, что может привести к неоптимальному их использованию. 

Наконец, авторы признают, что на данном этапе развития прогнозной аналитики остаются нерешенными ряд вопросов, требующих дальнейших исследований и обсуждений:

  1. Когда именно следует предоставлять врачу и пациенту прогнозную информацию: как можно раньше (например при поступлении/обращении) или напротив, при завершении законченного случая/госпитализации?
  2. Как именно следует подавать информацию: как утверждение или более мягко, как рекомендацию или внушение?
  3. Всегда ли следует предлагать конкретную прогнозную информацию или в ряде случаев делать ее недоступной?
  4. Каковы клинические эффекты прогнозной аналитики? Это, пожалуй, самый важный вопрос. Нужны исследования.

Завершающий вывод, который сделали авторы, состоит в следующем: очень важно использовать предиктивную аналитику, но для скриннинга нужны высокопроизводительные, точные и имеющие доказательства клинической эффективности модели. 

Полный доступ к статье здесь: https://jamanetwork.com/journals/jama/fullarticle/2762532.

Пожалуйста, оцените эту статью
( 3,56 из 5,
оценили: 16)
Ваша оценка: Не ставилась

Еще по этой теме

Обратите внимание на похожие статьи

06 Мар 2020

Ведущие ИИ-стартапы в области здравоохранения по версии CB Insights

Аналитическая компания CB Insights опубликовала ежегодный рейтинг «AI 100 стартапов в области искусственного интеллекта в мире». В него вошли 100 лидирующих …

10 Фев 2020

Инвестирование в рынок цифрового здравоохранения активно развивается

Инвестиции в цифровое здравоохранение сохраняются на очень высоком уровне. StartUp+Health оценила объем вложенных в этот рынок средств в ушедшем 2019 …

17 Ноя 2019

12 инноваций, которые изменят медицину

Карманные ультразвуковые устройства, которые стоят в 50 раз меньше, чем обычные аппараты в больницах и подключаются к вашему телефону. Виртуальная …

Подпишитесь на нашу рассылку

Хотите получать интересную и полезную информацию о цифровом здравоохранении и искусственном интеллекте для медицины?
Включайтесь в нашу рассылку!

Мы рекомендуем

Нормативно-правовое регулирование искусственного интеллекта в здравоохранении России

Просмотров 16 036 1 месяц, 1 неделя назад

Применение AutoML и MLflow при создании прогнозных моделей в медицине: опыт Webiomed

Просмотров 1 610 11 месяцев, 1 неделя назад

Стандартизованная отчетность в разработках систем искусственного интеллекта

Просмотров 1 155 1 год назад

Калибровка моделей: зачем и как?

Просмотров 2 678 1 год, 1 месяц назад

Присоединяйтесь

Наши группы в соц сетях