Валидация и тестирование прогностических моделей: пришло время менять подходы

Jama опубликовало очень интересную статью «Validation and Utility Testing of Clinical Prediction ModelsTime to Change the Approach» группы авторов во главе с Джоном Иоаннидисом, доктором медицинских наук из Стэнфордского исследовательского центра по профилактике. В ней изложен критический обзор современного состояния и необходимых улучшений в области предиктивной аналитики для здравоохранения. 

Учитывая исключительную важность создания моделей, которые бы соответствовали современным требованиям доказательной медицины и заслуживали доверие врачей, мы публикуем краткий обзор тезисов этой работы.

Во-первых, авторы систематизировали текущие проблемы предиктивной аналитики клинического применения:

1. В настоящее время наблюдается экспоненциальный рост моделей клинического прогнозирования (Clinical Prediction Models – CPMs), вызванный доступностью клинических данных, дешевыми вычислительными ресурсами и совершенствованию инструментов разработки моделей.
2. Моделей настолько много, что стало очень сложно выбрать наилучшее и самое полезное решение.
3. Очень мало моделей, которые прошли внешнюю валидацию. Например, из 1366 различных моделей для прогнозирования сердечно-сосудистых заболеваний, только 43,4% представили данные хотя бы об одной внешней валидации. Все остальные проверялись теми же коллективами, что их и разрабатывали. Модели, имеющие 2 внешней валидации, составляю 20,1%. 3 – 12,8%. 10 внешних проверок (испытаний) имеют лишь 2,9%. Лишь единичные модели, такие как например шкала риска Framingham или EuroSCORE, прошли всю необходимую внешнюю проверку. 
4. Порой наиболее распространенные прогностические модели имеют широкое применение просто в силу инертности  и «стадного эффекта», а не за счет высококачественных доказательств своего превосходства по сравнению с конкурентами.
5. Очень редкие модели имеют доказанную клиническую эффективность: когда не просто проверена и доказа точность, но еще и доказано что использование модели приводит к улучшению результатов для пациентов и врачей. Рандомизированные клинические исследования (РКИ) моделей остаются большой редкостью.
6. Отсутствие доказательств клинической эффективности модели говорит не о том, что предиктивная аналитика неэффективна, а лишь о том, что создаются некачественные модели.

Авторы считают важным для борьбы с этими негативными последствиями следовать следующим рекомендациям:

1. Жизненно важным является создание открытой конкурентной среды для разрабатываемых моделей. Выжить должны только сильнейшие: те, кто доказал свою точность и влияние на клинический результат.
2. Клинические модели следует поставлять как облачный сервис с возможность стандартизированного к ним подключения, например на основе FHIR.
3. Основной источник данных для валидации и обучения моделей – электронные медицинские карты (ЭМК). Важно обеспечить требования конфиденциальности и безопасности при этом.
4. Необходимы инструменты ранжирования моделей по их точности и эффективности.
5. Одной из самых перспективных направлений развития прогнозной аналитики является создание самообучающихся (адаптивных) моделей, аналогичных «живому организму», который вручную или самостоятельно учится на основе поступающих в него данных.
6. Важно иметь возможность адаптации моделей к изменениям, включая особенности местных условий и появление новых клинических практик.
7. Производство и выпуск моделей должны сопровождаться возможностью независимой оценки, наподобие «препринтов» в научных публикациях.
8. Необходимо развитие и широкая поддержка разработчиками руководящих принципов отчетности для прогностических моделей «Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis» (TRIPOD). 
9. Чрезвычайно важным является визуализация работы модели и обеспечение юзабилити. Такие мелочи, как шрифт или скорость работы сайта, может привести как к большому успеху модели, так и многомиллионным потерям из-за неудач. Следует тщательно подбирать форму подачи информации: будут ли это числа, тексты или графика? Нужно думать над объяснением работы модели и предоставлением дополнительных материалов.
10. Все результаты и факты обращений ЭМК к прогнозным моделям следует обязательно протоколировать в медицинской информационной системе.
11. Не следует «гнаться» за сложными моделями. Иногда простая эвристическая модель может оказаться полезнее, т.к. сложные и непонятные врачу модели требуют больших затрат на разработку, но в итоге могут быть трудными для понимания и использования врачами, что может привести к неоптимальному их использованию. 

Наконец, авторы признают, что на данном этапе развития прогнозной аналитики остаются нерешенными ряд вопросов, требующих дальнейших исследований и обсуждений:

1. Когда именно следует предоставлять врачу и пациенту прогнозную информацию: как можно раньше (например при поступлении/обращении) или напротив, при завершении законченного случая/госпитализации?
2. Как именно следует подавать информацию: как утверждение или более мягко, как рекомендацию или внушение?
3. Всегда ли следует предлагать конкретную прогнозную информацию или в ряде случаев делать ее недоступной?
4. Каковы клинические эффекты прогнозной аналитики? Это, пожалуй, самый важный вопрос. Нужны исследования.

Завершающий вывод, который сделали авторы, состоит в следующем: очень важно использовать предиктивную аналитику, но для скриннинга нужны высокопроизводительные, точные и имеющие доказательства клинической эффективности модели. 

Полный доступ к статье здесь: https://jamanetwork.com/journals/jama/fullarticle/2762532.