Статья написана в соавторстве с Михаилом Плиссом, заместителем директора по экспертно-аналитической работе Национального исследовательского университета Высшей школы экономики (ВШЭ).
Введение
В настоящее время мы наблюдаем большой всплеск интереса к развитию и широкому применению искусственного интеллекта (ИИ) в медицине и здравоохранении. Он проникает в самые различные направления, такие как анализ медицинских изображений, поддержка здорового образа жизни, коммуникации с пациентами, рекомендации по тактике ведения пациентов и лечению и т.д. Электронное здравоохранение стало чуть ли не главным драйвером всей отрасли в целом. Редко какие интервью отраслевых руководителей и экспертов, затрагивающие тему реформирования и развития медицины, обходятся без комментариев по поводу информатизации, поддержки принятия врачебных решений и цифровизации. Эти подходы в первую очередь рассматриваются как один из эффективных способов повышения качества и доступности медицинской помощью с одновременным снижением затрат на нее, включая сокращения неэффективных, необоснованных расходов, более рациональное использование ресурсов и новые методы организации работы.
Благодаря действительно существенному шагу вперед в части базовой информатизации медицинских работников, повсеместному внедрению электронных медицинских карт (ЭМК), буму носимых устройств, активному появлению все новых и новых методов обследования и лечения на базе цифровых устройств отрасль стала нарастающими темпами производить и накапливать внутри себя огромное количество информации в электронном виде. Это создает широкие перспективы в анализе и использовании этой информации как «топлива» для запуска самых разнообразных сервисов и систем на базе искусственного интеллекта, которые нуждаются в нем для машинного обучения и постоянного совершенствования точности, скорости и ценности своей работы [1, 2].
Согласно отчету Frost & Sullivan, в ближайшие годы поставщики и потребители медицинских услуг будут тратить более $6 млрд ежегодно на инструменты искусственного интеллекта. В эту сферу сейчас инвестируют практически все глобальные IT-компании, такие как Google, Apple, Facebook, Amazon, Microsoft, Baidu, IBM, Philips. Такой же подъем наблюдается в секторе стартапов и небольших специализированных частных компаний, которые по всему миру создают и начинают предлагать те или иные решения на базе нейронных сетей и машинного обучения.
В 2017 году появлялись все новые и новые методы использования искусственного интеллекта и в 2018 году этот рост только усиливается. Это связано с тем, что разработчики трудятся над улучшением эффективности своих решений, причем не только чтобы оправдать большие инвестиции, но и для того, чтобы закрепиться на этом растущем и уже исключительно конкурентном рынке, который в США в 2016 году превысил $320 млн и, согласно прогнозам, будет расти со скоростью 38% в год до 2024 года. Мировой же рынок таких систем будет расти на 39% в год и к 2024 году достигнет объема в $10 млрд. Основными драйверами такого роста в здравоохранении являются увеличение затрат на лечение, растущее число стареющего населения и доля хронических заболеваний в общем числе обращений за медицинской помощью, а также дисбаланс между количеством медицинских специалистов и пациентов [2, 5].
В России также идут попытки не упустить момент и обеспечить лидерство в этом общемировом тренде. Для этого в конце 2016 г. запущен проект «Цифровая экономика», включающий отраслевую программу «Цифровое здравоохранение». «У Минздрава есть предложения по развитию проекта, в том числе с учетом возможностей, которые открываются для применения цифровых технологий. В частности, есть идея разработать систему поддержки принятия врачебных решений, используя массивы данных в сфере медицины, включая некоторые подходы к использованию искусственного интеллекта. Такая система может помочь поставить более точный диагноз», - заявил в декабре 2017 г. на заседании президиума Совета при Президенте Российской Федерации по стратегическому развитию и приоритетным проектам председатель Правительства Дмитрий Медведев, http://government.ru/news/30568/
Однако несмотря на массовое воодушевление по поводу искусственного интеллекта, следует крайне вдумчиво и компетентно относится к его применению. Если подойти к созданию таких систем как к модному явлению, внедрению «технологии ради технологии», есть высокие риски не просто потерять инвестиции в это направление, но и дискредитировать его в глазах практического звена здравоохранения, а также вырасти недоверие и отторжение в глазах пациентов. В этой работе мы осветим основным «подводные камни» и проблемы создания систем искусственного интеллекта для медицины и здравоохранения, а также приведем рекомендации и соображения по ним, основанные на изучении и анализе заслуживающих доверие оценок экспертов, аналитических исследований и научных публикаций.
Какие задачи можно поручить ИИ?
Andrew Ng, работавший в Google Brain Team и Stanford Artificial Intelligence Laboratory (лаборатории искусственного интеллекта Стэнфорда), говорит о том, что в настоящее время СМИ и шумиха вокруг ИИ иногда придают этим технологиям нереалистическую силу. На самом деле реальные возможности применения ИИ достаточно ограничены: современный ИИ пока способен давать точные ответы лишь на простые вопросы. В своем посте «What Artificial Intelligence Can and Can’t Do Right Now» (Что прямо сейчас искусственный интеллект может сделать и что он не может сделать?»), доступном по адресу https://hbr.org/2016/11/what-artificial-intelligence-can-and-cant-do-right-now, он объясняет, что самое важное – это правильно поставить посильную текущему уровню развития ИИ задачу. Являясь одним из признанных мировых экспертов в области ИИ, он приходит к выводу, что «… удивительно, но, несмотря на широкий потенциал ИИ, его реальные возможности по-прежнему крайне ограничены. Почти все последние успехи ИИ связаны с ситуацией, в которой некоторые входные данные (A) используются для быстрого создания простого ответа (B)».
Поэтому первое и самое главное, что мы должны учесть, планируя создавать и применять решения на базе ИИ, это адекватная формулировка задачи для такой системы. Andrew Ng предлагает такой рецепт успеха: «Если типичный человек может сделать умственную задачу менее чем за одну секунду мысли, то мы можем, возможно, автоматизировать ее с использованием ИИ сейчас или в ближайшем будущем».
Но не стоит обольщаться простотой и доступностью этого совета. Он прост лишь в своем понимании, но сложен в практическом воплощении. Проблема состоит в том, что ИИ действительно может давать ответ на простой вопрос, но вопрос этот должен иметь практическую ценность для врача или пациента, оправдывающую затраты на создание и риски использования ИИ. Иными словами, мы не можем бесконечно упрощать формулировку задачи для ИИ и не должны сами, на уровне компании-разработчика, придумывать ее, иначе мы рискуем действительно быстро и дешево создать никому ненужное учебное решение, которое не будет иметь реальной ценности в глазах медицинских работников или пациентов. Создавая продукты, нужно отталкиваться от реально существующей в медицине/здравоохранении проблемы, которую невозможно или очень сложно решить иным способом, нежели как с помощью ИИ.
Например, вряд ли имеет смысл создавать систему, которая бы анализировала цифровой диагностический снимок и давала ответ на вопрос – является ли он рентгенологическим, ультразвуковым или это вообще не медицинский снимок? Такое решение достаточно легко сделать, но какую ценность оно имеет? Задумывая анализ данных лучевой диагностики, нам лучше решить практическую задачу или дать ответ на вопрос, который действительно стоит перед реальными врачами. Мало того, эта задача должна уметь решаться этими врачами, но ее делегирование ИИ должно создавать какую-то ощутимую выгоду: сокращение врачебных ошибок, повышение скорости анализа, сокращение затрат на оказание медицинских услуг, повышение пропускной способности работы диагностических или лечебных кабинетов и т.д.
Таким образом, более реальной выглядит, например, задача поиска очагов кровоизлияния в томографических снимках, автоматическое определение опухолей или иных признаков (паттернов) патологических процессов. Более масштабные задачи, скажем полностью автоматический анализ сырых диагностических данных и постановка готового диагноза с компьютерным предложением дальнейшего обследования и лечения, разумно решать гибридным подходом, совмещая не только различные методы искусственного интеллекта, которые не заканчиваются популярными нейронными сетям и машинным обучением, но и организационно-техническими способами. Например, выявление симптомов и очагов патологии, а также анализ изображений действительно хорошо решаются методами нейронных сетей, классификация выявленных симптомов – методом деревьев решений, анализ вероятности – обычными методами статистической обработки, поиск и предложение рекомендаций по тактике ведения пациентов – привычным алгоритмическим программированием и т.д.
В таких случаях решение путем комбинации разнообразных методов ИИ тогда, когда они наиболее эффективны и обоснованы, будет иметь больше перспектив. Сочетая друг с другом отдельные «атомарные» подзадачи, мы бы могли накапливать интегрированные возможности в системах. Такое сочетание может стать ключом к решению серьезных проблем, позволяя одновременно не идеализировать ИИ и не ждать от него каких-то небывалых чудес и решений серьезных умственных задач, но в тоже время создавая востребованные рынком продукты и постепенно продвигаясь в практическом применении ИИ.
Отдельная большая область перспективного применения ИИ – это анализ работы врача. Сбор лингвистических данных, содержащихся в выходной информации врача – его назначениях, почте, статьях, ответах на вопросы и т.д. – дает возможность сформировать семантическое облако из слов и понятий, которыми он пользуется, и определить двигатели и барьеры в его мотивации, росте, степень консервативности назначений, уровень приемлемого риска и сформировать систему персональных подсказок и индивидуальные планы развития.
Также представляется перспективным применение ИИ в сфере лингвистических сервисов общения с пациентами. Так называемые «чатботы» - это текстовые программы, которые по тем или иным алгоритмам ведут диалог с пациентом в текстовых средах коммуникации (смс, мессенджеры, чаты в программах и социальных сетях итд), для решения проблем чаще всего сервисного характера (запись на прием, изменения времени приема, запроса результатов анализов итд).
Все это на первый взгляд выглядит слишком сложно, но не следует унывать. На самом деле можно и нужно искать, и обсуждать креативные и прорывные глобальные идеи. Просто может получится так, что идея эта будет нереальной пока для широкого универсального применения, но воспользовавшись разделением ее на более простые, специализированные и посильные задачи, каждую из которых можно решать в отдельности, мы будем создавать продукты с уникальными возможностями. Например, можно пока воздержаться от создания системы, которая бы выявляла любые виды патологий в любом виде диагностики, сузив ее до задачи поиска патологий в каком-то отдельном виде обследования.
Совет №1. Задача для ИИ должна исходить от реальной проблемы, а не от технологии. Она должна быть посильна текущему уровню развития методов и средств ИИ. Лучше выбрать небольшой и имеющий практическую ценность для врача вопрос или проблему, чем «вложиться» в красивый, но сказочный автоматический сервис, претендующий на замену медицинского работника.
Какие данные нужны для создания ИИ?
В опубликованном в декабре 2017 г. отчете «Artificial Intelligence for Health and Health Care» (Искусственный интеллект в медицине и здравоохранении), созданном по заказу Управления Национального координатора по вопросам здравоохранения (ONC) и Агентства по исследованиям и качеству здравоохранения (AHRQ) США, консультативная группа ученых, известная как JASON, пришла к выводу, что «… использование искусственного интеллекта в медицине и здравоохранении действительно является многообещающим и выполнимым. Однако необходимо обратить самое пристальное внимание на преодоление недостатков огромных объемов данных, генерируемых ИТ-системами здравоохранения, и интеграцию новых потоков данных, которые будут иметь решающее значение для успеха ИИ в области здравоохранения. JASON высказала особую озабоченность по поводу качества и доступности соответствующих данных из существующих электронных медицинских карт (ЭМК, HER), а также отсутствия функциональной совместимости по всей отрасли» [1].
Очень похожую мысль высказали аналитики из Великобритании в своем отчете «Thinking on its own: AI in the NHS», говоря о том, что следует обратить особое «… внимание на важность высококачественных данных для точности алгоритмов ИИ. Качество исходных данных будет диктовать качество результата, как в поговорке: "Что посеешь, то и пожнешь"» [2].
Почему именно качество данных является чуть ли не главной проблемой и сложностью создания систем ИИ? Дело в том, что практически все известные методы искусственного интеллекта так или иначе подразумевают этап машинного обучения - процесса компьютерного анализа заранее подготовленных данных для поиска закономерностей и создания на их основе нужных алгоритмов, которые затем будут использоваться для работы системы [3].
Различают 3 основных способа машинного обучения: а) обучение с учителем, б) обучение с подкреплением, с) обучение без учителя (самообучение). Анализируя организационные и технические методы, а также имеющийся опыт по их применению, мы пришли к выводу о том, что для небольших компаний, стартапов или частных разработчиков медицинских информационных систем наиболее разумным является выбор в пользу обучения с учителем.
В нем используются специально отобранные данные, в которых уже известны и надежно определены правильные ответы, а параметры ИИ подстраиваются так, чтобы минимизировать ошибку их анализа [8]. В этом способе ИИ может сопоставить правильные ответы к каждому входному примеру и выявить возможные (в том числе скрытые и неизвестные) зависимости ответа от входных данных. Например, коллекция рентгенологических снимков с отмеченными на них патологическими очагами и закодированными заключениями будет являться базой для обучения ИИ – его «учителем». Из серии полученных моделей разработчик в итоге выбирает наиболее подходящую, например, по максимальной точности выдаваемых прогнозов.
Этот подход привлекателен в первую очередь своей финансовой доступностью: достаточно создать небольшую команду разработчиков и экспертов из нескольких человек, имеющих необходимое базовое обучение и предоставить в их распоряжение готовые данные, состоящие из входных параметров и правильных ответов – и такая команда создаст нужный прототип системы в достаточно сжатые сроки. В этом случае не потребуется массовый дорогостоящий найм врачей, многомесячное внесение данных с их разметкой и т.д.
Однако машинное обучение таит в себе большую скрытую опасность, состоящую в том – что качество работы ИИ напрямую зависит от качества этих исходных данных. На самом деле не алгоритмы, программное или аппаратное обеспечение ИИ являются его главной сложностью – а именно исходные данные для его обучения. Принцип «мусор на входе – мусор на выходе», известный в классическом программировании, в системах на базе ИИ актуален еще сильнее.
Что же вкладывается в понятие «качественных» данных? Мы можем выделить следующие аспекты:
- Охват и достаточное количество измерений;
- Правильность, корректность;
- Пригодность к машинной обработке;
- Своевременность;
- Связанность.
Рассмотрим описанные аспекты подробнее.
Охват и достаточное количество измерений. Используемые для создания ИИ данные должны содержать в себе как можно большее число комбинаций возможных состояний здоровья/болезни человека. Если какое-то явление, скажем канцерогены, имеют значимое влияние в решении поставленной задачи, то в исходных данных должны быть представлено максимальное количество возможных вариантов таких канцерогенов и их комбинации с сотнями других параметров здоровья человека. Если мы создаем систему на основе данных врачей какой-то специальности, то количество врачей, присутствующих в выборке, должно быть статистически значимо: мало взять 500 врачей-терапевтов из нескольких сотен тысяч докторов этой специальности, работающих по всей стране.
В некоторых комплектах данных сбор пригодной для обучения ИИ информации мог не быть предусмотрен и не являлся обязательным требованием. Это означает, в них может содержаться большое количество отсутствующих данных и даже ошибок. Это может создать проблемы в точности и объективности алгоритмов ИИ. В других контекстах охват и завершенность данных часто касается репрезентативности выборки. Это имеет решающее значение для точности алгоритмов ИИ, так как они могут быть более подвержены ошибкам о суб-популяциях, где имеется низкая репрезентация в выборке [1].
Прямое следствие этого факта состоит в том, что для создания действительно надежных и достоверных систем ИИ для медицины и здравоохранения требуются минимум сотни тысяч, а лучше – миллионы примеров исходных данных, таких как размеченные диагностические изображения, структурированные врачебные протоколы, формализованные электронные медицинские карты, данные с медицинских приборов и т.д. Создание и тем более тиражирование систем ИИ на базе нескольких сотен или даже тысяч образцов данных следует рассматривать как высокорискованные и незрелые решения.
Анализ проектов, достигших достойного уровня точности работы ИИ, показывает нам, что необходим действительно гигантский объем исходных данных. Например, при создании системы, которая предсказывает, что ждет пациента, попавшего в больницу: смерть, выписка или повторная госпитализация, а также прогнозирует окончательный диагноз, исследователям из Google удалось добиться действительно значительного повышения точности по сравнению с уже существующими системами предсказания результатов лечения. Но для этого им пришлось использовать 46 млрд точек данных из 216 тыс. историй болезней взрослых пациентов. Чтобы получить их, компания заключила соглашение с медицинскими центрами Калифорнийского университета в Сан-Франциско и Чикагского университета [8]. По словам исследователей, самой серьезной проблемой в подобных работах является большой объем трудных для обработки данных, содержащихся в медицинских записях (EHR). Особенную сложность составляет расшифровка записей, написанных врачами от руки [9]. При создании системы IBM Watson, которую два года обучали, потребовалось загрузить в нейронную сеть 605 тысяч медицинских документов из 25 тысяч электронных историй болезни, взятых из обработанного гигантского архива исследовательского центра Memorial Sloan Kettering Cancer Center в Нью-Йорке. Кроме этого, было проанализировано 30 млрд медицинских снимков, для чего корпорации IBM пришлось купить компанию Merge Healthcare за 1 млрд. долл. Дополнительно к этому процессу потребовалось добавить 50 млн. анонимных электронных медицинских карт, которые IBM получила в свое распоряжение, купив стартап Explorys [11].
Правильность, корректность. Если в исходных данных, используемых в машинном обучении, будут ошибки диагностики и лечения, тестовые или неполноценные данные и другие примеры брака – то ИИ воспримет их как норму и сам будет формировать ошибочные и неправильные ответы. Это касается не только смысловых ошибок, но даже орфографических ошибок в текстовой и цифровой информации на всех языках, на которых производится обучение. Поэтому еще одно важное требование – это валидация данных, используемых для создания ИИ. Нельзя просто взять и загрузить в обучающую выборку все подряд. Необходимо предусмотреть несколько этапов проверки данных, включающих в себя проверку орфографии, семантики, полноты, связанности данных и их соответствия.
Пригодность к машинной обработке. Данные, которые будут использоваться для обучения, должны быть пригодны для компьютерной обработки. Рентгенологические снимки должны быть получены с цифрового оборудования, а не отсканнированы. Параметры здоровья человека, например, группа крови, социальный статус и т.д., должны быть представлены в виде общепринятых единых кодов, например SNOMED CT или хотя бы на уровне федеральной НСИ. Измеряемые параметры должны быть представлены числовыми величинами, например рост, вес и АД. Там, где данные можно классифицировать и передать в виде пары «код параметра=значение параметра», их следует передавать именно в таком виде, а не в виде текста, HTML-верстки или документов PDF/Word. Например, результаты лабораторной диагностики должны передаваться для обработки и обучения ИИ именно в таком виде, используя, например, федеральный справочник лабораторных исследований (ФСЛИ). Лишь в крайнем случае, когда мы действительно не можем накопить достаточное количество закодированной информации, ее допустимо сохранять и обрабатывать в виде неструктурированных текстовых записей, например – жалобы, данные истории жизни и т.д.
Особенно важно передавать информацию для обучения в единых форматах. Так, одним из основных препятствий построения систем клинических рекомендаций является разница в описании форматов даты, которая не дает возможности выстроить загружаемую в систему информацию в последовательность во времени, так как различные системы, врачи различных национальностей и привычек и различные медицинские приборы кодируют дату и время в любых возможных форматах.
Своевременность. На качество данных может повлиять своевременность ввода данных. Вся информация, введенная в IT-системы, имеет временные метки. Эти временные метки используются алгоритмами по-разному. Поэтому важно, чтобы информация записывалась во время события, а не позднее [1].
Связанность. При проектировании системы ИИ следует учесть, что здоровье и болезни пациента являются сложнейшим многофакторным явлением. Даже при решении простого вопроса, связанного с ними, человеку приходится учитывать множество самых разнообразных аспектов, каждый из которых в отдельности на первый взгляд может быть незначительным. Например, анализируя результаты лабораторной диагностики, врач-лаборант оценивает не только объективные данные тестов, но и может принимать в расчет особенности реактивов, пол и возраст пациента, наличие у него хронических патологий, травм или стресса, наследственность и даже место жительства или работы. В связи с этим даже такой простой вопрос, как например выявление анемии по результатам лабораторной диагностики, может заключаться не только в анализе показателей теста, но и в сочетанном учете других дополнительных данных. Поэтому для того, чтобы ИИ мог формировать свое заключение, сопоставимое с тем, что делает врач, ему нужно учитывать эти дополнительные данные.
Таким образом в создании действительно эффективных систем ИИ важно стараться обеспечивать связанность данных, загружая их из всех возможных источников, имеющих непротиворечащие другим требованиям данные. Например, собирая информацию о лабораторных исследованиях, следует также загружать в систему машинного обучения социальные данные, анамнез, данные о родственных связах и выявленных у пациента и его родственников заболеваний, данные о работе, образовании и образе жизни и т.д. вплоть до данных с носимых устройств и приборов медицинского назначения. Чем больше связанных данных будет собрано по пациенту на этапе машинного обучения, тем выше потенциальная точность работы системы может быть обеспечена.
Совместимость. Как мы покажем далее, для создания ИИ необходимо использовать как можно больше разных источников информации. Например, собираясь анализировать сведения о лекарственной терапии пациентов или результаты лабораторных исследований – необходимо собирать данные от как можно большего числа медицинских организаций различной формы собственности, специализации и даже регионов размещения. Однако такой подход создает проблему совместимости этих данных внутри обучающей выборки. На сегодняшний день у нас в стране проблема несовместимости медицинских данных между различными программным продуктами стоит очень остро. Например, пока отсутствует единый и используемый подавляющим большинством справочник лекарств (ГРЛС не является пригодным для машинной обработки справочником) или справочник лабораторных тестов (ФСЛИ внедрен в единичных учреждениях, далеко не все МО его пока используют). Таким образом, просто «загрузка» в ИИ как можно большего числа стандартизованной и пригодной для машинной обработки информации может натолкнуться на проблему несовместимости этих данных. Это сведен на нет усилия по обучению ИИ и их использованию. Поэтому на этапе подготовки и загрузки данных они должны быть не просто валидированы, но и еще и приведены к единому классификатору/справочнику. Если такого приведения нет, придется инвестировать в так называемое «маппирование» (mapping) или «связывание» (linking) - специальную обработку, заставляющую эти данные на этапе загрузки в ИИ использовать все-таки общий классификатор. Весьма вероятно, что такие процедуры не удастся полностью автоматизировать, в таком случае потребуется время и ручной труд человека.
Совет №2. Для создания качественной системы ИИ нужны качественные данные с миллионами измерений. Если таких данных нет, то следует либо вкладывать серьезные инвестиции в их подготовку, накопление и валидацию (обработку), либо риски успешного создания продукта могут быть чрезвычайно большими и тогда следует вернуться к поиску другой идеи / задачи, которые будут обеспечены необходимым количеством и качеством исходных данных.
Совет №3. Создавая систему на базе ИИ и выбирая поставщика данных, изначально обсудите с ним качество и стандартизацию этих данных. Чем раньше этот вопрос будет решен, тем меньше будет потерь времени на этапе запуска и пилотирования решения.
Где взять данные для обучения ИИ?
Поняв, что для создания ИИ нам необходимы миллионы примеров качественных медицинских данных, возникает следующий закономерный вопрос – а где же можно взять столько данных? Есть ли готовые источники?
Первое, что можно подумать, отвечая на этот вопрос, это медицинские информационные системы медицинских организаций (МИС МО), а также используемые в МО лабораторные информационные системы (ЛИС) и радиологические информационные системы (РИС / PACS). Вот где действительно в первую очередь хранятся истории болезни и другие медицинские данные в электронном виде. И это действительно так, но с одной важной оговоркой – чтобы соблюсти все ожидания по качеству данных, ИИ следует создавать на основе как можно большего числа таких МО, причем расположенных в разных регионах, имеющих разные традиции ведения медицинской документации, обследования и лечения пациентов, применяемого оборудования и методик.
Если создавать ИИ на базе какого-то одного госпиталя и поликлиники, пусть они будут и самым крупными и ведущими в стране, то ИИ в таком случае будет давать ответы, правильные только внутри этого самого госпиталя. Возможности его тиражирования и правильность для других медицинских организаций будут сомнительными или неприемлемыми вовсе.
Именно с таким явлением, например, столкнулась корпорация IBM при внедрении своей когнитивной системы IBM Watson. На этапе тиражирования решения IBM Watson в разных странах выяснилось, что лечение, которое рекомендует эта система, совпадает с той терапией, которую на практике назначали врачи из медицинских учреждений США, чьи медицинские данные использовались при создании и обучении ее нейронной сети. В них точность работы системы доходит до 95%. Но, например, в Датских больницах врачи провели свое изучение системы и выяснили, что у них уровень совпадений составляет всего 33% и отказались от использования решения. Врачи за пределами США обращают внимание, что рекомендации Watson не берут в расчет особенности национального здравоохранения и врачебной практики. В Южной Корее робот часто назначает лечение, которое не покрывает национальная система страхования, на Тайване пациентом принято назначать меньшие дозы лекарств, предотвращая побочные эффекты [10].
Таким образом, система показала свою эффективность только там, где она обучалась, т.к. на самом деле используемые данные (включая медицинские статьи из журналов) и все алгоритмы суперкомпьютера «вбивали» сотрудники американского Memorial Sloan Kettering Cancer Center. И это создало сразу две проблемы: во-первых, не все ученые и врачи в других больницах и тем более странах согласны с подходами этого исследовательского центра и не все считают его абсолютным авторитетом в онкологии. Во-вторых, количество данных, которыми оперирует Watson, оказалось в итоге не столь велико на самом деле, как требовалось. «Предположим, у вас есть 10 000 пациентов с раком легких. Это на самом деле не очень много. Если бы их было больше, вы могли бы увидеть паттерны, группы пациентов, которые определенным образом отвечают или не отвечают на терапию, у которых определенные токсические реакции. Это позволило бы создать более персонализированную и точную медицину. Но мы не можем этого сделать, если у нас не будет способа собирать эти данные», - говорит доктор Линда Чинь (Lynda Chin), которая занималась установкой и обучением Watson в техасской больнице MDAnderson до того, как уволилась, а эта организация прекратила сотрудничество с IBM [9].
Второй по привлекательности источник данных – это региональные медицинские информационные системы (РМИС), данные в которых изначально собираются в целом по субъекту Российской федерации, а также сервисы региональных интегрированных электронных медицинских карт (ИЭМК) и его центральный узел – федеральная ИЭМК из состава ЕГИСЗ. Эти источники содержат в некоторых регионах уже сейчас миллионы структурированных электронных медицинских документов (СЭМД), а число СЭМДов, загруженных в федеральную ИЭМК, насчитывало в мае 2018 г. свыше 460 млн. записей по 70 млн. пациентов.
Но с этими источниками тоже есть проблема. Согласно технической документации федерального сервиса ИЭМК, допускается передача информации на минимальном, 1м уровне кодирования СЭМД. Такое кодирование, по сути, означает – что в ИЭМК были загружены медицинские документы, где в пригодном для машинной обработки виде хранились только мета-данные (какая МО и МИС МО передала документ, дата передачи, идентификатор медицинского работника, идентификатор пациента и несколько служебных полей). А непосредственно контент медицинского документа мог не передаваться вообще (быть пустым) или передаваться просто как неразмеченный текст. По нашей информации, для того чтобы выполнить требования Минздрава по срокам интеграции с ИЭМК и количеству переданных данных, многие регионы соблазнились этой возможностью и в итоге стали собирать и передавать данные именно в формате СЭМД 1. Такой источник данных, увы, бесполезен в создании систем искусственного интеллекта, потому что качество этих данных не выдерживает никакой критики. Таким образом, РМИС и ИЭМК следует рассматривать лишь в том случае, если качество хранимых в них данных соответствует описанными выше требованиям не только по числу накопленных записей, но и по правильности и пригодности для машинного обучения.
Совет №4. Обучение ИИ должно быть основано на как можно большем числе разнообразных источниках данных. Использованию подлежат только такие источники, данные в которых хранятся в стандартизованном виде, использующем международные или хотя бы федеральные справочники и классификаторы.
На каких условиях можно использовать накопленные данные?
Если разработчикам системы ИИ удается сформулировать интересную и потенциально решаемую задачу и при этом они находят исходные данные достаточного для обучения качества и количества, то неизбежно возникнет следующий немаловажный вопрос – а на каких условиях можно использовать эти данные?
Проблема состоит в том, что как правило операторами данных могут быть одни организации (скажем, государственные медицинские учреждения), субъектами этих данных являются пациенты, а потребителем этих данных хочет стать разработчик системы ИИ, который в явной или неявной форме планирует извлекать из этого коммерческую выгоду. В такой ситуации юридические и этические аспекты использования данных могут стать серьезной проблемой.
Первое, на что следует обратить внимание в этом вопросе – это передача медицинских сведений из источников в систему для машинного обучения, а в последующем – и для обработки запросов на анализ. Мы считаем, что такие данные в обязательном порядке должны быть деперсонифицированны. Это означает, что переданная в систему информация сама по себе не идентифицируют никакого человека и едва позволяет идентифицировать человека по комбинации с другими данными. Чтобы соответствовать этому требованию, в данных не просто не должно быть фамилии, имени и отчества пациента. Не должно быть известных или выявляемых идентификаторов пациента – таких как СНИЛС, номер полиса или паспорта и т.д. Кроме этого, следует избегать передачу сведений, использование которых могло бы помочь вычислить пациента – например, полный адрес регистрации/фактического проживания, уникальный код пациента из федеральных/региональных информационных систем и т.д.
Хранение сведений в деперсонифицированном виде выгодно разработчикам сразу по нескольким весомым причинам, включая отсутствие высоких требований на класс защищенности и уровень отсутствия недекларируемых возможностей, исключение рисков дискредитации решения в случае хакерских атак или зловредных действий сотрудников и ряд других.
Прием и обработка сведений в деперсонифицированном виде могут создать впечатление, что нет необходимости в получении согласия пациента, поскольку нет вероятности, что данные причинят нежелательный вред и не являются персональными данными. Но мы считаем, что тут не все так просто. Да, с одной стороны явное законодательное требования (в соответствии с ФЗ-152 «О персональных данных») собирать такие согласия отсутствует. Но это лишь юридический взгляд на ситуацию. С этической точки зрения все выглядит неоднозначно. Дело в том, что пациенты во время оказания медицинской помощи конечно соглашаются на хранение и обработку персональных данных, но исключительно в рамках той организации и для тех целей, которые были явно указаны в соглашении на обработку. Но ведь эти данные, пусть и в деперсоницифированном виде, будут переданы «третьим лицам» для создания продуктов, с интересами данного пациента никак не связанными, и тем более являющимися коммерческими. И то, что оператор таких данных не был законодательно ограничен в такой передаче, не означает, что все без исключения пациенты априори согласны на использование их данных и получение из этого какой-бы то ни было выгоды «третьими лицами».
С этой проблемой еще предстоит разобраться, проведя публичные обсуждения в экспертном сообществе. Мы считаем, что на данное время необходимо как-то учитывать интересы пациентов или общества в целом в таком использовании данных, например – предоставляя их для безвозмездного использования в научно-исследовательских целях или создавая дополнительную заботу/сервисы для таких пациентов. Как минимум, операторы таких данных не должны передавать их в тайне от общества. Такая передача должна сопровождаться подписанием официальных соглашений, а сведения о таких соглашениях должны быть открыто опубликованы или хотя бы предоставляться по запросу.
В-третьих, операторы медицинских данных (медицинские и аптечные организации, частно практикующие врачи, МИАЦы и т.д.) должны понимать – что они владеют по сути бесценным кладом, имеющим прямую финансовую стоимость. В этой связи давать бесплатный доступ к таким данным любым коммерческим организациям для создания их продуктов является по меньшей мере неразумным. Использование таких данных должно приносить явную выгоду как самим операторам, так и пациентам и разработчикам систем. С другой стороны, запрещать повторное использование уже накопленной информации – это значит быть «собакой на сене» и тормозить появление потенциально эффективных решений и сервисов. Одним из путей выхода из этой сложной проблемы являются различные формы частно-государственного партнерства. Например, медицинские организации могли бы включить в соглашение о хранении и обработки персональных данных пункт, который разрешал бы им использование данные в деперсонифицированном виде для нужд анализа информации и создания медицинских решений. А разработчики систем ИИ могли бы предлагать таким организациям заключение договоров по принципу «Делись и не плати», когда они используют эти данные, но взамен предоставляют сотрудникам таких учреждений созданные сервисы на безвозмездной основе.
Примером такого подхода является модель, реализованная в израильской страховой медицинской организации Clalit (там это называется медицинской кассой). В отличие от российского законодательства, израильская клиника может работать только с одной страховой кассой (страховой компанией), и работает, как правило, в ИТ системе этой страховой кассы. Таким образом Clalit накопила в течение 20 лет данные 5 миллионов граждан Израиля. В настоящее время компания запустила проект по анализу собранной информации, и активно продает фармакологическим компаниям сервис по изменениям рекомендаций по приему лекарственных препаратов и их эффективности, основанных на многолетних верифицированных статистических данных.
Однако не вся информация может быть деперсонифицирована. Например, для исследований, связанных с контролем качества хирургических вмешательств, необходимо сопоставление кодов вмешательств из системы ОМС и данных по смертности, инвалидизации, листам нетрудоспособности из систем других ведомств, что можно сделать только по явным идентификаторам пациента. Возможно, что для исследований и обучения ИИ в области управления здравоохранением и анализа финансовых потоков в системе здравоохранения, особенно связанных с взаимодействием фондов и страховых компаний, придется специальным образом разрешить использование персональных данных граждан доверенным аналитическим организациям, где специальным образом контролируется безопасность данных граждан РФ.
Совет №5. Операторам накопленных данных, которые будут использоваться для обучения ИИ, следует задуматься об их взаимовыгодном использовании в интересах пациентов и медицинских работников. Разработчикам систем ИИ необходимо продумать и формализовать условия и соглашения об использовании этих данных, оформляя и подписывая их в виде юридически-значимых договоров. Список источников данных должен быть открытым обществу.
На каких условиях можно использовать системы ИИ?
Многие из существующих решений на базе ИИ применяются сегодня в непосредственном лечебно-диагностическом процессе, например – системы автоматического анализа изображений и выявления патологий, чат-боты с пациентами, системы оценки медицинских данных и т.д. По своей сути эти решения являются изделиями медицинского назначения. Имеется мнение, что с точки зрения сертификации к ним должны предъявляться такие же требования, как к производителям лекарств и медицинских изделий.
Но в этом вопросе не все так очевидно. Со стороны стартапов и разработчиков ИИ-сервисов есть обоснованные опасения, что чрезмерное тотальное регламентирование задушит инновации, сделают циклы разработки и выпуска продуктов длительными и дорогими и в итоге мы не просто утратим технологическое лидерство, но и упустим перспективные возможность развития и удешевления оказания медицинской помощи [2].
Исследователи из английской аналитической организации Reform Eleonora Harwich и Kate Laycock пришли к выводу, что все-таки создание и внедрение систем ИИ - это большой объем субъективного человеческого труда. Здравоохранение - область высокого риска, где ошибка может нести значительные последствия для человеческой жизни. Поэтому общественная безопасность и вопросы этики, связанные с использованием ИИ в здравоохранении, должны стать центральным моментом заботы контролирующих организаций в этой области [2]. У нас такими органами являются Министерство здравоохранения и Росздравнадзор. Возможно, выходом из ситуации стала бы разработка со стороны регуляторов специальной упрощенной процедуры верификации правильности работы системы, чтобы люди, разрабатывающие алгоритмы ИИ, могли доказать, протестировать и подтвердить точность и достоверность своих алгоритмов. На данный момент такая верификация с точки зрения действующего законодательства не предусмотрена, поэтому воспринимать ли свой продукт как изделие медицинского назначения или нет – решает каждый разработчик самостоятельно.
Однако уже несколько отечественных разработчиков столкнулись с тем, что опубликованные в открытом доступе по модели открытого программного обеспечения (т.н. open-source) алгоритмы работы ИИ, которые применяются для решения различных задач, в т.ч. задач здравоохранения, содержат те или иные ошибки. Цена этих ошибок в работе алгоритмов ИИ в сфере здравоохранения может оказаться значительной, и пока квалификации отечественных разработчиков хватает для их своевременного выявления.
Еще одним важным аспектом применения систем ИИ является доверие к ним со стороны медицинского сообщества. В настоящий момент высоки риски, что созданные системы будут встречены с сомнением или даже сопротивлением в попытках массового внедрения. Действительно, шумиха и ажиотаж вокруг цифровой медицины в СМИ подчас играют роль «медвежьей услуги». У несведущих в технологических тонкостях врачах и медсестрах может создаваться впечатление, что в их отрасль вторгаются «ИТ-гики», целью которых является развлечение или решение надуманных задач.
Например, в крупном исследовании отношения общественности Великобритании к использованию ИИ и робототехники в здравоохранении 47% респондентов отметили, что «… хотели бы использовать интеллектуального помощника в сфере медицинских услуг через смартфон, планшет или ПК, из них большая доля респондентов - молодое поколение. Однако если речь заходит о более чувствительных направлениях, то тут только 37% сказали, что они использовали бы ИИ, например, для мониторинга состояния сердца, и лишь 3% для отслеживания беременности» [4]. Широко разрекламированная система IBM Watson также столкнулась с проблемой, что «… нет ни одного независимого ее исследования. Все статьи, в которых говорится о его эффективности, написаны клиентами системы, в соавторах обязательно значится инженер из IBM. Для современной медицины это нехорошо» [9]. Майкл Ходжкинс, главный врач медицинской службы AMA США, приводит примеры: «В недавнем исследовании одного из популярных [мобильных] приложений, предназначенного для измерения кровяного давления, было установлено, что оно ошибочно в 80% случаев. Другое приложение утверждало, что оно могло бы помочь идентифицировать меланому с фотографии родинки. В обоих случаях Федеральная торговая комиссия [США] вмешалась и запретила рекламировать эти приложения, т.к. отсутствовали необходимые доказательства [правильности и безопасности их работы]» [7].
Этому явлению есть вполне понятное объяснение. Медицина – очень консервативная по сути отрасль и должна таковой и остаться. Принцип «не навреди» является одним из основополагающих. И поэтому к каждой новой методике, лекарству или инструменту лечебно-диагностического процесса следует относится с настороженностью и подозрением, задаваясь вопросом – а не несет ли это новшество неизвестные риски, скрытые дефекты или прямой вред здоровью?
В этом смысле мы рекомендуем заранее планировать мероприятия по снятию таких подозрений и доказательству пользы и целесообразности применения тех или иных решений на базе ИИ. Разработчики ИИ должны не просто создавать какую-то новую функциональность. Они должны четко отдавать себе отчет в том, что они создают продукты, результаты работы которых будут использованы в диагностике и лечении реальных и чаще всего больных людей. И это не просто анализ какого-то набора цифр. Врачами они могут восприниматься как знания и даже руководства к действию, а значит к такому процессу нужно относится со всей строгостью и ответственностью, как к настоящему научному медицинскому исследованию. Поэтому разработчики должны доказать, что их решение улучшает существующую практику ведения пациентов и что это безопасно. Для этого следует включить в процесс создания решений подходы медицины, основанной на доказательствах (evidence-based medicine). В первую очередь это проверка эффективности и безопасности предложенного решения в клинических исследованиях. Такие исследования необходимо выполнять с соблюдением общепринятых стандартов. У нас в стране это национальный стандарт ГОСТ Р 52379-2005 «Надлежащая клиническая практика», идентичный «Международным гармонизированным трехсторонним правилам» Good Clinical Practice (ICH Harmonized Tripartite Guideline for Good Clinical Practice, сокращённо — ICH GCP) - http://acto-russia.org/index.php?option=com_content&task=view&id=17
К организации создания систем необходимо подключить авторитетных специалистов в области биомедицины и проведения клинических исследований. Их задача – изучить создаваемое решение или идею и разработать методику сбора и анализа информации таким образом, чтобы результаты исследования стали репрезентативными. Такая работа должна включать создание протокола клинического исследования – специального документа, детально раскрывающего цель, задачи, методы и другие аспекты исследования.
Совет №6. Команде разработчиков следует оценить – является ли их решение изделием медицинского назначения и если так оно и есть – то учесть, что необходимо будет проведение сложной и дорогостоящей процедуры сертификации. Для того, чтобы снять подозрения со стороны медицинского сообщества к безопасности и эффективности предлагаемого решения, следует проводить клинические исследования. Разработчикам не стоит полагаться на «авторитет» консультантов-врачей, какими бы именитыми они не были, а также на публикации в СМИ. Заявления об эффективности и безопасности сервиса должны быть основаны только на правильно проведенных экспериментах, результаты которых опубликованы в научных рецензируемых журналах, желательно международных.
Но проведение клинических исследований и их публикация не являются единственной и достаточной мерой, которую должны учесть разработчики. Еще одной гранью особенностей медицины является то, что врачи не просто ожидают от системы решения той или иной задачи. Для любого врача важно понимать – как именно система пришла к этому заключению. Учитывая технические особенности некоторых методов ИИ, скажем нейронных сетей и глубокого машинного обучения, созданное решение может быть неким «черным ящиком» - оно может давать врачу быстрые и правильные ответы, но не может подчас объяснить – как именно система пришла к этому ответу и какова чувствительность и специфичность методики в данной конкретной клинической ситуации.
Есть сценарии обучения ИИ, где возможностть интерпретации результатов работы ИИ для врачей практически невозможна. Так, в проекте Watson Checkup в систему загружались медицинские данные, репрезентативно представляющие срез ситуации с заболеваемостью в том или ином регионе, после чего в результате обучения компьютер с ИИ строил корреляции заболеваемости по тем или иным признакам. Иногда корреляции, которые находил ИИ, не могли быть объяснены на текущем уровне развития медицины (корреляции с длиной рук, цветом зрачков человека итд), но, возможно, будут объяснены позднее, в ходе работ по расшифровке и интерпретации генома человека. В подобных случаях имеет смысл заранее готовить врачей к тому, что корреляция, которую найдет ИИ в ходе работы с данными, может быть использована практически, но не может быть объяснена теоретически.
С этой точки зрения используемые разработчиками ИИ методы должны быть не только быстрыми и надежными, еще очень важно – чтобы они были интерпретируемыми. И в этом вопросе есть серьезная проблема. Скажем, одну и туже задачу можно решить методами нейронных сетей и при наличии хорошего качества исходных данных для машинного обучения такую систему можно сделать с достаточно высокой надежностью, быстро и дешево, т.к. не требуется привлечение дорогостоящих специалистов. Но объяснить врачу выдаваемое заключение в этом случае будет крайне сложно. С другой стороны, если применить методы, более пригодные для раскрытия гипотезы, скажем деревья решений или экспертные системы с привлечением человека в качестве учителя, то такие системы будут гораздо дороже в производстве, но их способность к объяснению результатов работы заметно выше.
Мы рекомендуем обратить внимание, что создаваемая с применением ИИ информационная система все-таки должна обеспечивать некоторую степень прозрачности и расшифровки результатов для понимания того, как был получен ответ, прогноз или дана та или иная рекомендация. По мнению Michael Veale, такой подход является решающим для завоевания доверия медицинского персонала [6]. Системы должны обладать некой «объяснительной силой» [7].
На практике это означает следующее: в интерфейсе системы при выводе результатов анализа рекомендуется показывать статистическую оценку вероятности правильного решения. Если система использует какие-то клинические рекомендации, научные статьи или нормативы, то следует прикладывать цитаты на эти материалы, в идеале – с возможность он-лайн доступа к ним. Если выводы были основаны на методах машинного обучения - то полезным был бы доступ хотя бы к описанию этого обучения, характеристикам и источникам исходных данных. Конечно, такую способность к выдаче объяснений, вероятно, в некоторых случаях достичь технически трудно, но тем не менее разработчикам следует учесть это в своей работе.
Совет №7. Сопровождайте вывод результатов работы ИИ пояснениями, помогающими врачу интерпретировать полученный ответ и понять, как именно система пришла к тому или иному заключению.
Литература:
1. JASON. Artificial Intelligence for Health and Health Care, December 2018. // URL: https://www.healthit.gov/sites/default/files/jsr-17-task-002_aiforhealthandhealthcare12122017.pdf
2. Harwich Eleonora, Laycock Kate. Thinking on its own: AI in the NHS. January 2018. Reform // URL: http://www.reform.uk/publication/thinking-on-its-own-ai-in-the-nhs/
3. Richard S. Sutton and Andrew G. Barto. Reinforcement Learning An Introduction - The MIT Press Cambridge, Massachusetts London, England, 2012. – 334 p.
4. Hall Wendy, Pesenti Jérôme. Growing the Articial Intelligence Industry in the UK. 2017. // URL: https://www.gov.uk/government/publications/growing-the-artificial-intelligence-industry-in-the-uk
5. The Next Generation of Medicine: Artificial Intelligence and Machine Learning. TM Capital Industry Spotlight. 2017. // URL: https://www.tmcapital.com/wp-content/uploads/2017/11/TMCC20AI20Spotlight20-202017.10.2420vF.PDF
6. Veale Michael. Logics and Practices of Transparency and Opacity in Real-World Applications of Public Sector Machine Learning, June 2017. // URL: https://arxiv.org/pdf/1706.09249.pdf
7. Hodgkins Michael. What’s Missing in the Health Care Tech Revolution. 2017. // URL: http://partners.wsj.com/ama/charting-change/whats-missing-health-care-tech-revolution/
8. Gershgorn Dave. Google is using 46 billion data points to predict the medical outcomes of hospital patients. January, 2018. // URL: https://qz.com/1189730/google-is-using-46-billion-data-points-to-predict-the-medical-outcomes-of-hospital-patients/
9. Alvin Rajkomar, Eyal Oren, Kai Chen and others. Scalable and accurate deep learning for electronic health records. arXiv:1801.07860v2 [cs.CY] January, 2018. // URL: https://arxiv.org/pdf/1801.07860.pdf
10. Незнанов Алексей. Хорошо интерпретируемые методы анализа данных, февраль 2018. // URL: https://www.youtube.com/watch?v=5k7KCzEFL4I
11. Гусев А.В, Добриднюк С.Л. Искусственный интеллект в медицине и здравоохранении // Информационное общество, №4-5, 2017. стр. 78-93
12. Как доктор Ватсон не смог победить рак // URL: http://medportal.ru/mednovosti/news/2017/09/06/879watson/
13. IBM pitched its Watson supercomputer as a revolution in cancer care. It’s nowhere close. 2017. // URL: https://www.statnews.com/2017/09/05/watson-ibm-cancer/