Искусственный интеллект в лучевой диагностике: Per Aspera Ad Astra

Очевидно, что в такой ситуации отношение профессионального медицинского сообщества к технологиям ИИ оставалось настороженным, а пенный поток хайпа только добавлял в это отношение еще и предвзятости. Объективным подтверждением сказанного служат статьи совершенно независимых авторов.

В 2019 г. научная группа из Южной Кореи опубликовала анализ 516 научных статей о применении ИИ для анализа медицинской визуализации (как наиболее перспективной области для внедрения ИИ). Включенные статьи были изданы в 2018 г., фактически – на самой волне ажиотажа под лозунгом «заменим всех рентгенологов на ИИ!».

Проанализировав 516 публикаций в рецензируемых биомедицинских журналах, ученые установили, что 99,0% из них представляют собой доказательства концепции (proof-of-concept study) и технические обоснования (feasibility study). Нелишним будет подчеркнуть, что с позиций доказательности такие публикации представляют для врачебного сообщества фактически нулевую ценность. Только 1,0% статей написан в дизайне диагностического исследования в соответствии с принципами доказательной медицины. Но и здесь были колоссальные проблемы: в 94,0% случаев авторы статей и разрабатывали, и тестировали свои алгоритмы на одних и тех же наборах данных. В свою очередь, 97,0% использованных датасетов формировалось из данных только одной медицинской организации. В целом внешняя валидация ИИ на незнакомых данных была проведена только в 6,0% исследований7.

Таким образом, для медицинского сообщества огромный массив публикаций был совершенно неинформативен, а жалкий 1,0% диагностических исследований содержал колоссальные методические недостатки. Более того, воспроизводимость результатов работы ИИ вообще не изучалась. На закономерный и спокойный вопрос врача: «Как ваш ИИ будет работать на данных из другой больницы?» многочисленным «айти-гуру» оставалось только хвастаться инвестициями в свой стартап и ругать консервативных врачей.

В 2020 г. научная группа из Великобритании опубликовала статью с систематическим анализом дизайна, стандартов отчетности, рисков предвзятости, а также доказательности результатов исследований, сравнивающих эффективность и точность алгоритмов ИИ и опытных врачей. Областью применения ИИ вновь стала медицинская визуализация.

В исследование включены 236 статей, опубликованных с 2010 по 2019 гг. и позиционируемых как «клинические исследования». Углубленный анализ показал, что 96,0% из них выполнены в ретроспективном дизайне, то есть представляли собой тестирование алгоритмов на эталонных наборах данных. Действительно, дизайн рандомизированного клинического исследования (ценного и информативного с позиций доказательной медицины) имели всего лишь 4,2% статей. И даже из этого крошечного числа многие работы были выполнены в «экспериментально-лабораторных условиях». Лишь 2,5% статей содержали результаты работы ИИ в реальных условиях практического здравоохранения. Во многих включенных статьях утверждалось преимущество ИИ над врачом, при этом алгоритмы сравнивали в среднем с 4 специалистами (количество включенных врачей колебалось от 2 до 9)8. Таким образом, и «клинические исследования» точности ИИ были откровенно слабы, а их результаты неубедительны.

Невзирая на бурную публикационную активность, явно ощущаемый потенциал технологий ИИ оставался совершенно нераскрытым для медицины и здравоохранения. Ценность и убедительность доказательств качества и преимуществ ИИ были мизерными. Отдельную проблему составляли манипуляции со статистикой, полностью обесценивавшие публикации об ИИ для врачей. Очевидно, что использование ограниченных наборов данных (авторам этого текста встречалась работа, выполненная на 5 МРТ!) не позволяло получать адекватные показатели точности. Недобросовестные авторы пытались это скрывать путем манипуляций со статистическими показателями, внесением изменений в стандартные формулы чувствительности и специфичности, необоснованным вводом неких новых критериев, совершенно не принятых в биомедицинской статистике. При этом те критерии, которые позволили бы прямо сопоставить заявленную точность с иными опубликованными данными, полностью игнорировались. Пропасть непонимания между врачебным и математическим, ИТ-сообществами нарастала…

В целом, эта ситуация наглядно иллюстрирует описанную К. Боулдингом (K. Boulding; 1910—1993) «глухоту специализации» в научной работе9, когда понятийный и методологический аппарат жестко ограничивается рамками строго конкретной научной дисциплины. В современной науке такой подход в принципе безнадежно устарел, и слепое следование ему искусственно и атавистично, тем более, если речь идет о научно обоснованной цифровизации медицины и здравоохранения.

Колоссальный рост интереса со стороны настоящих профессионалов в области математики, компьютерных наук, инженерии к проблематике медицины, обусловленный шумихой вокруг ИИ, нельзя и недопустимо было игнорировать. Как тут не вспомнить слова выдающегося ученого в области научной организации труда, стандартизации и менеджмента Алексея Капитоновича Гастева (1882—1939): «Свой бешеный энтузиазм сохрани, но введи его в график расчета»10. Требовался системный научный междисциплинарный подход, который позволил бы решить проблемы качества, стандартизации и доступности наборов данных, единства и точности методик оценки ИИ, а также объективно (в том числе сравнительно) оценить точность и воспроизводимость результатов работы ИИ, его безопасность и качество в условиях практического здравоохранения. Ответом на этот запрос науки и практики и стал Московский эксперимент, реализуемый на научных принципах доказательной медицины.

Эксперимент задуман и реализован как исследование со смешанными методами, но ключевой его составляющей является именно проспективное многоцентровое клиническое исследование точности и качества технологий ИИ при анализе результатов пяти основных видов лучевых исследований (рентгенографии, флюорографии, маммографии, компьютерной и магнитно-резонансной томографии).

Московский эксперимент как научное исследование одобрен Независимым этическим комитетом МРО РОРР (протокол 2/2020 от 20.02.2020).

Для представления результатов Московского эксперимента на международном уровне (включая публикации в высокорейтинговых научных изданиях) он зарегистрирован как научное исследование в базе данных Clinical Trials с присвоением идентификационного номера ID Clinical Trials NCT04489992.

Амбициозные цели Московского эксперимента требовали ведения научных изысканий сразу по нескольким направлениям, каждое из которых весьма объемно. В течение 5 лет в рамках каждого направления велись многочисленные исследования. За счет постоянного притока новых знаний появлялись новые гипотезы, требовавшие проверки, соответственно уточнялись и дополнялись конкретные задачи. Общая научная программа отличалась большой динамичностью. Кроме того, появлялись и «ответвления» от основных тематик, из которых зачастую формировались самостоятельные исследования (радиомика, ИИ для контроля качества лучевых исследований, синтетические наборы данных и т.д.).

Сводная научная программа Московского эксперимента за период 2020—2024 гг.:

1. Обосновать клинический контекст, задачи и сценарии применения технологий ИИ в лучевой диагностике.

2. Разработать, внедрить и валидировать методологию создания наборов данных для обучения и тестирования технологий ИИ с учетом этапов жизненного цикла и клинического контекста применения.

3. Разработать, внедрить и валидировать методологию комплексного тестирования и контроля качества технологий ИИ на этапах жизненного цикла.

4. Разработать и реализовать организационно-методические мероприятия по внедрению технологий компьютерного зрения в работу отделений лучевой диагностики.

5. Оценить целесообразность и применимость технологий компьютерного зрения в системе здравоохранения (в том числе с позиций технологического качества).

6. Комплексно изучить качество технологий ИИ при анализе результатов лучевых исследований и при решении организационных задач лучевой диагностики.

7. Изучить влияние технологий ИИ на удовлетворенность и производительность труда врачей-рентгенологов, оценить в динамике отношение врачей к ИИ.

8. Комплексно оценить диагностическую точность ИИ-сервисов при анализе результатов лучевых исследований, в том числе с учетом клинического контекста, сравнительно и в динамике.

9. Оценить возможность применения автоматизированного анализа результатов лучевых исследований для решения задач медицинской профилактики и управления общественным здоровьем.

10. Обосновать подходы к принятию управленческих решений при выборе продукта на основе технологий искусственного интеллекта.

11. Обосновать, внедрить и оценить результативность концепции автономного применения технологий ИИ в лучевой диагностике.

12. Обосновать возможность цифровой трансформации (на основе технологий ИИ) производственных процессов медицинских организаций в аспекте взаимодействия врачей-рентгенологов и врачей клинических специальностей.

13. Изучить медицинскую, социальную и экономическую эффективность технологий искусственного интеллекта (компьютерного зрения) в лучевой диагностике с учетом клинического контекста применения.

14. Обосновать и разработать комплекс стандартов, обеспечивающих единство применения всех компонентов системы обеспечения качества технологий искусственного интеллекта на этапах жизненного цикла.

Формальное структурирование научно-исследовательской работы в рамках Московского эксперимента прошло несколько этапов.

Первоначально сформирован перечень научных и методологических задач с закреплением ответственного исполнителя из числа руководителей научных подразделений и наиболее опытных научных сотрудников. Соответственно ситуативно формировались научные группы. Задачи и ответственные лица были зафиксированы внутренним приказом по учреждению, несколько раз актуализированным.

По итогам 2020 г., то есть первого года эксперимента, сформирован объемный отчет о научно-исследовательской работе, практически полностью опубликованный в виде монографии «Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента»11.

В 2021 и 2022 гг. отчеты формировались в сокращенном варианте с обобщением основных годовых результатов и отражением критичных динамических изменений. На этом фоне обширные именно научные результаты содержались в отчете о НИР №3 «Научное обоснование методологии применения и способов оценки качества интеллектуальных технологий („искусственного интеллекта“) в диагностике» (срок выполнения – 2020—2022 гг., финансирование за счет средств государственного задания). Также часть материала в виде отдельных глав, разделов и подразделов входила в отчеты по нескольким иным научно-исследовательским работам, проводимым НПКЦ ДиТ ДЗМ. С одной стороны, представление результатов было несколько «диссеминированным», а с другой – НИР №3 была посвящена не только проблематике Московского эксперимента, что негативно сказывалось на системности формирования ее результатов.

В 2023 г. этот недостаток был устранен: все основные исследования в рамках Московского эксперимента объединены в новой НИР №3 «Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике», финансируемой за счет средств государственного задания (срок выполнения – 2023—2025 гг.). Подготовка работы по этой теме закреплено за отделом медицинской информатики, радиомики и радиогеномики НПКЦ ДиТ ДЗМ, что также фиксировалось внутренним приказом по учреждению. Вместе с тем подчеркнем, что научная работа в рамках Московского эксперимента ведется сотрудниками всех научных подразделений учреждения на принципах проектного управления. Научные «ответвления» по вопросам искусственного интеллекта теперь входят только в иные НИР. Отметим, что проспективное исследование автономного искусственного интеллекта в 2024 г. проведено в рамках специального Постановления Правительства Москвы12, а его результаты оформлены отдельным отчетом о научно-исследовательской работе.

Сквозной характер работ, связанных с Московским экспериментом, а также потребность эффективно и с соблюдением сроков решать не только плановые, но и срочные научные задачи в его рамках обусловили необходимость применения специальных управленческих приемов. Таковым стало проектное управление научной деятельностью, подробно представленное в следующем разделе

Научная проблематика ИИ в медицине чрезвычайно масштабна и многогранна; она действительно «не вмещается ни в одну конкретно-научную дисциплину»13. Поэтому важной особенностью Московского эксперимента, как неопровержимо лидирующего научного исследования, стал его целенаправленно сформированный междисциплинарный характер.

«Естественная междисциплинарность», по меткому определению Ю. М. Батурина (р. 1949), «может возникать и развиваться как динамическая система, способная к самоорганизации и стремящаяся к экономному решению проблемы, для понимания которой она возникла»14. Однако в НПКЦ ДиТ ДЗМ междисциплинарный характер научной работы в рамках Московского эксперимента формировался целенаправленно и последовательно, включая реструктуризацию и развитие кадрового состава, создание «экосистемы» научно-исследовательской работы, постоянное повышение требований к качеству и признанию научных результатов, наставничество, нормирование труда как фактор обеспечения преемственности его результатов, переход к проектному управлению.

В 2019—2020 гг. научная группа НПКЦ ДиТ ДЗМ, занимавшаяся соответствующей научно-исследовательской работой, примерно на 90,0% состояла из врачей-рентгенологов. В последующем ситуация изменилась, к 01.01.2025 г. удельный вес рентгенологов сократился до 35,0—40,0% за счет наращивания в коллективе числа специалистов с математическим, инженерным и иным немедицинским образованием. Совершенно особый научный вклад вносят специалисты медицинской кибернетики, био- и медицинской физики, биоинформатики – профессий, изначально находящихся на стыке областей знаний. Отметим, что в 2023—2024 гг. произошло структурное отделение врачей-рентгенологов, обеспечивающих процедуры Московского эксперимента (рутинно проводящих мониторинги, разметку данных), от их коллег, непосредственно участвующих в научно-исследовательской работе. Соответственно, в указанном выше показателе учтены лишь те врачи, которые участвуют именно в научных изысканиях.

Научным исследованиям НПКЦ ДиТ ДЗМ в рамках Московского эксперимента изначально был присущ интегративный тип междисциплинарного взаимодействия (по Э. М. Мирскому; 1935—2012), так как здесь образование новых знаний очевидно происходило за счет «интеграции заимствованных из разных дисциплин представлений и способов исследований»15.

В учреждении сложилась классическая галисоновская «зона обмена» – социальное и интеллектуальное пространство, в котором связываются воедино прежде разобщенные традиции экспериментирования, теоретизирования и изготовления научных инструментов16. Отметим, что ранее в области лучевой диагностики уже фиксировалось и описывалось формирование таких «зон обмена» при взаимодействии инженерного и медицинского персонала в процессе усовершенствования и клинико-экономического обоснования магнитно-резонансной томографии17.

Субкультуры теоретиков, экспериментаторов и создателей инструментария, выявленные П. Галисоном (P. Galison, р. 1955), объединены в НПКЦ ДиТ ДЗМ в одном научном коллективе, а в его составе – в ситуативные научные группы. Благодаря созданию общей «экосистемы» научной работы, а также применению определенных управленческих подходов все три субкультуры непрерывно взаимодействуют. Их галисоновские «периоды локальной непрерывности» при этом сдвинуты друг относительно друга совершенно минимально. Тем самым реализована максимальная преемственность, эффективное взаимное дополнение и усиление. Результаты деятельности каждой из субкультур не теряются и не «зависают», а моментально включаются в работу коллег, применяются, уточняются, переосмысливаются и развиваются.

По истечении 5 лет отмечается переход от междисциплинарного характера научных исследований НПКЦ ДиТ ДЗМ к трансдисциплинарному, то есть к формированию у врачей разных специальностей, кибернетиков, математиков, инженеров, физиков, социологов и руководителей (то есть представителей всех включенных во взаимодействие дисциплин) в условиях постоянных коммуникаций «общей системы аксиом»18. Под этой «системой» мы понимаем совокупность понятий и терминологии, концепций, подходов, методов, материалов в области научного изучения технологий искусственного интеллекта в медицине, лишенных характерных особенностей, присущих каждой из специальности. Таким образом, в научном коллективе НПКЦ ДиТ ДЗМ, занятом проблематикой Московского эксперимента, сформирована новая «научная реальность на основе теорий и методов, утративших свою дисциплинарную определенность»19. Этим обеспечивается высокая продуктивность научного коллектива НПКЦ ДиТ ДЗМ при проведении Московского эксперимента.

1.1. Краткая история, прогресс и результаты Московского эксперимента

Подготовка и начало работ (2019—2020 гг.). Московский эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы – научное клиническое исследование. В нем принимают участие юридические лица – резиденты Российской Федерации, разработавшие или имеющие права на предоставление сервисов на базе технологий компьютерного зрения для анализа медицинских изображений (в дальнейшем они именуются ИИ-сервисами). Использование термина «сервис» было целенаправленным, так как концептуально решения на основе ИИ должны были предоставлять конечному пользователю стандартизированные результаты своей работы, будучи при этом бесшовно интегрированными не только в профессиональные информационные системы в сфере здравоохранения, но и в производственные процессы лучевой диагностики.

Организационная, научная и методическая работа в эксперименте осуществляется Департаментом здравоохранения города Москвы и конкретным уполномоченным учреждением – Научно-практическим клиническим центром диагностики и телемедицинских технологий ДЗМ. Технологическая составляющая обеспечивается Департаментом информационных технологий города Москвы. Для поддержки и мотивации юридических лиц, представляющих ИИ-сервисы, Правительство города Москвы осуществляет выделение грантов.

Нормативно-правовое обеспечение Московского эксперимента представлено постановлениями Правительства Москвы и приказами Департамента здравоохранения города Москвы.

Положения о начале Московского эксперимента, основные требования к участникам-разработчикам ИИ, порядки предоставления и рассмотрения заявок на получение грантов, механизмы расчета объемов и условия соответствующих выплат приведены в Постановлении Правительства Москвы от 21 ноября 2019 г. №1543-ПП.

Во исполнение Постановления в IV квартале 2019 года коллективом научных подразделений (дирекции «Наука») НПКЦ ДиТ ДЗМ под патронатом Департамента здравоохранения города Москвы и при участии отдельных сотрудников Департамента информационных технологий города Москвы разработаны:

– проект приказа ДЗМ с детальным описанием всех аспектов эксперимента;

– основные производственные процессы;

– методологии обеспечивающих процедур.

Приказ Департамента здравоохранения города Москвы от 19.02.2020 №142 «Об утверждении Порядка и условий проведения эксперимента на использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы» устанавливал конкретные цели и задачи эксперимента; регламентировал процессы (в том числе работу комиссии, рассматривающей организационно-финансовые вопросы) и применяемые методологии, устанавливал пороговые значения диагностической точности ИИ; распределял зоны ответственности, права и обязанности всех участвующих сторон; также определял формы заявки на участие в эксперименте и соответствующее типовое соглашение.

За период 2020—2024 гг. было издано несколько сменявших друг друга версий постановлений Правительства Москвы и приказов ДЗМ, последовательно отражающих преобразование и качественное развитие самого Московского эксперимента как уникальной научной платформы.

Организационное обеспечение. Организацию проведения и сопровождение Московского эксперимента осуществляет Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы.

В 2019—2020 гг. НПКЦ ДиТ ДЗМ выполнена комплексная организационно-методическая подготовка к проведению Московского эксперимента, которая включила в себя:

1. Разработку нормативно-правового обеспечения.

2. Участие в организации и проведении комплекса работ по технологической интеграции ИИ-сервисов в ЕРИС ЕМИАС (включая разработку детальной концепции и технического задания, выполнение обязанностей функционального заказчика).

3. Методическую разработку, организацию и проведение процедур отбора, оценки, включения, мониторинга ИИ-сервисов – участников Эксперимента, а также выплаты предусмотренных грантов.

4. Организацию информирования и вовлечения компаний-разработчиков ИИ-сервисов в эксперимент.

5. Организацию информирования, обучения и вовлечения врачей-рентгенологов.

6. Разработку специальных методологий и процедур (как для операционных, так и для научных задач эксперимента).

7. Обеспечение эффективной системы коммуникаций со всеми участниками Московского эксперимента; информирование профессиональной аудитории и широкой общественности о его ходе.

В 2019—2020 гг. силами сотрудников научных подразделений (дирекция «Наука») НПКЦ ДиТ ДЗМ организована бесперебойная работа по организации и проведению процедур привлечения, информирования, получения и обработки заявок, отбора и оценки, входного тестирования, включения, регулярного мониторинга, поддержки, научного анализа участников Московского эксперимента. Также организационно-технически была обеспечена работа комиссии Департамента здравоохранения города Москвы, ведение соответствующего документооборота, в том числе для выплаты предусмотренных грантов. Все перечисленные работы были сопряжены с выстраиванием и формальным структурированием целого ряда новых производственных процессов. Причем некоторые из них были новыми лишь для данного учреждения (например, деятельность по выдачи грантов), а другие – были принципиально новыми и не имели прямых аналогов (например, ежемесячный мониторинг технического и медицинского качества ИИ-сервисов).

Налажена эффективная система коммуникаций со всеми сторонами, вовлеченными в эксперимент, включая списки рассылок, выделенные телефонные номера, тематические чаты и группы в интернет-мессенджерах, а также разработан и запущен официальный веб-сайт Эксперимента www.mosmed.ai и электронный почтовый ящик.

Интенсивность коммуникаций наглядно иллюстрирует следующий факт. Ежедневно на официальный электронный адрес эксперимента поступало от 30 до 50 обращений. В результате анализа коммуникации с компаниями было выявлено 120 типовых вопросов, подготовлены и опубликованы на сайте www.mosmed.ai стандартные справочные ответы.

Для информирования профессиональной аудитории и широкой общественности о ходе Эксперимента осуществлялся план публикаций в средствах массовой информации и социальных медиа. Примечательно, что в 2020 г. суммарно было выпущено 2742 тематических материала новостного, научно-популярного и публицистического характера о Московском эксперименте, что составило 57,0% от общего объема публикаций в масс-медиа по проблематике ИИ и смежным темам. Ряд публикаций и сообщений были сделаны ТАСС и РИА Новости. Общий охват превысил 110 миллионов аудитории.

Для развития у врачей-рентгенологов Московского референс-центра лучевой диагностики, а также иных медицинских организаций ДЗМ компетенций по применению ИИ-сервисов разработано учебно-методическое обеспечение и реализована трехэтапная схема обучения. На первом этапе в формате вебинаров проведены 6 дистанционных лекций общей длительностью 10 академических часов. На втором этапе врачам предоставлен свободный доступ к 21 оригинальному видеоуроку, содержание которых в последствие неоднократно актуализировалось и дополнялось. Также для врачей была подготовлена короткая визуальная инструкция по использованию результатов работы ИИ-сервисов. На третьем этапе проведены 2 очные рабочие встречи при участии наиболее активных и заинтересованных врачей. На основании накопленных материалов научного, учебно-методического и практического характера в конце 2020 г. сформирована программа дополнительного профессионального образования, рассчитанная на 18 академических часов.

Особым направлением работы было широкое информирование и вовлечение компаний-разработчиков: в ходе информационной кампании обеспечен охват потенциального рынка в 100,0% в РФ и 65,0% на международном уровне20.