Оценка качества и эксплуатационных параметров технологий искусственного интеллекта в здравоохранении. Учебное пособие

Большие генеративные модели – модели искусственного интеллекта, способные интерпретировать (предоставлять информацию на основании запросов, например, об объектах на изображении или о проанализированном тексте) и создавать мультимодальные данные (тексты, изображения, видеоматериалы и тому подобное) на уровне, сопоставимом с результатами интеллектуальной деятельности человека или превосходящем их (Указ Президента РФ от 10.10.2019 №490).

Эмбеддинг – представление слова в виде числового вектора, что позволяет сохранить семантическое сходство для различных слов, имеющих близкие значения (например, «подъезд» и «парадная»).

Стемминг – процесс усечения слова до корня.

Суммаризация – автоматическое создание краткого содержания исходного текста (обычно с применением больших генеративных моделей).

Эталонная суммаризация – идеальное краткое изложение исходного текста (данных электронной медицинской карты пациента), созданное врачами-экспертами в формате консенсуса. Необходима для расчета семантических метрик качества больших генеративных моделей.

N-грамма – последовательность из N смежных символов, расположенных в определенном порядке.

Эксплуатационные параметры систем искусственного интеллекта систематизированы и классифицированы в национальном стандарте ГОСТ Р 59921.4—2021.

Эксплуатационные параметры разделяются на категории по:

– точности;

– назначению;

– входным данным;

– принципу организации обучения;

– производительности;

– системной совместимости.

Это обязательный список параметров, который может быть дополнен с учетом требований регулятора, заказчика, пользователя, а также – особенностей, предназначения, условия применения самой СИИ.

Эксплуатационные параметры по точности определяют разными методами, исходя из особенностей работы данной СИИ.

Оценку точности СИИ проводят в дизайне диагностического исследования; при этом оптимально руководствоваться методологией и чек-листом STARD-2015. Отметим, что данный чек-лист не полностью подходит для проектов в области ИИ, поскольку содержит недостаточно конкретные рекомендации касательно качества и объема наборов данных, метрик диагностической точности, а также используемой терминологии. Тем не менее профильный чек-лист STARD-AI находится в разработке с 2021 года, и до момента его выхода STARD-2015 является лучшим из доступных решений.

Для оценки точности обеспечивают наличие некоего эталона – референс-теста, с которым сравнивают точность нового инструмента – индекс-теста (которым и является СИИ). На практике референс-тестом чаще всего служит верифицированный набор данных со специальной разметкой.

Согласно классическим подходам, размер выборки зависит от ожидаемого размера эффекта, уровня статистической значимости и мощности. Помимо этого, согласно ГОСТ Р 59921.5—2022, размер выборки для тестирования СИИ определяется целью его применения и зависит от следующих факторов:

– требуемое качество решений СИИ;

– тип и архитектура алгоритма СИИ;

– количество параметров алгоритма СИИ;

– качество данных, включая качество аннотаций, распределение метрик и уровень шума в наборе данных.

Для практического здравоохранения применяются выборки со следующими размерами: с целью получения стабильного значения эксплуатационных параметров точности СИИ с бинарным исходом достаточно9:

– 80 исследований при условии баланса классов 50 на 50%;

– 400 исследований при условии минимальной доли любого из классов 10%.

1. Показатели точности СИИ для анализа медицинских данных с приоритетной целью определения факта наличия целевой патологии (детекции), ее вида (классификации) и локализации

Пример. СИИ необходимо выявить признаки онкологических заболеваний в результатах профилактического исследования, для чего ей нужно определить характерные признаки, соотнести их с конкретным заболеванием, указать локализацию патологического проявления в пределах органа.

Базовые параметры точности:

– доля ошибок 1-го (ложноположительный результат) и 2-го рода (ложноотрицательный результат) при принятии решений СИИ. Этот параметр представляет собой характеристику точности. Доля ошибок 1-го рода подтверждает прогнозируемую вероятность ложноположительного результата при работе СИИ, а доля ошибок 2-го рода, соответственно, – вероятность ложноотрицательного результата;

– чувствительность;

– специфичность;

– площадь под характеристической кривой;

– прогностическая ценность положительного и отрицательного результата;

– согласованность.

Для расчета метрик результаты работы индекс-теста по анализу эталонного набора данных классифицируют по 4 видам (таблица 1).

Строят соответствующую четырехпольную таблицу и вносят в нее абсолютное значение для каждого вида результатов. Далее выполняют расчет показателей (общепринятый список показателей точности представлен в таблице 2).

Определение площади под характеристической кривой (рисунок 2). Площадь под кривой (AUC – от англ. area under curve) – площадь, ограниченная ROC-кривой и абсциссой. В свою очередь, характеристическая ROC-кривая (ROC – от англ. receiver operating characteristic curve

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

Примечания

1

Приказ Министерства труда и социальной защиты РФ от 07.11.2017 №768н «Об утверждении профессионального стандарта «Специалист в области организации здравоохранения и общественного здоровья».

2

Приказ Министерства труда и социальной защиты РФ от 04.08.2017 №610н «Об утверждении профессионального стандарта «Врач-кибернетик».

3

Приказы Министерства науки и высшего образования РФ от 12.08.2020 №988; от 12.08.2020 №965 соответственно.

4

Приказ Министерства науки и высшего образования РФ от 13.08.2020 №1006 «Об утверждении Федерального государственного образовательного стандарта высшего образования 30.05.03 Медицинская кибернетика».

5

Приказ Министерства образования и науки РФ от 19.09.2017 №929 «Об утверждении Федерального государственного образовательного стандарта высшего образования – бакалавариат по направлению подготовки 09.03.01 «Информатика и вычислительная техника».

6

Приказ Министерства образования и науки РФ от 19.09.2017 №920 «Об утверждении Федерального государственного образовательного стандарта высшего образования – бакалавариат по направлению подготовки 09.03.04 Программная инженерия».

7

Приказ Министерства труда и социальной защиты РФ от 02.08.2021 №531н «Об утверждении профессионального стандарта „Специалист по тестированию в области информационных технологий“»

8

Подготовка набора данных для обучения и тестирования программного обеспечения на основе технологии искусственного интеллекта: учебное пособие / Васильев Ю. А., Арзамасов К. М., Владзимирский А. В., и др. М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2024. 140 с.

9

Оптимальный размер обоснован в ряде научных работ: Chetverikov S. F., Arzamasov K. M., Andreichenko A. E., et al. Approaches to sampling for quality control of artificial intelligence in biomedical research // Sovremennye tehnologii v medicine. 2023. Vol. 15, №2. Р. 19. https://doi.org/10.17691/stm2023.15.2.02; Бобровская Т. М., Васильев Ю. А., Никитин Н. Ю. [и др.]. Объем выборки для оценки диагностической точности программного обеспечения на основе технологий искусственного интеллекта в лучевой диагностике // Сибирский журнал клинической и экспериментальной медицины. 2024. Т. 39, №3. Р. 188—198. https://doi.org/10.29001/ 2073-8552-2024-39-3-188-198; Коденко М. Р., Бобровская Т. М., Решетников Р. В. [и др.]. Эмпирический метод расчета размера выборки для тестирования алгоритмов искусственного интеллекта // Доклады РАН. Математика, информатика, процессы управления. 2024. Т. 520, № S2. С. 71—84. https://doi.org/10.31857/S2686954324700395.