Проблемы оценки клинической эффективности применения искусственного интеллекта в диагностике ишемического инсульта

Основная область применения искусственного интеллекта (ИИ) в медицине — это анализ медицинских изображений. Нейронные сети позволяют ускорить интерпретацию исследования и повысить точность врача в постановке диагноза. В первую очередь ИИ в радиологии используется для диагностики патологий, требующих быстрого принятия решения.

Одна из таких патологий — ишемический инсульт. Скорость принятия решения играет важную роль в терапии острого ишемического инсульта, поскольку от времени начала симптомов до начала лечения зависит прогноз пациента. Согласно российским клиническим рекомендациям, опубликованным в 2024г, для проведения внутривенной тромболитической терапии у врача есть 4,5 ч от появления первых симптомов инсульта, а для проведения тромбэкстракции — 6 ч. Также в России действует приказ Минздрава России "Об утверждении Порядка оказания медицинской помощи больным с острыми нарушениями мозгового кровообращения", согласно которому время от поступления пациента с симптомами острого нарушения мозгового кровообращения (ОНМК) до интерпретации компьютерной томографии (КТ) или магнитно-резонансной томографии (МРТ) головного мозга рентгенологом не должно превышать 40 мин.

Для более оперативного оказания помощи пациентам с ОНМК разрабатываются модели машинного обучения, автоматизирующие работу врачей на различных этапах оказания помощи. ИИ позволяет как оптимизировать процесс оказания помощи, так и увеличить точность в постановке диагноза и выборе лечения.

ИИ-сервисы для диагностики ишемического инсульта представляют собой медицинское программное обеспечение, предназначенное для автоматизации работы врача при помощи методов ИИ. Сервисы ИИ для диагностики ишемического инсульта используются в двух сценариях: сервис для "второго мнения" и инструмент для маршрутизации пациентов (рис. 1).

В первом сценарии сервис ИИ анализирует данные визуализации и автоматически формирует заключение. Такое решение предназначено для снижения количества "пропущенных" патологий.

Во втором сценарии сервис ИИ автоматически анализирует данные визуализации и при нахождении патологии оповещает врача. Такие модели могут быть интегрированы в медицинскую информационную систему и маркировать пациентов в зависимости от вероятности патологии по данным КТ или КТ-ангиографии [1]. Врач, работающий на потоке, получает уведомление о пациенте с более вероятным наличием и рассматривает его исследование в приоритетном порядке. Такое решение даёт возможность в более короткие сроки провести тромболитическую терапию или тромбэкстракцию пациентам с острым ишемическим инсультом.

Большинство опубликованных клинических исследований показывают высокую диагностическую точность нейронных сетей, сравнимую с точностью врачей-рентгенологов. Сервисы маршрутизации пациентов с использованием ИИ многократно доказали способность сократить время от поступления в медицинское учреждение до проведения реканализации сосуда, однако в данный момент недостаточно доказательств положительного влияния ИИ на клинические исходы. Для оценки эффективности ИИ необходимы рандомизированные клинические исследования с клинически значимыми конечными точками. Более того, в исследованиях медицинского ИИ, в частности, для диагностики ишемического инсульта, встречаются систематические ошибки (bias), вызывающие опасения относительно безопасности и эффективности использования моделей ИИ.

Цель обзора — изучить доказательства клинической эффективности применения ИИ для диагностики ишемического инсульта и описать ограничения, влияющие на интерпретацию этих доказательств.

Что такое ИИ и машинное обучение?

ИИ — это область компьютерных наук, изучающая создание искусственных систем, способных выполнять задачи, традиционно требующие человеческого интеллекта. ИИ в медицине решает такие задачи, как распознавание образов, анализ данных и принятие решений на их основе. Термин "искусственный интеллект" был введён в 1950-е годы как новое направление в компьютерных науках [2].

Одним из ключевых подходов в ИИ является машинное обучение, которое позволяет алгоритмам автоматически обучаться на основе данных, выявляя в них закономерности [3]. Нейронные сети — это один из классов алгоритмов машинного обучения, вдохновлённых структурой нейронных связей человеческого мозга. Нейронные сети состоят из множества взаимосвязанных слоев, обрабатывающих входные данные, преобразуя их в сложные представления, что позволяет решать задачи высокой сложности, такие как классификация изображений или анализ медицинских данных.

Компьютерное зрение (computer vision) — это область ИИ, решающая задачи на основе анализа изображений и видео [4]. В области компьютерного зрения используются нейронные сети, осуществляющие детекцию и сегментацию объектов, а также классификацию изображений. Большая часть медицинских задач, в которых ИИ нашёл своё применение, относятся к анализу медицинских изображений. Модели машинного обучения используются в лучевой диагностике, офтальмологии, кардиологии, дерматологии, онкологии, патоморфологии, хирургии [5].

Методология исследования

Поиск публикаций на русском и английском языках производился по базам данных научной литературы PubMed и eLIBRARY. В анализ включались статьи, содержащие ключевые слова "ischemic stroke", "artificial intelligence", "radiology", "ишемический инсульт", "искусственный интеллект", "рентгенология", опубликованные с 2019 по 2025гг. Критерии исключения: статьи, опубликованные в "хищнических" журналах, согласно списку Билла. Дата последнего поиска — 21.03.2025.

В результате были получены 103 публикации. После скрининга статей по аннотациям были исключены 66 публикаций из-за несоответствия теме обзора. В финальный анализ были включены 39 обзоров, метаанализов и клинических исследований, изучающих тему эффективности ИИ для диагностики ишемического инсульта.

Результаты

Использование ИИ на каждом этапе диагностики ишемического инсульта

Нейронные сети используются как системы поддержки принятия решения для диагностики и выбора лечения при ОНМК рентгенологами, неврологами и сосудистыми хирургами. Чаще всего врачи в клинической практике сталкиваются с моделями ИИ для анализа изображений. Для автоматизированной диагностики острого ишемического инсульта разработаны сервисы, анализирующие данные бесконтрастной КТ, КТ-ангиографии, КТ-перфузии, МРТ.

Большая часть систем для диагностики ишемического инсульта детектируют и/или выделяют контуром зоны предполагаемой ишемии на бесконтрастных КТ. Примерами таких сервисов являются Rapid, Viz, qER, Avicenna, Brainomix, Deep01 и Annalise AI. Также эту задачу выполняют системы, разработанные российскими компаниями: Третье мнение КТ ГМ комплекс, NtechMed CT Brain, Sciberia Head, Цельс КС КТ ГМ и "КТ ГМ комплекс" от СберМедИИ. Помимо сегментации изображений, некоторые модели ИИ автоматически подсчитывают объём и размеры предполагаемой зоны ишемии.

Для принятия решения о проведении внутрисосудистой тромбоэкстракции при острейшей ишемии используется шкала Alberta Stroke Program Early CT Score (ASPECTS). Модели машинного обучения способны предсказывать локализацию зон ASPECTS и зоны ишемии на бесконтрастной КТ. При сопоставлении этих зон модель определяет балл по шкале ASPECTS, подобно врачу-рентгенологу. Примерами сервисов для оценки баллов ASPECTS являются Rapid-ASPECTS и e-ASPECTS [6, 7], получившие одобрение Управления по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA). По данным метаанализа Adamou A, et al. [8], ИИ способен более точно оценивать балл по шкале ASPECT, чем врач-рентгенолог. При сравнении истинной оценки (ground truth) по шкале ASPECTS с оценкой врача-рентгенолога коэффициент межклассовой корреляции (ICC) в среднем составил 0,62, при сравнении с ИИ-сервисом — 0,72.

Помимо бесконтрастной КТ, в диагностике инсульта широко применяется КТ-ангиография, позволяющая определить локализацию поражения и выбрать тактику лечения. В практике уже используются сервисы Rapid LVO и Viz LVO [9, 10] для детектирования окклюзии больших сосудов по данным КТ-ангиографии. В исследовании Martinez JC, et al. [11] использование сервиса Viz LVO для автоматической диагностики окклюзии больших сосудов в сосудистых центрах позволило сократить время от поступления пациента до выполнения внутрисосудистой тромбэкстракции ("door-to-groin") на 11,2 мин по сравнению с центрами, в которых сервис не использовался. При прямом сравнении моделей Viz LVO и Rapid LVO на выборке из 360 исследований сервисы продемонстрировали специфичность 0,96 и 0,85, чувствительность 0,87 и 0,87, соответственно [12].

Одним из признаков острейшей ишемии является симптом гиперденсной средней мозговой артерии. Weyland CS, et al. [13] продемонстрировали способность нейронной сети детектировать симптом гиперденсной артерии с чувствительностью 0,77 и специфичностью 0,87, что сопоставимо с точностью врачей-рентгенологов.

Нейронные сети также используются для предсказания зоны пенумбры и ядра ишемии при КТ-перфузии. Одно из исследований продемонстрировало модель, определяющую зону ядра ишемии по данным КТ-перфузии со средней абсолютной ошибкой 13,8 мл при сравнении с диффузно-взвешенной МРТ [14].

Метод диффузно-взвешенной МРТ обладает 94% чувствительностью и 100% специфичностью при определении ишемического инсульта в первые 6 ч от начала развития симптомов, согласно Российским клиническим рекомендациям по лечению ишемического инсульта. Это наиболее эффективная модальность для проведения дифференциальной диагностики ишемического инсульта [15]. Для автоматической интерпретации МРТ-исследований также обучают новые модели ИИ. В метаанализ Bojsen JA, et al. [16] были включены 9 исследований, изучавших эффективность моделей машинного обучения для диагностики ишемии по данным МРТ. Чувствительность и специфичность детектирования ишемии на изображениях диффузионно-взвешенной МРТ составила 93% и 93%. По данным метаанализа Miceli G, et al. [17], ИИ-сервисы помогают определять класс инсульта по шкале TOAST по данным МРТ и КТ-ангиографии.

Помимо детектирования и сегментации зон ишемии, многие сервисы детектируют и сегментируют другие патологии, что помогает врачу-рентгенологу провести дифференциальную диагностику. Вазогенный отёк — одна из патологий, проявляющаяся на бесконтрастной КТ как гиподенсивная зона. В исследовании Newbury-Chaet I, et al. модель ИИ Annalise Enterprise CTB детектировала вазогенный отёк на КТ с чувствительностью 90,2% и специфичностью 93,5% [18]. Российский ИИ-сервис "Третье Мнение. КТ ГМ", помимо выделения зон ишемии, также определяет зоны кистозно-глиозной трансформации для дифференциации свежего ишемического инсульта вблизи участков хронических изменений.

Исследование нейровоспаления является перспективным направлением в диагностике ишемического инсульта и нейрореабилитации. Для исследования процесса нейровоспаления активно используется позитронно-эмиссионная томография с КТ с транслокационным белком 18 кДа (TSPO). Zatcepin A, et al. разработали метод количественной оценки с использованием алгоритма машинного обучения, позволяющий упростить и ускорить процесс интерпретации исследования на 10 мин по сравнению со стандартным протоколом [19].

Систематические ошибки в исследованиях ИИ для диагностики ишемического инсульта

Понятие "bias" в научных исследованиях представляет собой систематическую ошибку, приводящую к отклонению результатов от объективной истины. В контексте медицинского ИИ bias может проявляться на разных этапах разработки алгоритмов, включая сбор и обработку данных, выбор модели и интерпретацию результатов [20]. Основные источники bias в медицинском ИИ включают несбалансированные или нерепрезентативные выборки данных, методологические ошибки при обучении моделей, а также предвзятость исследователей. Такие искажения могут приводить к снижению точности диагностики и прогностических моделей для отдельных групп пациентов, что может усугублять существующие диспропорции в медицинской помощи. Выявление и минимизация bias являются критически важными задачами для обеспечения справедливости и надежности ИИ-решений в здравоохранении.

Для оценки эффективности ИИ-сервисов в клинических исследованиях необходимы новые структуры отчётов, учитывающие технические особенности моделей машинного обучения и связанные с ними риски. Для стандартизации отчетности и увеличения прозрачности данных в исследованиях ИИ были разработаны рекомендации MINIMAR (Minimum Information for Medical AI Reporting) [21], CONSORT-AI (Consolidated Standards of Reporting Trials–Artificial Intelligence) [22] и SPIRIT-AI (Standard Protocol Items: Recommendations for Interventional Trials–Artificial Intelligence) [21-23], а также специализированные рекомендации CLAIM для моделей ИИ, анализирующих изображения [24]. Все перечисленные рекомендации включают стандартные требования для исследования медицинских вмешательств и специфические требования, связанные с ИИ: описание модели, использованных данных для её разработки, процессов тестирования и валидации.

По данным систематического обзора Akay E, et al. [25], большинство исследований систем поддержки принятия врачебных решений с ИИ для диагностики ишемического инсульта не соответствуют стандартам отчётности. Только 58% исследований сообщили о разделении данных на обучающую и тестовую выборки, во многих исследованиях отсутствует информация о наличии отдельного набора данных для валидации модели. В 3% исследований информация о пациентах, чьи данные использовали для обучения модели, полностью отсутствовала. Многие исследования включали в себя неполные демографические данные пациентов в исследовании, в 8% исследований демографические данные отсутствовали.

Коммерческие нейронные сети, как правило, обучены на непубличных наборах данных. Фактически только компания-разработчик имеет информацию об алгоритмах обучения моделей, источниках данных для обучения и их количестве. Информация о частных наборах данных, приобретаемых компаниями-разработчиками, остаётся недоступной для научного и медицинского сообщества.

Использование публичных наборов данных не гарантирует высокую достоверность моделей, обученных на этих данных. Galanty M, et al. [26] выявили ряд проблем в публичных наборах данных с медицинскими изображениями и сигналами, используемых для обучения ИИ. Основные недостатки связаны с недостаточной документацией, в которой часто отсутствуют критерии включения данных, методы аннотирования, возможные ошибки и ограничения.

Разнообразие данных для обучения моделей машинного обучения — одна из наиболее распространённых проблем для медицинского ИИ [27-29]. Разработчики обязаны обеспечить не только адекватное распределение патологий, но и репрезентативную выборку по демографическим показателям. Недостаточное внимание к демографическим данным, таким как возраст, пол и раса, приводит к систематическим ошибкам в классификации и прогнозировании. Публичные наборы данных с исследованиями КТ головного мозга для обучения ИИ, такие как CQ500 [30], не содержат данных о расовой принадлежности и географическом распределении пациентов, чьи исследования вошли в набор данных.

Существуют разные подходы к распределению демографических параметров в наборе данных для обучения ИИ, и выбор правильного подхода неоднозначен. С одной стороны, тренировочный набор должен содержать достаточное количество данных, полученных от людей с разными демографическими показателями (пол, возраст, раса). С другой стороны, если распределение демографических данных будет соответствовать демографическому распределению в стране, использующей ИИ-сервис, ответы сервиса будут более достоверными.

Проблемы с аннотацией данных обусловлены отсутствием единых стандартов, что приводит к высокой вариативности разметки и ошибкам в обучении моделей. Также отмечается нехватка информации об источниках ошибок и их количественной оценке, что мешает разработчикам учитывать неопределенности при обучении. В документации часто отсутствует информация о сборе данных, включая условия их получения и личность сборщиков, что затрудняет воспроизводимость исследований.

Предвзятость публикации — один из типов bias, связанный со склонностью научных журналов и исследователей публиковать позитивные исследования чаще, чем негативные. Подавляющее большинство опубликованных исследований, изучающих эффективность ИИ в диагностике ишемического инсульта, оказываются положительными. Однако по данным систематического обзора [31] лишь 1% из всех клинических исследований медицинских ИИ-сервисов оказываются опубликованными. Поощрение публикации исследований с негативными результатами со стороны научных журналов может помочь преодолению предвзятости публикации в сфере ИИ.

Отсутствие опубликованных результатов работы не мешает сервису ИИ получить одобрение FDA или Европейского агентства медицинских средств (EMA). Leeuwen KG, et al. проанализировали 100 медицинских сервисов с ИИ, прошедших сертификацию Европейского соответствия (CE) и получивших разрешение к использованию в европейских странах [32]. 64 из 100 сервисов были одобрены на основании внутреннего анализа, проведённого разработчиками сервисов. 11 сервисов для диагностики ишемического инсульта, включённых в исследование, также вышли на рынок раньше, чем были опубликованы статьи с доказательствами их безопасности и эффективности.

Сложности оценки эффективности ИИ-сервисов

Для оценки качества работы ИИ необходима валидация на тестовой выборке исследований из источника, данные из которого не использовались для обучения модели. Благодаря внешней валидации можно определить генерализуемость модели ИИ. Kim DW, et al. [33] выявили лишь 31 исследование из 516 опубликованных исследований ИИ для анализа медицинских изображений, в которых использовался внешний набор данных для валидации моделей. При этом ни одно из исследований не включало 3 ключевых элемента дизайна: дизайн когортного исследования, многоцентровое исследование и проспективный сбор данных для валидации.

Исследования моделей ИИ, включающие валидацию на внешнем наборе данных, зачастую демонстрируют на нём более низкую точность. Анализ 83 публикаций, описывающих модели глубокого обучения для лучевой диагностики, показал, что 81% моделей имели более высокие метрики точности при внутреннем тестировании по сравнению с внешней валидацией [34].

По данным систематического обзора Mikhail P, et al. [35], большинство публикаций на тему ИИ-диагностики ишемического инсульта на бесконтрастной КТ содержали анализ чувствительности, специфичности и доли верных ответов моделей при сравнении с врачом-радиологом. Однако, чтобы оценить возможность использования ИИ в клинической практике, необходимы доказательства влияния ИИ на клинические исходы.

Самой распространённой конечной точкой в клинических исследованиях ИИ для диагностики ишемического инсульта является время "от двери до иглы" — от поступления пациента в стационар до проведения тромболитической терапии. По решению Национального симпозиума по быстрой идентификации и лечению острого инсульта (1996, Bethesda), этот показатель не должен превышать 60 мин. Большинство ИИ-сервисов, одобренных FDA и EMA, используются как инструмент маршрутизации пациентов в специализированных сосудистых центрах. Сервис автоматически анализирует исследование и при выявлении ишемического инсульта маркирует его в электронной медицинской карте. Маркировка сигнализирует врачу-рентгенологу, что исследование данного пациента необходимо рассмотреть в первую очередь, т.к. он с высокой вероятностью имеет патологию по данным КТ. Модель ИИ внутри подобной платформы для триажа пациента позволяет значимо уменьшить время до проведения тромболитической терапии и тромбэкстракции. Тем не менее в одном из исследований использование сервиса Rapid LVO для детектирования окклюзии больших сосудов по КТ-ангиографии, ранее одобренного FDA для использования в клинической практике, не позволило уменьшить время до лечения [36]. Изменение балла по шкале National Institutes of Health Stroke Scale (NIHSS) через 36 ч после тромболитической терапии оказалось выше в группе, для которой не использовалась маршрутизация с ИИ (медиана 7 для группы без ИИ и 3 с ИИ, p<0,03). Время описания исследования резидентами-рентгенологами без большого опыта было значительно ниже в группе ИИ (31,70 мин без ИИ и 20,13 мин с ИИ, p<0,0003), статистически значимых различий в группе опытных нейрорадиологов не было. В похожем исследовании сервиса Viz LVO [37], аналогичного Rapid LVO по функциональным свойствам, в качестве первичной конечной точки для оценки эффективности использовался показатель door-in-door-out (DIDO) — время нахождения пациента в первичном сосудистом центре. Медианное время DIDO в группе без использования ИИ-маршрутизации составило 210 мин, в группе с использованием ИИ — 133 мин. В качестве вторичной конечной точки исследователи использовали вероятность проведения внутрисосудистой тромбэкстракции (EVT) после перевода пациента из первичного инсультного центра в специализированный центр. В группе ИИ этот показатель оказался выше, однако увеличение не достигло статистической значимости (отношение шансов 2,13; 95% доверительный интервал: 0,88-5,13; p=0,093), что может быть связано с малым объёмом выборки. Таким образом, ведущие модели ИИ позволяют ускорить оказание медицинской помощи пациентам с ишемическим инсультом, однако пока отсутствуют убедительные доказательства их влияния на клинические исходы.

Westwood M, et al. [38] в систематическом обзоре, посвящённом клинической и экономической эффективности программного обеспечения для диагностики ишемического инсульта, отмечают, что дизайн исследований не позволяет сделать выводы об эффек- тивности в реальной клинической практике. Ни одно из 22 проанализированных исследований не оценивало программное обеспечение с ИИ в условиях, соответствующих заявленному применению — в связке с врачом, как предполагается производителями. Практически все исследования изучали эффективность ИИ как автономной системы, что не отражает его предполагаемое использование в клинической практике. В другом случае, исследования ИИ-систем для триажа пациентов являются наблюдательными исследованиями, оценивающими время оказания помощи до и после внедрения ИИ в процесс маршрутизации. В данных исследованиях отсутствовала информация о ложноотрицательных ответах ИИ-моделей. Таким образом, нельзя сделать выводы о количестве случаев ишемического инсульта, пропущенных моделью ИИ.

В данный момент в Российской Федерации зарегистрированы 5 медицинских изделий с ИИ для автоматизации диагностики ишемического инсульта: Третье мнение КТ ГМ комплекс, NtechMed CT Brain, Sciberia Head, Цельс КС КТ ГМ, КТ ГМ комплекс от СберМедИИ. Каждый из этих сервисов осуществляет сегментацию зоны ишемии. Также данные сервисы детектируют и сегментируют кровоизлияния, что позволяет дифференцировать геморрагический и ишемический инсульт и выявить противопоказания для проведения тромболитической терапии.

Комплексный сервис "КТ головного мозга" компании-разработчика "СберМедИИ" — единственный российский сервис ИИ для диагностики ишемического инсульта, опубликовавший результаты исследования эффективности [39]. В рамках исследования сервис обработал 703 бесконтрастных КТ из одного медицинского центра и при ретроспективном сравнении с заключениями рентгенологов продемонстрировал высокую диагностическую точность: чувствительность — 89%, специфичность — 98%, точность — 98%. Значительным ограничением данного исследования являются критерии исключения. Из анализа исключались КТ-исследования с наличием "нецелевой патологии", что делает выборку нерепрезентативной.

Несмотря на отсутствие публикаций, посвящённых другим российским ИИ-сервисам для диагностики ишемического инсульта, их точность регулярно оценивается в ходе "Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы", запущенного в 2019г Правительством Москвы [40]. В рамках данного эксперимента лучевые исследования (в частности, КТ головного мозга), выполняемые в медицинских учреждениях города Москва, автоматически направляются разработчикам ИИ-сервисов для обработки ИИ-сервисом. Результаты обработки исследования становятся доступны врачу-рентгенологу, предоставляя "второе мнение". Оценка сервисов проводится экспертами ежеквартально. Сервисы оцениваются на основании параметра площади под кривой (AUC), отражающей способность модели различать положительные и отрицательные случаи ишемического инсульта и внутричерепных кровоизлияний. Показатели AUC участников Эксперимента в период 4 квартала 2024г¹ для сервисов Третье мнение КТ ГМ комплекс, Цельс КС КТ ГМ, NTechMedCT Brain Complex составили 0,92; 0,8907; 0,8637, соответственно. Таким образом, разработанные в России модели ИИ для диагностики патологий на бесконтрастной КТ головного мозга имеют высокую диагностическую точность.

Заключение

Применение ИИ в диагностике ишемического инсульта является перспективным направлением, способным повысить оперативность и точность выявления патологии. Современные ИИ-модели демонстрируют сопоставимую с врачами-рентгенологами диагностическую точность.

Публикации, доказывающие эффективность ИИ в реальной клинической практике, имеют ряд ограничений. В большинстве публикаций, посвящённых ИИ-сервисам для диагностики ишемического инсульта, недостаточно описаны данные, использованные для обучения моделей ИИ, процессы разработки и тестирования моделей. Несмотря на положительное влияние ИИ-сервисов для маршрутизации пациентов на сокращение времени до начала лечения, влияние на исходы не доказано клиническими исследованиями. Проблема оценки эффективности особенно актуальна для моделей ИИ, разработанных в России, т.к. научные данные о точности и безопасности этих моделей, за исключением сервиса "КТ головного мозга", отсутствуют на момент написания данного обзора.

В связи с указанными выше ограничениями, оценка пользы применения ИИ-сервисов для диагностики инсульта в клинической практике остаётся нерешённой задачей на текущий момент. Для её решения необходим анализ влияния ИИ на клинические исходы в исследованиях и увеличение прозрачности данных в публикациях, посвящённых моделям для диагностики ишемического инсульта.