Оценка вероятности тромбоэмболии легочной артерии при помощи модели машинного обучения

Тромбоэмболия легочной артерии (ТЭЛА) представляет собой неотложное состояние, имеющее потенциально высокий риск смерти. Распространенность ТЭЛА среди острых состояний уступает только инфаркту миокарда и инсульту, занимая третье место в мире [1]. Несмотря на современные алгоритмы диагностики и подходы к терапии, смертность от этого заболевания остается высокой и составляет 30% при не леченной и 8% при леченной ТЭЛА [2]. При этом имеется проблема своевременной диагностики этого состояния: из проанализированных >370 тыс. смертей от ТЭЛА 34% умерли внезапно до начала терапии, у 59% ТЭЛА как причина летального исхода была диагностирована лишь посмертно [3].

Сложность распознавания ТЭЛА обусловлена неспецифичностью клинических проявлений, которые в значительной мере совпадают с другими смежными заболеваниями: острым коронарным синдромом, сердечной недостаточностью, пневмонией, обструктивной болезнью легких [4]. Для решения этой проблемы клинические признаки были объединены в алгоритмы, построенные с использованием логистической регрессии и позволяющие оценить вероятность ТЭЛА на основании балльной оценки каждого признака. Разработанные алгоритмы Geneva [5] и Wells [6] были валидированы и рекомендованы к практическому использованию [7], в то время как точность данных алгоритмов не признавалась высокой. Например, для шкалы Wells площадь под ROC-кривой 0,72, а валидация на проспективных данных пациентов в стратифицированных группах с низкой, средней и высокой вероятностью показала распространенность ТЭЛА 2%, 15% и 43% [8].

Важным аспектом ТЭЛА является то, что возросшая настороженность и увеличивающаяся доступность диагностических инструментальных методов, таких как компьютерная томография (КТ) легочных артерий (ЛА), привели к тому, что клиницисты сегодня подозревают ТЭЛА и инициируют соответствующее обследование чаще, чем ранее: подтверждение ТЭЛА среди пациентов, проходящих диагностическое обследование, в недавних исследованиях составило всего 5% против показанной в начале 1980-х годов распространенности, составившей ~50% [9]. Имеющийся тренд свидетельствует об увеличении финансовых трат при подозрении на ТЭЛА и рисков осложнений диагностических процедур. Таким образом, крайне важно, чтобы современные диагностические алгоритмы для ТЭЛА были способны безопасно исключать ТЭЛА в популяциях пациентов с низкой претестовой вероятностью заболевания.

Методы машинного обучения позволяют создавать модели, способные включать в анализ неограниченное количество клинических признаков, определять их значимость для рассчитываемого события, повышать точность оценки, а работа таких моделей с данными электронных медицинских карт (ЭМК) более точно поддерживает клинические решения [10]. Эти особенности являются потенциалом как для улучшения мониторинга пациентов с высоким риском ТЭЛА и для ее более ранней диагностики, так и для безопасного исключения этого заболевания.

Целями данного исследования стали разработка и валидация модели машинного обучения для выявления подозрения на ТЭЛА по клиническим признакам из ЭМК.

Материал и методы

Источник данных

Источником информации для создания модели послужила база данных (БД) платформы прогнозной аналитики "Webiomed", содержащая деперсонифицированные формализованные данные ЭМК пациентов реальной клинической практики. Данные были собраны ретроспективно и деидентифицированы в соответствии с законами Российской Федерации о персональных данных и, следовательно, не требовали одобрения этического комитета и добровольного согласия пациентов. На обработку взяты данные 2,9 млн пациентов, связанные с ними обращения в медицинские организации амбулаторного и стационарного звена в период с 01.01.2001 до 31.12.2022, находящиеся в следующих регионах Российской Федерации: Кировская, Челябинская, Волгоградская области, Ямало-Ненецкий автономный округ, Республика Карелия, Пермский и Алтайский край. Данные о пациентах включают в себя: демографические, лабораторные и инструментальные данные, симптомы, лекарственные препараты и диагнозы.

При описании построения модели были использованы рекомендации TRIPOD (https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-014-0241-z/tables/1).

Когорта пациентов для формирования набора данных

В БД были использованы зарегистрированные случаи лечения. Под случаем лечения понимаются записи ЭМК, соответствующие следующим условиям: даты начала и завершения, кодирование случая при помощи кодов МКБ-10, медицинские документы, соответствующие периоду начала и завершения случая.

Критерии первичного отбора пациентов из БД:

• возраст пациента на дату начала случая старше 14 лет;
• амбулаторный или стационарный случаи лечения;
• имеющиеся заболевания, со схожей клинической картиной ТЭЛА, отобранные по заключительным диагнозам случая лечения согласно кодам и подкодам МКБ-10: пневмония (J12-J16, J18); острый бронхит (J20-J22); хронический бронхит (J41, J42); хроническая обструктивная болезнь легких (J43, J44); бронхиальная астма (J45); сердечная недостаточность (I50); ТЭЛА (I26).

Собранные случаи лечения были разделены на две группы: с ТЭЛА и без ТЭЛА (пневмония, острый бронхит, хронический бронхит; хроническая обструктивная болезнь, бронхиальная астма, сердечная недостаточность).

Подготовка данных

В набор данных (НД) были включены случаи лечения, в которых присутствовали значения признаков "возраст" и "пол"; если у уникального пациента было несколько последовательных либо одновременных случаев, то оставляли один с наибольшей заполненностью значений признаков. Для всех отобранных пациентов из БД были выгружены значения признаков на даты случая лечения и за 4 дня до даты начала случая (табл. 1). Признаки отбирались согласно знаниям о клинических проявлениях описанных выше заболеваний, присутствию их в ЭМК. Такие признаки, как иммобилизация, болезненная пальпация вен ног, хирургическая операция, отсутствовали в ЭМК и не были взяты для анализа. Если значений у признаков было несколько в этот период, то бралось самое позднее. Если значения количественных признаков оказывались вне пределов допустимых значений, то данные значения признаков удалялись из итогового НД.

Для бинарных признаков пропущенные значения были заполнены значениями "нет". Для методов машинного обучения Logistic Regression, MLP Classifier, Gradient Boosting Classifier и Random Forest Classifier пропуски в значениях количественных признаков были заполнены фиксированным значением: -10000. Для методов машинного обучения XGBoost, CatBoost и LightGBM пропуски не заполнялись.

Общая схема подготовки данных и дизайн исследования представлены на рисунке 1.

Описание процесса разработки и оценки/валидации модели

На сформированном НД на языке программирования Python были обучены модели машинного обучения, диагностирующие ТЭЛА исходя из значений 23 признаков пациентов. Мы сравнили 7 различных методов машинного обучения к созданию моделей на основе табличных данных: Logistic Regression (логистическая регрессия), MLP Classifier (многослойный перцептон), Random Forest Classifier (алгоритм случайного леса), XGBoost, LightGBM, CatBoost, Gradient Boosting Classifier (алгоритмы градиентного бустинга).

Для методов XGBoost, LightGBM, CatBoost использовались одноименные библиотеки, для всех остальных методов библиотека Scikit-learn.

Отдельный регион был выбран для внешней валидации моделей (рис. 1) согласно рекомендациям по валидации многофакторных предиктивных моделей TRIPOD. Оставшийся НД был разделен случайным образом в соотношении 80% — выборка для обучения, 20% — для тестирования.

Для оценки точности моделей использовался ROC-анализ и основные метрики точности при пороге срабатывания, определенном для максимального значения индекса Юдена для чувствительности и специфичности. Использовались метрики точности: чувствительность (Recall), специфичность, прогностическая ценность положительного класса (Precision), прогностическая ценность отрицательного класса, F1 (положительный класс), F1 (отрицательный класс), площадь под ROC-кривой, точность.

Выбор наилучшей модели проводился по максимальному значению площади под ROC-кривой и с учетом минимального изменения оптимального порога срабатывания между тестовой выборкой и выборкой внешней валидации. Доверительные интервалы (ДИ) для метрик точности и площади под характеристической кривой (95%) были рассчитаны методом Бутстрэп с числом итераций 1000 с помощью функции sklearn.utils.resample. Значимость признаков для выбранной модели определялась путем расчета относительного влияния каждой переменной на результат работы модели с помощью метода SHAP.

Статистический анализ. Статистический анализ и построение моделей машинного обучения выполняли на языке программирования Python, версия 3.9. Нормальность распределения количественных переменных оценивалась при помощи критерия Шапиро-Уилка, их данные отражены в виде медианы с указанием межквартильного размаха [Q25%; Q75%], категориальных — в виде долей (N, %). Сравнение количественных переменных в группах с целевым событием и без проводили при помощи теста Манна-Уитни, категориальных — при помощи χ² Пирсона, значение p<0,05 считалось статистически значимым.

Результаты

Данные пациентов, вошедших в итоговый набор, были получены в период с марта 2007 по февраль 2022гг. Всего модели обучались на данных 19730 пациентов. В обучающей выборке пациентов с целевым событием было 7,3% (791 из 10831), в тестовой — 7,3%, валидационной — 6,3%. Состав НД с указанием разделения на обучающую, тестовую выборки и выборку для внешней валидации приведен в таблице 2. В среднем, пациенты перенесшие ТЭЛА были старше, женского пола, чаще у них встречались кровохарканье, симптомы дыхательных нарушений, цианоз кожи и отеки, диагностированы злокачественные новообразования (ЗНО) и тромбофлебит, имели повышенный креатинин крови, частоту сердечных сокращений. Полное описание признаков НД для обучения приведено в таблице 3. Такие признаки, как симптомы, диагнозы, являющиеся булевскими, половозрастные характеристики, являющиеся обязательными, имеют полную заполненность в НД. Количественные признаки, такие как измеряемые параметры при осмотре и лабораторные, имеют различную распространенность, меньшую чем 100%. Заполненность значений признаков итогового НД представлена на рисунке 2.

Были применены 7 алгоритмов машинного обучения для построения моделей. Основные метрики диагностической точности вместе с 95% ДИ для всех исследованных моделей приведены в таблицах 4 (тестовая выборка) и 5 (внешняя валидация). Из всех исследованных моделей наименьшую точность на одном и том же НД показала модель MLP Classifier. Остальные модели, а именно LightGBM, Random Forest Classifier и Logistic Regression, CatBoost, XGBoost и Gradient Boosting Classifier показали сравнимые метрики, и значения площади под ROC-кривой пересекались в пределах ДИ. Диапазон значений площади под ROC-кривой у этих моделей на тестовой выборке составил (0,934-0,954), а на выборке внешней валидации (0,909-0,927).

Наименьшую разницу в порогах срабатывания (0,002) на тестовой выборке и при внешней валидации показала модель на основе алгоритма Gradient Boosting Classifier, поэтому данная модель была выбрана наиболее подходящей для проспективной апробации.

ROC-кривая модели Gradient Boosting Classifier представлена на рисунке 3. Выход модели представляет собой число от 0 до 1 — вероятность наличия заболевания ТЭЛА у пациента. Порог классификации для модели 0,063. Если выход модели ниже отметки 0,063, то вероятность наличия ТЭЛА у пациента низкая, если выше — вероятность наличия ТЭЛА у пациента высокая. Порог классификации был подобран с помощью максимума индекса Юдена. Значимость признаков для модели, построенной с помощью Gradient Boosting Classifier, приведена на рисунке 4.

Обсуждение

В проведенном исследовании нами продемонстрирована способность моделей машинного обучения выявлять пациентов высокого риска возникновения ТЭЛА. Хотя для этой задачи было использовано 7 различных подходов, алгоритм градиентного бустинга работал наиболее точно, что, возможно, связано с лучшей обработкой этим алгоритмом пропущенных данных, которые часто встречались в используемом НД. Вполне возможно, что другие нейронные сети могут быть более приспособлены к этой задаче, чем многослойная модель персептрона, используемая в настоящем исследовании.

При планировании данной модели изначально предполагалась поддержка клинического решения для выявления ТЭЛА на этапе до назначения дополнительных методов исследования: Д-димера, КТ ЛА. Для решения этой задачи исследованы признаки в момент начала амбулаторного или стационарного обращения, включающие в себя жалобы, данные объективного осмотра, анамнеза, ранее имеющиеся заболевания, лабораторные данные. По результатам проведенного машинного обучения определены признаки, которые имеют наибольшую значимость для предсказания ТЭЛА: кашель, дыхательные нарушения, креатинин крови, температура тела, общая слабость, отеки ног, частота сердечных сокращений, частота дыхания. Все эти признаки согласуются с распространёнными клиническими проявлениями ТЭЛА [7]. К признакам с меньшей значимостью относятся сатурация, возраст, тромбофлебит, кровохарканье, цианоз кожи, систолическое и диастолическое артериальное давление (АД), ЗНО. Систолическое АД и ЗНО традиционно считаются значимыми факторами и проявлениями ТЭЛА, но на наших данных не было получено сильное их влияние на целевое событие. Мы можем объяснить низкую роль систолического АД особенностями внесения данных в ЭМК, когда возможны ошибки введения информации о давлении или тиражирование шаблона врачебного осмотра без коррекции значений параметров. Несильное влияние ЗНО объясняется их незначительной частотой в НД для обучения (5,7%) и отсутствием анализа по виду рака, что имеет значение для риска тромбоза. В нашем исследовании использован НД для обучения со схожими по клинической картине заболеваниями, такими как пневмония, острый бронхит, хронический бронхит; хроническая обструктивная болезнь, бронхиальная астма, сердечная недостаточность с той целью, что модель более точно определит связь смежных симптомов с ТЭЛА. Это позволяет использовать модель на раннем этапе диагностического поиска ТЭЛА: сбор жалоб, анамнеза, объективных данных.

Опубликовано немного моделей машинного обучения и исследований, связанных с использованием данных ЭМК для диагностики ТЭЛА. В исследовании Logan R, et al. [11] была разработана модель предсказания ТЭЛА на данных ЭМК госпитализированных пациентов, и аналогично нашим данным алгоритм градиентного бустинга показал свое превосходство (площадь под ROC-кривой 0,85). Особенностями этого исследования были: сбор данных, ограниченный первыми 3 ч пребывания в стационаре, использование данных одного центра, анализ анамнестических, расширенных лабораторных и ограниченных объективных данных; верификация ТЭЛА на основании кодов МКБ-10 и приема антикоагулянтов или проведения тромболитической терапии. В нашем исследовании ТЭЛА была верифицирована только при помощи кодов МКБ-10, что объясняется ограниченными возможностями БД. Коды МКБ-10 для верификации ТЭЛА имеют высокую чувствительность (~90%) [12], но риск ложноположительных результатов при таком подходе все же имеется, а использование дополнительных критериев верификации диагноза ТЭЛА позволяет уменьшить этот риск. Особенностью исследования van Es N, et al. [13] было то, что использовались данные 16 проспективных исследований с 28 тыс. пациентов для построения модели индивидуальной вероятности ТЭЛА. По результатам обучения были взяты 9 предикторов: возраст, пол, предыдущие венозные тромбозы, хирургические вмешательства/иммобилизация, кровохарканье, ЗНО, нахождение в стационаре, уровень Д-димера. Обученная модель показала точность по статистическому показателю 0,87. Авторы сделали вывод, что модель можно использовать в качестве альтернативы традиционным алгоритмам для принятия решения о необходимости визуализации ЛА. В исследовании Somani SS, et al. [14] были разработаны 3 модели для диагностики ТЭЛА: по данным электрокардиографии (ЭКГ), ЭМК и гибридная, объединяющая данные 1 и 2 модели. Гибридная модель (0,81 — площадь под ROC-кривой) превзошла по точности как модели ЭКГ (0,59) и ЭМК (0,65), так и шкалы, и Geneva (AUROC 0,50-0,58). В исследовании Banerjee I, et al. [15] была разработана модель машинного обучения PERFORM, которая учитывает множество факторов риска ЭМК у пациентов с подозрением на ТЭЛА. Модель преобразует необработанные данные ЭМК во временные векторы признаков и моделирует решение для отбора и направления на КТ ЛА. Для обучения и валидации было использовано 3397 КТ-исследований по поводу ТЭЛА у 3214 пациентов. Модели прошли внешнюю валидацию на 240 пациентах. Наилучшая точность модели по площади под ROC-кривой 0,90 (95% ДИ: 0,87-0,91) на внутренних данных и 0,71 (95% ДИ: 0,69-0,72) на внешних.

Разработанная нами модель имеет ряд ограничений. Данные врачебных записей в ЭМК могут иметь ошибки интерпретации и ввода клинических данных, прежде всего жалоб. Их влияние на прогноз сейчас не известно и будет проверяться при эксплуатации модели. Не были учтены некоторые значимые в патогенезе ТЭЛА признаки (иммобилизация, операции) из-за отсутствия их в ЭМК или невозможности извлечения. Для извлечения признаков из медицинских текстов были использованы NLP-модели, которые имеют собственную точность работы, колеблющуюся от 0,80 до 0,99, что может влиять на правильность извлечения признаков и дальнейшую их обработку. При обучении модели не использовались ЭКГ данные, которые могут увеличить результативность работы данной модели. Поэтому имеются перспективы для повышения точности обученной модели — дообучение на новых данных, использование дополнительных предикторов. Перспективным с клинической точки зрения является сравнение предсказательной способности разработанной модели и шкал, применяемых для выявления подозрения на ТЭЛА, являющихся стандартом клинической практики.

Заключение

Была разработана модель для оценки вероятности ТЭЛА на российских данных ЭМК с использованием технологии машинного обучения. Точность модели по метрике площадь под ROC-кривой 0,952 (95% ДИ: 0,938-0,964) согласно внутреннему тестированию и 0,920 (95% ДИ: 0,903-0,936) на внешней валидации. Обученная модель рассчитана для использования при первичном обращении за медицинской помощью пациентов с жалобами и подозрением на ТЭЛА вне зависимости от вида помощи. Использование комбинации моделей машинного обучения (анализ данных ЭМК, рентгеновских и электрокардиографических изображений) позволит смоделировать полноценный диагностический процесс ТЭЛА или выдвинуть альтернативную диагностическую гипотезу.

Отношения и деятельность: все авторы заявляют об отсутствии потенциального конфликта интересов, требующего раскрытия в данной статье.