Сравнение диагностических параметров шкалы на основе машинного обучения и шкалы GRACE 2.0 для оценки долгосрочного риска летального исхода после инфаркта миокарда и нестабильной стенокардии

Прогнозирование возможного риска осложнений, особенно летального исхода после инфаркта миокарда (ИМ) и нестабильной стенокардии (НС), позволит оптимизировать мероприятия вторичной профилактики и улучшит выживаемость больных. Для повышения точности прогнозирования перспективно использование машинного обучения (Machine Learning (ML)) больших данных [1], которое конкурирует с традиционными методами статистического анализа [2].

Риск летального исхода больных в течение 3 лет после ИМ и НС прогнозируется ш калой (Global Registry of Acute Coronary Events (GRACE)) 2.0 с наибольшим дискриминационным значением для ИМ без подъёма ST и НС (Area Under the Curve (AUC =0,78)) [3-5]. Изучалась диагностическая возможность шкалы GRACE во временном горизонте свыше 3 лет, в т.ч. с использованием отечественной программы "КардиоЭксперт" для мобильных устройств [6]. При создании шкалы GRACE 2.0 впервые использованы нелинейные методы оценки взаимосвязи между риском летальных осложнений и изучаемыми предикторами [5], что особенно актуально при многофакторном ИМ 2 типа. Алгоритмы ML позволяют изучать нелинейные связи значительно глубже. Для создания наиболее валидированного алгоритма ML помимо количества данных важны разнообразие и репрезентативность признаков. Эффективность нового алгоритма определяется балансом между диагностической точностью и клинической пользой от его использования [7].

Цель: сравнение диагностических параметров шкалы оценки долгосрочного риска летального исхода после ИМ и НС, основанной на модели машинного обучения и шкалы GRACE 2.0.

Материал и методы

Регистрационные данные. В рамках наблюдательного ретроспективного когортного исследования [8] изучали медицинские карты пациентов с диагнозами при выписке из стационара: НС (I20.0) и ИМ (I21-I22).

Вопрос этики и конфиденциальности является одним из основных принципов работы с большими данными [9]. Исследование было выполнено в соответствии со стандартами надлежащей клинической практики и принципами Хельсинкской декларации. Протокол исследования был одобрен этическим комитетом Федерального государственного бюджетного образовательного учреждения высшего образования (ФГБОУ ВО) "Курский государственный медицинский университет" Министерства здравоохранения Российской Федерации (г. Курск). До включения в исследование у всех больных было получено письменное информированное согласие. В исследовании использованы обезличенные данные.

Критерии включения: диагностика ИМ и НС согласно рекомендациям [10][11] и получение контрольных данных о состоянии больного в динамике.

Первый этап работы: извлечение данных из медицинских карт, получение контрольных данных о состоянии больных в динамике, формирование групп больных с негативным (летальным) и благоприятным исходами, создание алгоритма отбора признаков, участвующих в модели ML, был представлен в предыдущем исследовании [12].

Разделение данных. Данные делились на обучающую и тестовую выборки с использованием функции train_test_split из библиотеки sklearn. В данном случае, 80% данных используется для обучения модели, а 20% — для тестирования. Параметр random_state=42 обеспечивает воспроизводимость результатов [13].

Настройка, обучение и тестирование модели. Использованы следующие библиотеки анализа данных:

— LightAutoML (фреймворк для автоматизированного машинного обучения) — автоматизированный подбор алгоритмов ("умный помощник", выбирающий оптимальную модель) [14].

— CatBoostClassifier — алгоритм, имитирующий принятие решений на основе древовидных правил, разработанный компанией Яндекс. Алгоритм эффективен при работе с категориальными признаками и не требует их предварительного кодирования [15].

— SMOTE (Synthetic Minority Over-sampling Technique) — технология синтеза данных для балансировки редких событий ("виртуальные пациенты" для обучения модели)¹.

Этапы анализа данных: генерация признаков (в т.ч. создание новых показателей из исходных данных), балансировка данных (искусственное увеличение числа примеров летальных исходов), обучение моделей (автоматический подбор "правил" для классификации (6000+ итераций), совместное использование алгоритмов CatBoost и LightAutoML), внутренняя валидация (5-кратная проверка на подгруппах изучаемых больных).

Прогнозирование включает интеграцию результатов двух моделей (70% LightAutoML и 30% CatBoost) и расчет персонального риска (шкала 0-100%).

Метрики, оценивающие модель. Для оценки модели применялись следующие метрики [16], рассчитанные на основе матрицы ошибок (Confusion Matrix):

Чувствительность (Recall, Sensitivity (Se)) — показатель, определяющий долю истинно летальных исходов из общего числа прогнозируемых летальных исходов (True positive rate (TPR)). TPR = True positive (TP)/(TP+False negative (FN)).

Специфичность (Specificity (Sp)) — показатель, определяющий долю истинно благоприятных исходов из общего числа прогнозируемых благоприятных исходов (True negative rate, (TNR)). TNR = True negative (TN)/(TN+False positive (FP)).

Предсказательная ценность положительного результата (Positive predictive value, (PPV)). Precision (точность). Вероятность летального исхода при предсказанном летальном исходе. PPV = TP/(TP+FP).

Предсказательная ценность отрицательного результата (Negative predictive value, (NPV)): вероятность благоприятного исхода при предсказанном благоприятном исходе. NPV = TN/(TN+FN).

Отношение правдоподобия положительного результата теста (Positive Likelihood Ratio, сокр. LR+ или LR+, PLR): отношение между вероятностью предсказанного летального исхода при истинном летальном исходе (TPR) и вероятностью предсказанного летального исхода при истинном благоприятном исходе (False positive rate — FPR), т.е. TPR/FPR или Se/(1-Sp).

Отношение правдоподобия отрицательного результата теста (Negative Likelihood Ratio, сокр. LR-, LR-, NLR): отношение между вероятностью предсказанного благоприятного исхода при истинном летальном исходе (False negative rate — FNR) и вероятностью предсказанного благоприятного исхода при истинном благоприятном исходе (TNR), т.е. FNR/TNR = (1-Se)/Sp.

F1: Гармоническое среднее между precision и recall, обеспечивающее баланс между ними. F1 = 2*(Precision*Recall)/(Precision+Recall).

Receiver operating characteristic (ROC) Curve — график, показывающий соотношение между True Positive Rate и False Positive Rate при различных порогах классификации. ROC AUC: площадь под ROC кривой, измеряющая общую способность модели различать изучаемые классы.

Индекс Юдена J (Youden’s index) — это разница между TRP и FPR (долей истинно положительных результатов (чувствительностью теста) и долей ложноположительных результатов). Чем больше это различие, тем лучше работает диагностическая технология. J = Se + Sp-1. Число, необходимое для диагностики (The number needed to diagnose, сокр. NND), вычисляется путем инверсии индекса Юдена (1/J) и определяется как число пациентов, которые должны быть протестированы, чтобы получить один правильный, т.е. истинно летальный исход.

Сводный прогнозный индекс (predictive summary index (PSI)) отражает общую уверенность в летальном исходе при выполнении алгоритма ML: PSI = PPV+NPV-1. Обратная величина PSI предлагается как число пациентов, которые должны быть обследованы, чтобы правильно предсказать один летальный исход.

Для подсчета метрик использовалась библиотека Scikit-learn (sklearn) — это популярная библиотека машинного обучения для языка программирования Python, предоставляющая простые и эффективные инструменты для анализа данных и моделирования, включая классификацию, регрессию, кластеризацию и снижение размерности.

Для оценки качества бинарной классификации изучаемых моделей выстраивались ROC-кривые. С целью проверки устойчивости алгоритма ML проведена внутренняя K-fold кросс-валидация, для чего вся выборка пациентов случайно делилась на 5 равных групп (Fold 1-5) [17]. Итоговые метрики (AUC) рассчитывались как среднее по всем 5 циклам.

Сравнение диагностических параметров изучаемых шкал проводилось по тестовой выборке больных (20% общего количества больных в исследовании, n=303).

Результаты

Согласно данным предыдущих исследований [12], алгоритмом ML в результате обучения отобраны 8 наиболее важных признаков, по совокупности которых оценивается риск летального исхода.

Клиническая характеристика тестовой выборки больных, по которой проводилось сопоставление изучаемых прогностических шкал, представлена в таблице 1.

Как видно из таблицы 1, больные тестовой выборки в основном имеют низкий риск летальных осложнений по шкале GRACE 2.0. Кардиологическая летальность в данной группе — 15,8%, соответствует летальности в обучающей выборке больных.

При сравнении тестовых выборок по изучаемым параметрам, характеризующих точность изучаемых шкал, получены следующие данные (табл. 2).

Как видно из таблицы, диагностическая точность шкалы GRACE 2.0 и шкалы риска ML совпадают.

ROC кривая наглядно показывает общую способность обеих шкал дифференцировать благоприятный и неблагоприятный исходы исследуемых больных с ИМ и НС (рис. 1).

Общая способность диагностики риска летального исхода после ИМ и НС шкалой риска ML и шкалой GRACE 2.0 одинаковая.

Матрицы ошибок позволяют наглядно оценить число истинных и ложных заключений при использовании шкалы риска ML и шкалы GRACE 2.0 (рис. 2).

Количество ложных заключений, полученных при использовании шкалы риска ML, совпадало с результатами, оцененными по шкале GRACE 2.0.

Перекрестная проверка является важным аспектом оценки шкалы риска ML, поскольку позволяет оценить устойчивость алгоритма ML (рис. 3).

Модель демонстрирует устойчивую производительность на всех этапах кросс-валидации. Однако существует потенциал для улучшения, особенно в части повышения точности (Precision) и полноты (Recall).

Фракция выброса (ФВ) левого желудочка (ЛЖ) наряду с возрастом больных играет основную роль в определении риска летального исхода в алгоритме ML [12] и влияет на выживаемость больных после ИМ и НС (рис. 4).

Как видно на рисунке, выживаемость больных с ФВ ЛЖ ≤40% существенно снижается после 3 года наблюдения.

Обсуждение

В результате исследования точность прогнозирования летального исхода больных после ИМ и НС шкалой риска ML и шкалой GRACE 2.0 оказалась сопоставима [18]. Причина может быть в том, что машинное обучение в настоящем виде представляет собой расширение традиционных методов моделирования, каждый из которых имеет свои уникальные ограничения [19]. Преимущество разработанного алгоритма ML в прогнозировании кардиологической летальности во временном горизонте свыше 5 лет. Учитывая, что вклад факторов в моделях прогнозирования может меняться в разные временные промежутки [20], значение может иметь не точность модели, а уникальное сочетание автоматически выбранных факторов, осуществляющих прогноз.

Прогнозирование неблагоприятного исхода после ИМ и НС необходимо для оптимизации вторичной профилактики [21]: своевременное проведение нагрузочного стресс теста и полной реваскуляризации миокарда [22], оптимальной липидснижающей терапии и лечения сердечной недостаточности (СН), предусмотренные рекомендациями [10][11]. Благоприятный прогноз позволит снизить риски при меньшем использовании ненужного лечения и ослабить бремя ненужных затрат [7].

Модель риска, основанная на машинном обучении в настоящем исследовании, сравнивалась с распространённой шкалой оценки риска больных после перенесенного ИМ и НС — GRACE 2.0. Отечественной программой "КардиоЭсперт" для мобильных устройств на основании 9 предикторов (возраст, частота сердечных сокращений, систолическое артериальное давление, креатинин, повышенный уровень тропонинов, девиация ST, анамнез СН, анамнез ИМ, чрескожное коронарное вмешательство) можно оценить риск кардиологической летальности больного после выписки из стационара. Результаты GRACE 2.0 были следствием продолжения исследования GRACE (1999-2009гг) и получены на основании подгруппы из 1274 больных, при использовании нелинейных методов оценки взаимосвязи между риском и предикторами (максимальный AUC модели при трёхлетнем прогнозе составил 0,78) [5][6]. Модель GRACE прогнозирует летальность на основании факторов острого ишемического повреждения миокарда, что наиболее достоверно при ИМ 1 типа [4][23]. В прогнозируемый период происходит восстановление повреждённого миокарда, стабилизация систолической функции ЛЖ на качественно новом уровне. Больным проводится полная поэтапная реваскуляризация миокарда и назначается рекомендованная терапия [10][11]. Совокупность факторов, входящих в модель ML, характеризует острую стадию ишемического процесса с позиции ряда проспективных показателей, тесно связанных с последующей функцией ЛЖ и коморбидным фоном больных. Следовательно, ранняя и поздняя кардиологическая летальность после ИМ и НС может иметь разные причины. Считается, что традиционные прогностические модели недостаточны для оценки долгосрочного прогностического риска (3 года и более) [24]. Причина может быть в увеличении вклада ишемии ЛЖ вследствие не атеросклеротических (гемодинамических) причин (хроническая СН (ХСН), сопутствующие заболевания), что определяет необходимость создания модели прогнозирования с включением данных факторов [4].

Использование 8 автоматически выбранных предикторов: возраст, ФВ ЛЖ, площадь поверхности тела, уровень креатинина, систолическое артериальное давление, ХСН, коморбидность, нозология, позволяет прогнозировать вероятность летального исхода в течение 5 лет наблюдения. Половина из этих признаков совпадает с переменными шкалы GRACE 2.0, что подтверждает практическую значимость шкалы риска ML. Профиль пациента высокого риска на основании модели ML [12]: больной старше 69 лет, со сниженной ФВ ЛЖ (<50%), ХСН 1 и 2 стадии (клинически явная СН), концентрации креатинина крови >97 мкмоль/л, площадь поверхности тела <1,88 м², наличие >2 сопутствующих заболеваний, ИМ передней стенки ЛЖ. Онлайн калькулятор оценки риска кардиологической летальности на основании разработанной модели ML: http://www.cardio-ai.ru.

Наиболее значимый фактор в обеих шкалах риска — возраст. С увеличением возраста увеличивается количество ИМ без подъёма ST, больше риск многососудистого поражения коронарных артерий, снижается количество чрескожных коронарных вмешательств, увеличивается количество сопутствующих заболеваний [6][24-26]. С увеличением возраста больных снижается прогностическое влияние традиционных факторов риска [24][25], значение приобретают СН и коморбидная патология.

В модели ML признак, сопоставимый по значимости с возрастом — ФВ ЛЖ. Это один из ключевых прогностических факторов и возможная мишень лечебного воздействия. Величина ФВ характеризует компенсаторные механизмы в ЛЖ с учётом тяжести коронарного атеросклероза. На основании полученных данных установлено, что между 20 и 30 месяцами после ИМ и НС замедляется темп снижения выживаемости больных с ФВ ЛЖ ≤40%. На протяжении 2 лет после реваскуляризации миокарда проводится рекомендованное лечение, которое способствует активному восстановлению функции ЛЖ (повреждённого и оглушённого миокарда), что особенно выраженно при ФВ ЛЖ ≤40% [27-29]. После 30 мес. от момента ИМ и НС начинается существенное снижение выживаемости больных с исходным значением ФВ ЛЖ ≤40%. Причина может быть не только в ослаблении фармакологического лечения таких больных [28]. Снижение систолической функции после периода ремиссии может наступать по причинам прогрессирования коронарного атеросклероза, ишемии ЛЖ, не обусловленной коронарным атеросклерозом и в связи с тяжестью сопутствующих патологий [29]. Несмотря на применение актуальных рекомендаций по вторичной профилактике, риск у таких больных всё равно остаётся высоким [28]. Следовательно, верификация высокого риска летального исхода на основании алгоритма ML позволит отнести больного к категории повышенного риска, даже при улучшении функции ЛЖ в динамике.

Ограничения исследования. Модель ML в отличие от регрессии Кокса не позволяет оценить причинно-следственную связь. При оценке коморбидного фона не учитывался различный вклад каждой нозологий в прогнозе больных. Небольшая доля выполненных коронароангиографий и чрескожных коронарных вмешательств — существенный фактор ухудшающий прогноз исследуемых больных.

Заключение

Оценка долгосрочного риска летального исхода после ИМ и НС, основанная на модели ML, осуществляется по 8 наиболее значимым признакам: возраст, ФВ ЛЖ, площадь поверхности тела, уровень креатинина, систолическое артериальное давление, стадия ХСН, коморбидность. Точность прогнозирования летального исхода больных после ИМ и НС шкалой риска ML и шкалой GRACE 2.0 сопоставима. Диагностика высокого риска кардиологической летальности больных с ИМ и НС при ФВ ЛЖ ≤40% может позволить оптимизировать мероприятия вторичной профилактики в данной группе больных.

Практическое применение. Выявление высокого риска неблагоприятного исхода по алгоритму ML позволит выделить группу больных, перенесших ИМ и НС, у которых после улучшения ФВ ЛЖ существует необходимость продолжить лечение систолической дисфункции ЛЖ (ингибитор ангиотензиновых рецепторов и неприлизина).

Благодарности. Авторы выражают благодарность независимому исследователю, специалисту в области машинного обучения Смолякову Максиму Валерьевичу.

Отношения и деятельность: все авторы заявляют об отсутствии потенциального конфликта интересов, требующего раскрытия в данной статье.