Возможности методов машинного обучения в стратификации операционного риска у больных ишемической болезнью сердца, направляемых на коронарное шунтирование

На сегодняшний день в Российской Федерации выполняется ~210 тыс. операций реваскуляризации миокарда, из которых на операции коронарного шунтирования (КШ) приходится ~15% (~30 тыс. в год), что значительно меньше необходимого с учетом текущего роста больных ишемической болезнью сердца (ИБС) [1]. Одна из причин — сложность в принятии решения о необходимости выполнения вмешательства, в т.ч. из-за сниженной доступности медицинской помощи, квалифицированного медицинского персонала и недостаточной осведомленности врачей о потенциальном риске послеоперационных осложнений.

Средние показатели госпитальной смертности после КШ составляют 1,5-3%, но варьируют в зависимости от срочности выполнения операции, тяжести поражения коронарного русла, возраста, общего состояния, коморбидности пациента и пр. Потенциальные риски, сопровождающие кардиохирургические вмешательства, не всегда точно прогнозируемы, что в сочетании с индивидуальными обстоятельствами негативно сказывается на принятии оптимального решения о дальнейшей тактике лечения. Возможность прогнозирования послеоперационных исходов значительно облегчает задачу специалиста в оценке потенциальных пользы/риска вмешательства у пациента, рассматриваемого в качестве кандидата на реваскуляризацию миокарда.

В настоящее время для практического использования доступно множество шкал стратификации риска смерти после кардиохирургических вмешательств. Среди них шкалы EuroScore 2 и STS являются наиболее изученными и рекомендованы к рутинному использованию в практике [2]. Однако, несмотря на широкое применение, в ряде исследований были показаны существенные ограничения этих шкал, заключающиеся в переоценке риска смерти у пациентов низкого риска и недооценке риска у пациентов с высоким риском [3-5].

К основным причинам, отрицательно влияющим на прогностическую точность, можно отнести: 1) низкую локальную адаптацию шкал, т.е. шкалы могут не отражать региональную реальность; 2) "универсальность" шкал, что не позволяет учитывать специфику оперативного вмешательства; 3) "устаревание" клинических баз данных, использованных для создания прежних шкал; 4) неполный учет прогностически значимых признаков; 5) погрешности и ограничения стандартных математических методов расчета риска.

В свою очередь, набирающие популярность методы машинного обучения (МО) имеют значительные преимущества над традиционными методами математического анализа, поскольку позволяют искать как линейные, так и нелинейные зависимости между исходными медицинскими данными и целевым признаком. Методы МО относятся к разновидности искусственного интеллекта и способны прогнозировать возможные сценарии развития событий, понимать их значение, формировать шаблоны распознавания и рассчитывать модели индивидуального риска, что является значительным шагом в сторону развития персонализированной медицины и позволит минимизировать негативные исходы, сопряженные с индивидуальными особенностями пациента. В ряде зарубежных исследований использование методов МО показало более высокую точность прогнозирования краткосрочной смертности после кардиохирургических операций в сравнении с традиционными шкалами [6-8]. Среди отечественных публикаций также имеются единичные исследования, демонстрирующие результаты применениях методов МО для оценки риска при реваскуляризации миокарда [9]. Однако крупных исследований, адаптированных к отечественным условиям оказания кардиохирургической помощи, не проводилось. Целью нашего исследования явилась разработка и оценка эффективности моделей прогнозирования вероятности летального исхода после операции КШ, полученных с помощью методов МО на основании анализа предоперационных данных.

Материал и методы

Концепция разработки и валидирования прогностических моделей (ПМ) представлена на рисунке 1. В рамках одноцентрового когортного исследования нами был сформирован датасет, содержащий ретроспективный пул медицинских данных 2239 больных ИБС, перенесших КШ с сентября 2018г по август 2021г. Критерии включения больных: выполненное изолированное КШ, как результат госпитализации у больных со стабильным течением ИБС. В исследование не включали больных, перенесших КШ одномоментно с протезированием клапанов, резекцией аневризмы левого желудочка, реваскуляризацией других сосудистых бассейнов и пр. Данные пациентов были выгружены из медицинских информационных систем и обезличены. После формирования и разметки датасета проводили удаление всех случаев, содержащих неполные данные.

Итоговый вариант включил 2182 больных, перенесших КШ. В нашем исследовании проблема выраженного дисбаланса классов (число выживших (n=2153) значительно превосходило число умерших (n=29)) являлась серьезным барьером для получения эффективных ПМ, поскольку приводила к их переобучению. В таких ситуациях качество моделей может быть неудовлетворительным, т.к. граница решения, вероятно, будет резко смещаться из-за несбалансированных данных [10]. Для решения проблем несбалансированной выборки в первую очередь прибегают к методам передискретизации [11], среди которых наиболее эффективным методом является SMOTE (Synthetic Minority Over-sampling Technique) [12]. SMOTE способен устранять дисбаланс классов методом увеличения числа наблюдений в миноритарном классе за счет создания новых синтетических выборок, образованных путем искусственного формирования случаев с похожим набором наблюдаемых признаков, значения которых лежат в границах таковых для представителей миноритарного класса (интерполяция между второстепенными выборками). По мнению авторов, проведение передискретизации снижает вероятность переобучения и повышает эффективность обобщения классификатора на тестовой выборке [7].

Исходно общая группа больных (n=2182) была случайно разделена на 2 выборки в соотношении 80%:20% — для обучения (TRAIN) (n=1745, из них 1722 — выжившие и 23 — умершие) и для тестирования моделей (VALID) (n=437, из них 431 — выжившие, 6 — умершие) (рис. 1).

На этапе обучения в выборке TRAIN была проведена передискретизация с помощью SMOTE для миноритарного класса (умершие), в результате чего класс "умерших" количественно сравнялся с классом "выжившие". После передискретизации датасет содержал данные 3444 больных (1722 — выжившие, 1722 — умершие (синтетически сформированная выборка)).

Для разработки моделей прогнозирования летального исхода после КШ мы использовали пять алгоритмов МО: логистическую регрессию (LR), Random Forrest, CatBoost, LightGBM, XGBoost.

В выборке TRAIN для каждого из алгоритмов МО проводили 5-фолдовую кросс-валидацию (k-Fold=5) и поиск гиперпараметров (параметров, рекомендуемых программой на основании математических расчетов, для оптимального управления процессом обучения модели). В качестве потенциальных гиперпараметров рассматривались исходные клинические признаки (представлены в таблице 1).

Для проведения кросс-валидации обучение моделей проводили на 80% (n=2755) и тестировали на 20% (n=689) выборки TRAIN. Результаты, полученные для каждого из алгоритмов, усредняли. В итоге на выборке TRAIN для каждого из пяти алгоритмов получали ПМ с усредненными гиперпараметрами.

Таким образом, для прогнозирования исхода после КШ нами было построено 5 ПМ: ПМ I — реализована c помощью LR, ПМ II — с помощью CatBoost, ПМ III — с помощью LightGBM, ПМ IV — с помощью Random forest, ПМ V — с помощью XGBoost.

Далее проводили тестирование всех моделей в группе VALID (n=437, из которых 431 — выжившие и 6 — умершие) (истинная группа, без применения передискретизации).

Результаты эффективности полученных моделей сравнивались между собой путем анализа метрик качества, рекомендованных к применению при несбалансированных данных: 1. Recall (полнота) — отражает долю предсказанных алгоритмом объектов положительного класса из всех объектов класса; 2. Precision (точность) — показывает долю объектов, названных алгоритмом положительными и при этом действительно являющимися положительными; 3. F1-мера — отображает гармоническое среднее на основе Precision/Recall. Также для оценки зависимости верно классифицируемых объектов положительного класса от ложноположительных классифицируемых объектов негативного класса рассчитывалось значение ROC-AUC с построением Roc-кривых. Для объективной визуализации результатов работы каждой из моделей МО проводили построение матриц несоответствия (матрицы ошибок).

Построение ПМ, оценка их производительности и визуализация данных проводились с использованием пакета программ JUPYTER Notebook с помощью интерпретатора Python 3.9.12 на операционной системе Windows 10 Pro.

Статистика. При анализе исходных данных количественные показатели описывались с помощью медианы (Me) и нижнего и верхнего квартилей (Q1-Q3), а категориальные показатели — с указанием абсолютных значений и процентных долей. Сравнение двух групп по количественному показателю, распределение которого отличалось от нормального, выполнялось с помощью U-критерия Манна-Уитни. Сравнение процентных долей при анализе четырехпольных таблиц сопряженности выполнялось с помощью критерия хи-квадрат Пирсона. Статистический анализ проводился с использованием программы StatTech v.2.8.8 (Статтех, Россия).

Исследование было выполнено в соответствии со стандартами надлежащей клинической практики (Good Clinical Practice) и принципами Хельсинкской декларации. Протокол исследования был одобрен Этическим комитетом НМИЦ ССХ им. А. Н. Бакулева. До включения в исследование у всех участников было получено письменное информированное согласие.

Результаты

Госпитальная смертность после КШ составила 1,32% (n=29). Пациенты, умершие после КШ, реже страдали ожирением (р=0,027), имели более низкую общую фракцию выброса левого желудочка (р<0,001), чаще имели критическое поражение артерий нижних конечностей (р<0,001), мультифокальный атеросклероз (p=0,023), более высокий уровень креатинина (р=0,012) и более низкие значения скорости клубочковой фильтрации (р=0,006), чаще подвергались повторному КШ (р<0,001) в сравнении с выжившими. Средний риск смерти после КШ в группе умерших больных был статистически значимо выше по шкале EuroSCORE II (р<0,001) (табл. 1).

Эффективность ПМ, полученных после применения алгоритмов к обучающей выборке, представлена в таблице 2. Большинство моделей демонстрировали сходную способность к прогнозированию исходов положительного класса среди общего класса (Recall — 0,333), за исключением ПМ IV, имевшей более низкий Recall — 0,167 и как следствие более низкое значение F1-меры (F1-мера — 0,25). Наилучшие метрики качества были получены для ПМ II и ПМ III. При этом обращало на себя внимание, что они продемонстрировали сходную производительность (табл. 2). Метрики качества ПМ V оказались несколько хуже, чем у ПМ II и ПМ III. В свою очередь, ПМ I значительно уступала остальным моделям в прогнозировании исходов положительного класса среди истинно положительного класса (Precision — 0,143), что привело к наиболее низкому показателю F1-меры (F1-мера — 0,2) среди всех моделей (табл. 2).

На рисунке 2 показаны ROC-кривые полученных моделей. Наиболее высокие значения ROC-AUC были получены для ПМ II и ПМ III (AUC — 0,666 для обеих моделей). Самые низкие значения ROC-AUC наблюдались у ПМ IV (AUC — 0,582).

На рисунке 3 показаны возможности ПМ в прогнозировании исходов после КШ на основании матрицы несоответствия алгоритмов МО.

В целом все модели, кроме ПМ IV (рис. 3 Г), показали схожую эффективность к прогнозированию смертельных исходов, однако различались в прогнозировании исходов у выживших пациентов. Однако у ПМ I (рис. 3 А) наблюдалась наиболее выраженная тенденция к переоценке риска смерти, в сравнении с остальными моделями. Наиболее сбалансированный результат по совокупному числу ошибок 1-го и 2-го рода в прогнозировании послеоперационных исходов показали ПМ II (рис. 3 Б) и ПМ III (рис. 3 В).

Таким образом, данные таблицы 2 и рисунок 3 демонстрируют, что ансамблевые алгоритмы CatBoost, LightGBM и XGBoost имели более высокую прогностическую эффективность в сравнении с более простыми методами (LR, RandomForest).

На рисунке 4 показана значимость клинических признаков, определяющих точность прогнозирования в матрице ошибок для моделей с наилучшей производительностью ПМ II и ПМ III. При этом обе модели отнесли такие показатели, как уровень креатинина крови, фракцию выброса левого желудочка, возраст, критическое поражение (>70%) каротидных артерий и магистральных артерий нижних конечностей, трехсосудистое поражение коронарных артерий, перенесенное КШ в анамнезе и постинфарктный кардиосклероз, к наиболее значимым параметрам для принятия решения об исходе.

Обсуждение

Активное внедрение методов МО для реализации поддержки принятия клинических решений набирает обороты в связи с формировавшимся запросом на развитие цифровых технологий и курсом на персонализированную медицину. В современной кардиологии и кардиохирургии стратификация предоперационного риска, при наличии показаний к операции реваскуляризации миокарда, играет важную роль для определения оптимальной для пациента тактики решения, а именно, принятия решения в пользу хирургического или эндоваскулярного метода или полного отказа от хирургического лечения.

Целью данного исследования стало изучение возможностей методов МО в прогнозировании риска госпитальной смерти после КШ на основании дооперационных данных. Полученные результаты свидетельствуют об удовлетворительной способности моделей МО прогнозирования исхода после КШ. В нашем исследовании наилучшие метрики качества наблюдались при применении методов МО, реализованных при помощи ансамблевых классификаторов (Catboost и LightGBM). Для данных моделей были выявлены признаки, определяющие неблагоприятный исход после КШ, что может иметь большое значение для концептуального перехода от традиционной модели к персонализированной оценке риска.

Наиболее часто используемыми шкалами стратификации в кардиохирургии являются EuroScore II и STS [2], реализация которых основана на применении LR. Однако, по мнению ряда авторов, данные шкалы обладают низкой дискриминационной способностью, что снижает эффективность их применения [13]. Также, по мнению исследователей, ПМ, локально реализованные с помощью методов МО, имеют большую эффективность в сравнении с EuroScore II и STS, что делает их более предпочтительными в использовании [6][7][14].

В нашем исследовании более сложные методы МО превосходили возможности традиционной статистической модели риска на основе LR. Важно подчеркнуть, что модель, реализованная на основе LR (ПМ I), в сравнении с остальными методами МО, обладала сопоставимой способностью предсказывать исход в группе "умерших", однако значительно завышала риски в группе "выживших", что подтверждает мнение о более высокой частоте ложноотрицательных ошибок у моделей на основе LR [3-5], и в итоге проявляется в переоценке риска смерти в общей выборке. Важно учитывать, что LR наиболее подходит для решения задач, где вероятность развития события линейно связана с независимыми факторами риска. Однако LR неспособна учитывать нелинейные связи между признаками, что делает более перспективными другие методы МО, выявляющие подобные закономерности.

Ограничения исследования. К ограничениям данного исследования следует отнести: 1) лимитированное число наблюдений, что являлось критичным в первую очередь для миноритарной группы умерших после КШ и привело нас к необходимости применения передискредитации для борьбы с дисбалансом данных; 2) лимитированное число доступных для анализа медицинских данных, что было обусловлено сложностью интерпретации и автоматического перевода текстовых данных из электронных медицинских карт в цифровой формат, необходимый для анализа; 3) проведение одноцентрового исследования — полученные данные могут отражать предоперационные риски КШ в условиях центра, реализовавшего модель, однако при внешней валидации моделей (в условиях других кардиохирургических клиник) эффективность модели, вероятно, будет снижена.

Заключение

Для прогнозирования вероятности смерти после КШ с помощью методов МО нами было разработано пять ПМ на основе LR, случайного леса, CatBoost, LightGBM и XGBoost. Наилучшую производительность демонстрировали ПМ, построенные на основе ансамблевых классификаторов (CatBoost и LightGBM), что в дальнейшем может быть использовано для реализации нового подхода к персонализированной оценке операционного риска для больных, имеющих показания в реваскуляризации миокарда.

Для внедрения этих результатов в практику кардиохирургических стационаров необходимо проведение более масштабных исследований со значительным увеличением числа больных и расширением доступных для анализа данных, а также последующей валидацией полученных моделей на внешней выборке пациентов. Полученные ПМ могут служить основой для реализации систем поддержки принятия врачебных решений у больных, нуждающихся в кардиохирургической помощи по поводу ИБС.

Отношения и деятельность: все авторы заявляют об отсутствии потенциального конфликта интересов, требующего раскрытия в данной статье.