russjcardiolРоссийский кардиологический журналRussian Journal of Cardiology1560-40712618-7620«SILICEA-POLIGRAF» LLC10.15829/1560-4071-2024-5679QHZHPQrussjcardiol-5679Research ArticleПРОГНОЗИРОВАНИЕ И ДИАГНОСТИКАPROGNOSIS AND DIAGNOSTICSОценка вероятности тромбоэмболии легочной артерии при помощи модели машинного обученияAssessment of pulmonary embolism probability using a machine learning modelhttps://orcid.org/0000-0002-8745-857XГавриловД. В.GavrilovD. V.

Гаврилов Денис Владимирович — руководитель медицинского направления.

Петрозаводск

Petrozavodsk

dgavrilov@webiomed.aihttps://orcid.org/0000-0001-6359-0763АндрейченкоА. Е.AndreichenkoA. E.

Андрейченко Анна Евгеньевна — руководитель направления искусственного интеллекта.

Петрозаводск

Petrozavodsk

aandreychenko@webiomed.ruhttps://orcid.org/0000-0002-0513-8557ЕрмакА. Д.ErmakA. D.

Ермак Андрей Дмитриевич — аналитик данных направления искусственного интеллекта.

Петрозаводск

Petrozavodsk

aermak@webiomed.ruhttps://orcid.org/0000-0002-6654-1382КузнецоваТ. Ю.KuznetsovaT. Yu.

Кузнецова Татьяна Юрьевна — д. м. н., доцент, зав. кафедрой факультетской терапии, фтизиатрии, инфекционных болезней и эпидемиологии.

Петрозаводск

K-Sky

eme@karelia.ruhttps://orcid.org/0000-0002-7380-8460ГусевА. В.GusevA. V.

Гусев Александр Владимирович — к. т. н., эксперт.

Москва

Moscow

agusev@webiomed.ruК-СкайРоссияK-SkyRussian FederationФГБОУ ВО ПетрГУРоссияPetrozavodsk State UniversityRussian FederationФГБУ Центральный научно-исследовательский институт организации и информатизации здравоохранения Минздрава РоссииРоссияCentral Research Institute for Health Organization and InformaticsRussian Federation20242703202429456795679Copyright © Гаврилов Д.В., Андрейченко А.Е., Ермак А.Д., Кузнецова Т.Ю., Гусев А.В., 20242024Гаврилов Д.В., Андрейченко А.Е., Ермак А.Д., Кузнецова Т.Ю., Гусев А.В.Gavrilov D.V., Andreichenko A.E., Ermak A.D., Kuznetsova T.Y., Gusev A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://russjcardiol.elpub.ru/jour/article/view/5679Цель

Цель. Разработать и валидировать модель машинного обучения, предназначенную для выявления подозрения на тромбоэмболию легочной артерии (ТЭЛА) по различным клиническим признакам из электронных медицинских карт (ЭМК) пациентов, обращающихся за амбулаторной и стационарной помощью.

Материал и методы

Материал и методы. Данные 19730 пациентов из 7 регионов Российской Федерации были взяты для анализа. Период накопления данных ЭМК: с 21.03.2007 по 04.02.2022. В качестве диагностических признаков использованы жалобы, клинические признаки, результаты лабораторных исследований, сопутствующие заболевания. У 1379 пациентов была диагностирована ТЭЛА. Диагностика ТЭЛА была на основании кодов МКБ-10 в заключительном диагнозе случая лечения. Было применено 7 алгоритмов машинного обучения для выполнения задачи диагностики ТЭЛА: XGBoost, LightGBM, CatBoost, Logistic Regression, MLP Classifier, Random Forest Classifier, Gradient Boosting Classifier.

Результаты

Результаты. Модель на основе алгоритма Gradient Boosting Classifier была выбрана для дальнейшей проспективной апробации: чувствительность 0,899 (95% доверительный интервал (ДИ): 0,864-0,932), специфичность 0,875 (95% ДИ: 0,863-0,86), площадь под ROC-кривой 0,952 (95% ДИ: 0,938-0,964). Наибольшую значимость для предсказания имели признаки: кашель, дыхательные нарушения, креатинин крови, температура тела, общая слабость, частота сердечных сокращений, частота дыхания, отеки, антигипертензивная терапия, сатурация и возраст.

Заключение

Заключение. Обученная модель рассчитана для использования при первичном обращении за медицинской помощью пациентов с жалобами и подозрением на ТЭЛА вне зависимости от вида помощи.

Aim

Aim. To develop and validate a machine learning model designed to identify suspected pulmonary embolism (PE) based on various clinical features from electronic health records (EHRs) of out- and inpatients.

Material and methods

Material and methods. Data from 19730 patients from 7 Russian regions were taken for analysis. EHR data were analyzed for the period from March 21, 2007 to February 4, 2022. Complaints, clinical and laboratory data, and concomitant diseases were used as diagnostic signs. PE was diagnosed in 1379 patients. Diagnosis of PE was based on ICD-10 codes. Seven machine learning algorithms were applied to diagnose pulmonary embolism: XGBoost, LightGBM, CatBoost, Logistic Regression, MLP Classifier, Random Forest Classifier, Gradient Boosting Classifier.

Results

Results. The Gradient Boosting Classifier-based model was selected for further prospective testing with the sensitivity of 0,899 (95% confidence interval (CI), 0,864-0,932), specificity of 0,875 (95% CI, 0,863-0,86), area under the ROC curve of 0,952 (95% CI, 0,938-0,964). The following signs had the greatest prediction value: cough, respiratory disorders, blood creatinine, body temperature, general weakness, heart rate, respiratory rate, edema, antihypertensive therapy, saturation and age.

Conclusion

Conclusion. The model is designed for the initial encounter of patients with complaints and suspected PE, regardless of the type of care.

тромбоэмболия легочной артерииэлектронные медицинские картымашинное обучениесистема поддержки клинических решенийpulmonary embolismelectronic health recordsmachine learningclinical decision support systemReferencesRaskob GE, Angchaisuksiri P, Blanco AN, et al. Thrombosis: a major contributor to global disease burden. Arterioscler Thromb Vasc Biol. 2014;34:2363-71. doi:10.1161/ATVBAHA.114.304488.Raskob GE, Angchaisuksiri P, Blanco AN, et al. Thrombosis: a major contributor to global disease burden. Arterioscler Thromb Vasc Biol. 2014;34:2363-71. doi:10.1161/ATVBAHA.114.304488.Beckman MG, Hooper WC, Critchley SE, Ortel TL. Venous thromboembolism: a public health concern. Am J Prev Med. 2010;38:495-501. doi:10.1016/j.amepre.2009.12.017.Beckman MG, Hooper WC, Critchley SE, Ortel TL. Venous thromboembolism: a public health concern. Am J Prev Med. 2010;38:495-501. doi:10.1016/j.amepre.2009.12.017.Cohen AT, Agnelli G, Anderson FA, et al. VTE Impact Assessment Group in Europe (VITAE). Venous thromboembolism (VTE) in Europe. The number of VTE events and associated morbidity and mortality. Thromb Haemost. 2007;98:756-64.Cohen AT, Agnelli G, Anderson FA, et al. VTE Impact Assessment Group in Europe (VITAE). Venous thromboembolism (VTE) in Europe. The number of VTE events and associated morbidity and mortality. Thromb Haemost. 2007;98:756-64.Pollack CV, Schreiber D, Goldhaber SZ, et al. Clinical characteristics, management, and outcomes of patients diagnosed with acute pulmonary embolism in the emergency department: initial report of EMPEROR (Multicenter Emergency Medicine Pulmonary Embolism in the Real World Registry). J Am Coll Cardiol. 2011;57:700-6. doi:10.1016/j.jacc.2010.05.071.Pollack CV, Schreiber D, Goldhaber SZ, et al. Clinical characteristics, management, and outcomes of patients diagnosed with acute pulmonary embolism in the emergency department: initial report of EMPEROR (Multicenter Emergency Medicine Pulmonary Embolism in the Real World Registry). J Am Coll Cardiol. 2011;57:700-6. doi:10.1016/j.jacc.2010.05.071.Grégoire Le Gal, Marc Righini, Pierre-Marie Roy, et al. Prediction of pulmonary embolism in the emergency department: the revised Geneva score. Ann Intern Med. 2006;144(3):165-71. doi:10.7326/0003-4819-144-3-200602070-00004.Grégoire Le Gal, Marc Righini, Pierre-Marie Roy, et al. Prediction of pulmonary embolism in the emergency department: the revised Geneva score. Ann Intern Med. 2006;144(3):165-71. doi:10.7326/0003-4819-144-3-200602070-00004.Wells PS, Anderson DR, Rodger M, et al. Derivation of a simple clinical model to cate­gorize patients probability of pulmonary embolism: increasing the models utility with the SimpliRED D-dimer. Thromb Haemost. 2000;83(3):416-20.Wells PS, Anderson DR, Rodger M, et al. Derivation of a simple clinical model to cate­gorize patients probability of pulmonary embolism: increasing the models utility with the SimpliRED D-dimer. Thromb Haemost. 2000;83(3):416-20.Konstantinides SV. Рекомендации ESC по диагностике и лечению острой легочной эмболии, разработанные в сотрудничестве с Европейским респираторным обществом (ERS), 2019. Российский кардиологический журнал. 2020;25(8):3848. doi:10.15829/1560-4071-2020-3848.Konstantinides SV. 2019 ESC Guidelines for the diagnosis and management of acute pulmonaryembolism developed in collaboration with the European Respiratory Society (ERS). Russian Journal of Cardiology. 2020;25(8):3848. (In Russ.) doi:10.15829/1560-4071-2020-3848.Wolf SJ, McCubbin TR, Feldhaus KM, et al. Prospective validation of Wells Criteria in the evaluation of patients with suspected pulmonary embolism. Ann Emerg Med. 2004;44(5):503-10. doi:10.1016/j.annemergmed.2004.04.002.Wolf SJ, McCubbin TR, Feldhaus KM, et al. Prospective validation of Wells Criteria in the evaluation of patients with suspected pulmonary embolism. Ann Emerg Med. 2004;44(5):503-10. doi:10.1016/j.annemergmed.2004.04.002.Righini M, Robert-Ebadi H, Le Gal G. Diagnosis of acute pulmonary embolism. J Thromb Haemost. 2017;15:1251-61. doi:10.1111/jth.13694.Righini M, Robert-Ebadi H, Le Gal G. Diagnosis of acute pulmonary embolism. J Thromb Haemost. 2017;15:1251-61. doi:10.1111/jth.13694.Adlung L, Cohen Y, Mor U, Elinav E. Machine learning in clinical decision making. Med 2021;2(6):642-65. doi:10.1016/j.medj.2021.04.006.Adlung L, Cohen Y, Mor U, Elinav E. Machine learning in clinical decision making. Med 2021;2(6):642-65. doi:10.1016/j.medj.2021.04.006.Ryan L, Maharjan J, Mataraso S, et al. Predicting pulmonary embolism among hospita­lized patients with machine learning algorithms Pulmonary Circulation. 2022;12:e12013. doi:10.1002/pul2.12013.Ryan L, Maharjan J, Mataraso S, et al. Predicting pulmonary embolism among hospita­lized patients with machine learning algorithms Pulmonary Circulation. 2022;12:e12013. doi:10.1002/pul2.12013.Burles K, Innes G, Senior K, et al. Limitations of pulmonary embolism ICD‐10 codes in emergency department administrative data: let the buyer beware. BMC Med Res Methodol. 2017;17:89. doi:10.1186/s12874-017-0361-1.Burles K, Innes G, Senior K, et al. Limitations of pulmonary embolism ICD‐10 codes in emergency department administrative data: let the buyer beware. BMC Med Res Methodol. 2017;17:89. doi:10.1186/s12874-017-0361-1.van Es N, Takada T, Kraaijpoel N, et al. Diagnostic management of acute pulmonary embolism: a prediction model based on a patient data meta-analysis. European Heart Journal. 2023;44(32):3073-81. doi:10.1093/eurheartj.van Es N, Takada T, Kraaijpoel N, et al. Diagnostic management of acute pulmonary embolism: a prediction model based on a patient data meta-analysis. European Heart Journal. 2023;44(32):3073-81. doi:10.1093/eurheartj.Somani SS, Honarvar H, Narula S, et al. Development of a machine learning model using electrocardiogram signals to improve acute pulmonary embolism screening. European Heart Journal — Digital Health. 2022;3(1):56-66. doi:10.1093/ehjdh/ztab101.Somani SS, Honarvar H, Narula S, et al. Development of a machine learning model using electrocardiogram signals to improve acute pulmonary embolism screening. European Heart Journal — Digital Health. 2022;3(1):56-66. doi:10.1093/ehjdh/ztab101.Banerjee I, Sofela M, Yang J, et al. Development and Performance of the Pulmonary Embolism Result Forecast Model (PERFORM) for Computed Tomography Clinical Decision Support. JAMA Netw Open. 2019;2(8):e198719. doi:10.1001/jamanetworkopen.2019.8719.Banerjee I, Sofela M, Yang J, et al. Development and Performance of the Pulmonary Embolism Result Forecast Model (PERFORM) for Computed Tomography Clinical Decision Support. JAMA Netw Open. 2019;2(8):e198719. doi:10.1001/jamanetworkopen.2019.8719.

The authors declare that there are no conflicts of interest present.