vitjВрач и информационные технологииMedical Doctor and Information Technologies1811-01932413-5208Pirogov National Medical and Surgical Center10.25881/18110193_2023_4_54vitj-135Research ArticleПРАКТИЧЕСКИЙ ОПЫТPRACTICE EXPERIENCEОпыт применения программного обеспечения на основе технологий искусственного интеллекта на данных 800 тысяч флюорографических исследованийExperience of application artificial intelligence software on 800 thousand fluorographic studies.ВасильевЮ. А.VasilevY. A.

 к.м.н.

Москва

 PhD

Moscow

npcmr@zdrav.mos.ruАрзамасовК. М.ArzamasovK. M.

 к.м.н.

Москва

 PhD

 Moscow

ArzamasovKM@zdrav.mos.ruКолсановА. В.KolsanovA. V.

 профессор РАН, д.м.н., профессор

Самара

 Prof. of RAS, DSc, Prof.

Samara

info@samsmu.ruВладзимирскийА. В.VladzymyrskyyA. V.

 д.м.н.

Москва

 DSc

 Moscow

npcmr@zdrav.mos.ruОмелянскаяО. В.OmelyanskayaO. V.

Москва

Moscow

npcmr@zdrav.mos.ruПестренинЛ. Д.PestreninL. D.

Москва

Moscow

PestreninLD@zdrav.mos.ruНечаевН. Б.NechaevN. B.

 к.м.н.

Москва

PhD

 Moscow

NechaevNB@zdrav.mos.ruГБУЗ «НПКЦ ДиТ ДЗМ»РоссияState Budget-Funded Health Care Institution of the City of Moscow “Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department”Russian FederationФГБОУ ВО СамГМУ Минздрава РоссииРоссияSamara State Medical UniversityRussian FederationГБУЗ «НПКЦ ДиТ ДЗМ»РоссияState Budget-Funded Health Care Institution of the City of Moscow “Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department”Russian FederationГБУЗ «НПКЦ ДиТ ДЗМ»РоссияState Budget-Funded Health Care Institution of the City of Moscow “Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department”Russian Federation202301042025045465Copyright © Васильев Ю.А., Арзамасов К.М., Колсанов А.В., Владзимирский А.В., Омелянская О.В., Пестренин Л.Д., Нечаев Н.Б., 20252025Васильев Ю.А., Арзамасов К.М., Колсанов А.В., Владзимирский А.В., Омелянская О.В., Пестренин Л.Д., Нечаев Н.Б.Vasilev Y.A., Arzamasov K.M., Kolsanov A.V., Vladzymyrskyy A.V., Omelyanskaya O.V., Pestrenin L.D., Nechaev N.B.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vit-j.ru/jour/article/view/135Цель

Цель: Оценить опыт применения программного обеспечения на основе технологий искусственного интеллекта в рамках Московского эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений.

 Материал и методы

 Материал и методы: проведено ретроспективное исследование. В работу включены заключения 3 ИИ-сервисов по 822 тысячам флюорографических исследований за период с 05.01.2022 по 29.12.2022. В 28341 исследовании присутствовала патология (3,4%). Оценка проводилась с помощью метрик качества бинарных классификаторов и статистических методов. Произведена оценка метрик в зависимости от порога срабатывания ИИ-сервиса.

Результаты

Результаты: Отмечается выраженный дисбаланс исследований с нормой и патологией. Получены высокие значения дисбаланс-чувствительных метрик и низкие значения дисбаланс-нечувствительных метрик, что связано с высокой долей ложноположительных и ложноотрицательных результатов. При изменении порога срабатывания можно добиться снижения количества ложноотрицательных результатов. Так, например, один из ИИ-сервисов при пороге 0,05 правильно выявил 46,8% исследований с нормой при отсутствии ложноотрицательных результатов.

 Выводы

 Выводы: Количество ложноотрицательных заключений для рассмотренных версий ИИ-сервисов является препятствием для автономного их внедрения в рутинную практику, что требует их доработки. Оптимизацией порога срабатывания сервиса можно добиться безошибочного определения 46,8% исследований с нормой, но ввиду закрытости ИИ-сервисов этот метод ограничен. Дальнейшие варианты оптимизации сервисов требуют дополнительного изучения.

Aim

Aim: To evaluate the experience of using software based on artificial intelligence technologies as part of the Moscow experiment on the use of innovative technologies in the field of computer vision for the analysis of medical images.

 Material and methods

 Material and methods: A retrospective study was conducted. The work includes the conclusion outputs of 3 AI services on 822 thousand fluorographic studies for the period from 05.01.2022 to 29.12.2022. Pathology was present in 28,341 studies (3.4%). The assessment was carried out using quality metrics of binary classifiers and statistical methods. The metrics were assessed depending on the AI services threshold.

 Results

 Results: There was a pronounced imbalance between studies with norm and pathology. High values of imbalance-sensitive metrics and low values of imbalance-insensitive metrics were obtained, which was associated with a high rate of false positive and false negative results. By changing the threshold, it was possible to reduce the number of false negative results. For example, one of the AI services, with a threshold of 0.05, correctly identified 46.8% of studies with the norm, and with no false negative results.

 Conclusions

 Conclusions: The number of false negative results for the studied versions of AI services is an obstacle to their autonomous implementation into routine practice, which requires their improvement. By optimizing the service threshold, it is possible to achieve error-free identification of 46.8% of studies with the norm, but due to the closed nature of AI services, this method is limited. Further options for optimizing services require additional study.

флюорографиярентгенологические исследованиянейронные сетиfluorographyX-ray examinationsneural networksДанная статья подготовлена авторским коллективом в рамках научно-исследовательской работы «Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике» (№ ЕГИСУ: 123031500004-5) в соответствии с Приказом от 21.12.2022 г. №1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы.ReferencesWorld Heath Organization. Mortality and global health estimates. Available at: https://www.who.int/data/gho/data/themes/mortality-and-global-health-estimates. Accessed Mar 28. 2023.World Heath Organization. Mortality and global health estimates. Available at: https://www.who.int/data/gho/data/themes/mortality-and-global-health-estimates. Accessed Mar 28. 2023.Sung H, Ferlay J, Siege RL, et al. Global cancer statistics 2020: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA Cancer J Clin. 2021; 71(3): 209-249. doi: 10.3322/caac.21660.Sung H, Ferlay J, Siege RL, et al. Global cancer statistics 2020: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA Cancer J Clin. 2021; 71(3): 209-249. doi: 10.3322/caac.21660.Федеральная служба государственной статистики. Число умерших по основным классам причин смерти. Доступно по: https://rosstat.gov.ru/storage/mediabank/demo24-1_2021.xls. Ссылка активна на 28.03.2023.Federal State Statistics Service. Chislo umershikh po osnovnym klassam prichin smerti Available at: https://rosstat.gov.ru/storage/mediabank/demo24-1_2021.xls. Accessed Mar 28. 2023. (In Russ.)Состояние онкологической помощи населению России в 2021 году. / Под ред. Каприна А.Д., Старинского В.В., Шахзадовой А.О. — М.: МНИОИ им. П.А. Герцена, 2022.Sostoyanie onkologicheskoi pomoshchi naseleniyu Rossii v 2021 godu. Kaprin AD, Starinsky VV, Shakhzadova AO, editors. M.: MNIOI im. P.A. Gertsena; 2022. (In Russ.)Синицын В.Е., Тюрин И.Е., Митьков В.В. Временные согласительные методические рекомендации Российского общества рентгенологов и радиологов (РОРР) и Российской ассоциации специалистов ультразвуковой диагностики в медицине (РАСУДМ) «Методы лучевой диагностики пневмонии при новой коронавирусной инфекции COVID-19» (версия 2) // Вестник рентгенологии и радиологии. — 2020. — Т.101. — №2. — С.72-89. doi: 10.20862/0042-4676-2020-101-2-72-89Sinitsyn VE, Tyurin IE, Mitkov VV. Consensus Guidelines of Russian Society of Radiology (RSR) and Russian Association of Specialists in Ultrasound Diagnostics in Medicine (RASUDM) «Role of Imaging (X-ray, CT and US) in Diagnosis of COVID-19 Pneumonia» (version 2). Journal of radiology and nuclear medicine. 2020; 101(2): 72-89. (In Russ.)] doi: 10.20862/0042-4676-2020-101-2-72-89.Colman J, Zamfir G, Sheehan F, et al. Chest radiograph characteristics in COVID-19 infection and their association with survival. Eur J Radiol Open. 2021; 8: 100360. doi: 10.1016/j.ejro.2021.100360.Colman J, Zamfir G, Sheehan F, et al. Chest radiograph characteristics in COVID-19 infection and their association with survival. Eur J Radiol Open. 2021; 8: 100360. doi: 10.1016/j.ejro.2021.100360.ACR. ACR Recommendations for the use of Chest Radiography and Computed Tomography (CT) for Suspected COVID-19 Infection. Available at: https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection. Accessed Mar 28. 2023.ACR. ACR Recommendations for the use of Chest Radiography and Computed Tomography (CT) for Suspected COVID-19 Infection. Available at: https://www.acr.org/Advocacy-and-Economics/ACR-Position-Statements/Recommendations-for-Chest-Radiography-and-CT-for-Suspected-COVID19-Infection. Accessed Mar 28. 2023.Wong HYF, Lam HYS, Fong AH, et al. Frequency and Distribution of Chest Radiographic Findings in Patients Positive for COVID-19. Radiology. 2020; 296(2): E72-E78. doi: 10.1148/radiol.2020201160.Wong HYF, Lam HYS, Fong AH, et al. Frequency and Distribution of Chest Radiographic Findings in Patients Positive for COVID-19. Radiology. 2020; 296(2): E72-E78. doi: 10.1148/radiol.2020201160.Морозов С.П., Проценко Д.Н., Сметанина С.В. и др. Лучевая диагностика коронавирусной болезни (COVID-19): организация, методология, интерпретация результатов: методические рекомендации. — М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2020.Morozov SP, Protsenko DN, Smetanina SV, et al. Luchevaya diagnostika koronavirusnoi bolezni (COVID-19): organizatsiya, metodologiya, interpretatsiya rezul’tatov: metodicheskie rekomendatsii. M.: GBUZ «NPKC DiT DZM»; 2021. (In Russ.)Segal B, Rubin DM, Rubin G, Pantanowitz A. Evaluating the Clinical Realism of Synthetic Chest X-Rays Generated Using Progressively Growing GANs. SN Comput Sci. 2021; 2(4): 321. doi: 10.1007/s42979-021-00720-7.Segal B, Rubin DM, Rubin G, Pantanowitz A. Evaluating the Clinical Realism of Synthetic Chest X-Rays Generated Using Progressively Growing GANs. SN Comput Sci. 2021; 2(4): 321. doi: 10.1007/s42979-021-00720-7.Rahman T, Chowdhury MEH, Khandakar A, et al. Transfer Learning with Deep Convolutional Neural Network (CNN) for Pneumonia Detection Using Chest X-ray. Applied Sciences. 2020; 10(9): 3233. doi: 10.3390/app10093233.Rahman T, Chowdhury MEH, Khandakar A, et al. Transfer Learning with Deep Convolutional Neural Network (CNN) for Pneumonia Detection Using Chest X-ray. Applied Sciences. 2020; 10(9): 3233. doi: 10.3390/app10093233.Gazda M, Plavka J, Gazda J, Drotár P. Self-Supervised Deep Convolutional Neural Network for Chest X-Ray Classification. IEEE Access. 2021; 9: 151972-151982. doi: 10.1109/ACCESS.2021.3125324.Gazda M, Plavka J, Gazda J, Drotár P. Self-Supervised Deep Convolutional Neural Network for Chest X-Ray Classification. IEEE Access. 2021; 9: 151972-151982. doi: 10.1109/ACCESS.2021.3125324.Wu JT, Wong KCL, Gur Y, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Netw Open. 2020; 3(10): e2022779. doi: 10.1001/jamanetworkopen.2020.22779.Wu JT, Wong KCL, Gur Y, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Netw Open. 2020; 3(10): e2022779. doi: 10.1001/jamanetworkopen.2020.22779.Arzamasov K, Vasilev Y, Vladzymyrskyy A, et al. An International Non-Inferiority Study for the Benchmarking of AI for Routine Radiology Cases: Chest X-ray, Fluorography and Mammography. Healthcare (Basel). 2023; 11(12): 1684. doi: 10.3390/healthcare11121684.Arzamasov K, Vasilev Y, Vladzymyrskyy A, et al. An International Non-Inferiority Study for the Benchmarking of AI for Routine Radiology Cases: Chest X-ray, Fluorography and Mammography. Healthcare (Basel). 2023; 11(12): 1684. doi: 10.3390/healthcare11121684.Huang XM, Yang BF, Zheng WL, et al. Cost-effectiveness of artificial intelligence screening for diabetic retinopathy in rural China. BMC Health Serv Res. 2022; 22(1): 260. doi: 10.1186/s12913-022-07655-6.Huang XM, Yang BF, Zheng WL, et al. Cost-effectiveness of artificial intelligence screening for diabetic retinopathy in rural China. BMC Health Serv Res. 2022; 22(1): 260. doi: 10.1186/s12913-022-07655-6.Романовсков Ю.Ф., Коновалов В.К., Колмогоров В.Г. Заочная консультация рентгенологических исследований в Алтайском крае // Digital Diagnostics. — 2021. — Т.2. — №1S. — С.26-27. doi: 10.17816/DD20211s26.Romanovskov YF, Konovalov VK, Kolmogorov VG. Correspondence consultation of X-ray examinations in the Altai Territory. Digital Diagnostics. 2021; 2(1S): 26-27. (In Russ.)] doi: 10.17816/DD20211s26.Приказ Департамента здравоохранения города Москвы от 19.02.2020 №142 «Об утверждении Порядка и условий проведения эксперимента на использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы». Доступно по: https://mosmed.ai/documents/9/Приказ_департамента_здравоохранения_города_Москвы_от_19.02.202015142.pdf_lFf9_slECRah.pdf. Ссылка активна на 28.03.2023.Order of the Moscow Department of Health №142 of 19 February 2020. «Ob utverzhdenii Poryadka i usloviy provedeniya eksperimenta na ispol’zovaniyu innovatsionnykh tekhnologiy v oblasti komp’yuternogo zreniya dlya analiza meditsinskikh izobrazheniy i dal’neyshego primeneniya v sisteme zdravookhraneniya goroda Moskvy». Available at: https://mosmed.ai/documents/9/Приказ_департамента_здравоохранения_города_Москвы_от_19.02.202015142.pdf_lFf9_slECRah.pdf. Accessed Mar 28. 2023. (In Russ.)Васильев Ю.А., Владзимирский А.В., Арзамасов К.М., и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента: Монография. 2-е издание, переработанное и дополненное. — М.: Издательские решения, 2023.Vasilev YA, Vladzymyrskyy AV, Arzamasov KM, et al. Computer vision in radiology: the first stage of the Moscow experiment: Monograph. 2nd edition. M.: Izdatelskie resheniya; 2023. (In Russ.)Свидетельство РФ о государственной регистрации программы для ЭВМ №2022617324. Морозов С.П., Андрейченко А.Е., Четвериков С.Ф., и др.Веб-инструмент для выполнения ROC анализа результатов диагностических тестов: №2022616046/19.04.2022.Certificate RUS of state registration of a computer program №022617324. Morozov SP, Andreichenko AE, Chetverikov SF, et al. Web-based tool for performing ROC analysis of diagnostic test results: №2022616046/04/19/2022. (In Russ.)Luque A, Carrasco A, Martín F, Heras A. The impact of class imbalance in classification performance metrics based on the binary confusion matrix. Pattern Recognition. 2019; 91: 216-231. doi: 10.1016/j.patcog.2019.02.023.Luque A, Carrasco A, Martín F, Heras A. The impact of class imbalance in classification performance metrics based on the binary confusion matrix. Pattern Recognition. 2019; 91: 216-231. doi: 10.1016/j.patcog.2019.02.023.Mortaz E. Imbalance accuracy metric for model selection in multi-class imbalance classification problems. Knowledge-Based Systems. 2020; 210: 106490. doi: 10.1016/j.knosys.2020.106490.Mortaz E. Imbalance accuracy metric for model selection in multi-class imbalance classification problems. Knowledge-Based Systems. 2020; 210: 106490. doi: 10.1016/j.knosys.2020.106490.Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks. Information Processing & Management. 2009; 45: 427-437. doi: 10.1016/j.ipm.2009.03.002.Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks. Information Processing & Management. 2009; 45: 427-437. doi: 10.1016/j.ipm.2009.03.002.Chicco D, Warrens MJ, Jurman G. The Matthews Correlation Coefficient (MCC) is More Informative Than Cohen’s Kappa and Brier Score in Binary Classification Assessment. IEEE Access. 2021; 9: 78368-78381. doi: 10.1109/ACCESS.2021.3084050.Chicco D, Warrens MJ, Jurman G. The Matthews Correlation Coefficient (MCC) is More Informative Than Cohen’s Kappa and Brier Score in Binary Classification Assessment. IEEE Access. 2021; 9: 78368-78381. doi: 10.1109/ACCESS.2021.3084050.Liz H, Huertas-Tato J, Sánchez-Montañés M, et al. Deep learning for understanding multilabel imbalanced Chest X-ray datasets. Future Generation Computer Systems. 2023; 144: 291-306. doi: 10.1016/j.future.2023.03.005.Liz H, Huertas-Tato J, Sánchez-Montañés M, et al. Deep learning for understanding multilabel imbalanced Chest X-ray datasets. Future Generation Computer Systems. 2023; 144: 291-306. doi: 10.1016/j.future.2023.03.005.Minaee S, Kafieh R, Sonka M, et al. Deep-COVID: Predicting COVID-19 from chest X-ray images using deep transfer learning. Med Image Anal. 2020; 65: 101794. doi: 10.1016/j.media.2020.101794.Minaee S, Kafieh R, Sonka M, et al. Deep-COVID: Predicting COVID-19 from chest X-ray images using deep transfer learning. Med Image Anal. 2020; 65: 101794. doi: 10.1016/j.media.2020.101794.Bharodiya AK, Atul MG. An Improved Segmentation Algorithm For X-Ray Images Based On Adaptive Thresholding Classification. International Journal of Scientific & Technology Research. 2019; 8(9): 1617-1623Bharodiya AK, Atul MG. An Improved Segmentation Algorithm For X-Ray Images Based On Adaptive Thresholding Classification. International Journal of Scientific & Technology Research. 2019; 8(9): 1617-1623

The authors declare that there are no conflicts of interest present.