vitjВрач и информационные технологииMedical Doctor and Information Technologies1811-01932413-5208Pirogov National Medical and Surgical Center10.25881/18110193_2022_1_12vitj-137Research ArticleОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯORIGINAL RESEARCHЦелесообразность применения технологий искусственного интеллекта в лучевой диагностике (результаты первого года Московского Эксперимента по компьютерному зрению)Feasibility of using artificial intelligence in radiology (first year of Moscow Experiment on Computer Vision)МорозовС. П.MorozovS. P.

Морозов С.П., д.м.н., профессор

г. Москва

Morozov S.P., Dr. Sci. (Medicine), Professor

Moscow

morozov@npcmr.ruВладзимирскийА. В.VladzymyrskyyA. V.

Владзимирский А.В., д.м.н.

г. Москва

Vladzymyrskyy A.V., Dr. Sci. (Medicine)

Moscow

a.vladzimirsky@npcmr.ruШулькинИ. М.ShulkinI. M.

Шулькин И.М.

г. Москва

Shulkin I.M.

Moscow

i.shulkin@npcmr.ruЛедиховаН. В.LedikhovaN. V.

Ледихова Н.В.

г. Москва

Ledikhova N.V.

Moscow

n.ledikhova@npcmr.ruАрзамасовК. М.ArzamasovK. M.

Арзамасов К.М.

г. Москва

Arzamasov K.M.

Moscow

k.arzamasov@npcmr.ruАндрейченкоА. Е.AndreychenkoA. E.

Андрейченко А.Е.

г. Москва

Andreychenko A.E.

Moscow

a.andreychenko@npcmr.ruЛогуноваТ. А.LogunovaT. A.

Логунова Т.А.

г. Москва

Logunova T.A.

Moscow

t.logunova@npcmr.ruОмелянскаяО. В.OmelyanskayaO. V.

Омелянская О.В.

г. Москва

Omelyanskaya O.V.

Moscow

o.omelyanskaya@npcmr.ruГусевА. В.GusevA. V.

Гусев А.В., к.т.н.

г. Петрозаводск

г. Москва

Gusev A.V., PhD

Petrozavodsk

Moscow

agusev@webiomed.aiГБУЗ «НПКЦ ДиТ ДЗМ»РоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care DepartmentRussian FederationООО «К-Скай»; ФГБУ «Центральный научно-исследовательский институт организации и информатизации здравоохранения» Минздрава РоссииРоссияK-SkAI; Russian Research Institute of HealthRussian Federation202202042025011229Copyright © Морозов С.П., Владзимирский А.В., Шулькин И.М., Ледихова Н.В., Арзамасов К.М., Андрейченко А.Е., Логунова Т.А., Омелянская О.В., Гусев А.В., 20252025Морозов С.П., Владзимирский А.В., Шулькин И.М., Ледихова Н.В., Арзамасов К.М., Андрейченко А.Е., Логунова Т.А., Омелянская О.В., Гусев А.В.Morozov S.P., Vladzymyrskyy A.V., Shulkin I.M., Ledikhova N.V., Arzamasov K.M., Andreychenko A.E., Logunova T.A., Omelyanskaya O.V., Gusev A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vit-j.ru/jour/article/view/137

В 2020 г. в рамках «Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы» было проведено мультицентровое проспективное исследование целесообразности применения технологий искусственного интеллекта в условиях реальной клинической практики. В исследовании приняли участие 18 различных систем ИИ, доступных для 538 врачей-рентгенологов, работающих с единой радиологической информационной системой (ЕРИС ЕМИАС).

Оценка целесообразности внедрения искусственного интеллекта (ИИ) осуществлялась по различным аспектам, включая приемлемость, спрос со стороны врачей-рентгенологов, качество реализации, способность адаптации и в конечном итоге степень воздействия на производительность труда.

Материалом работы были результаты 1 762 949 исследований и данные 15 028 результатов обратной связи от врачей-рентгенологов по нескольким модальностям.

В результате проведения исследования выявлено, что вовлеченность врачей-рентгенологов в применение ИИ-Сервисов составила 22,4%. Практическое использование реальных ИИ-продуктов положительно изменило отношение врачей к технологиям ИИ. Обеспечили анализ результатов лучевых исследований в пределах установленных временных нормативов 65% ИИ-Сервисов. Выявлено достоверное снижение длительности подготовки описаний результатов профилактической маммографии в амбулаторном звене на 15,0% (p = 0,03), в стационарном звене – на 50,0% (p = 0,05). Выявлено достоверное увеличение длительности описаний результатов компьютерной томографии/низкодозной компьютерной томографии для выявления злокачественных новообразований легких на 42,0% (p = 0,04). Разнонаправленный характер влияния ИИ-Сервисов на производительность труда врачей-рентгенологов требует дальнейшего углубленного изучения.

Анализ проведенного исследования позволяет позволил сделать вывод о целесообразности применения ИИ-Сервисов в лучевой диагностике для повышения производительности труда врачей-рентгенологов, в том числе в условиях чрезвычайных ситуаций. Результаты работы технологий ИИ должны в обязательном порядке верифицироваться врачом.

The rationale for use of artificial intelligence (AI) in radiology departments to analyze medical images in real-life clinical practice was studied in a multicenter prospective trial. This was a part of the “Experiment on the use of innovative technologies in the field of computer vision for the analysis of medical images and further use in the healthcare system of Moscow” taking place in 2020. The trial included 18 different AI systems and 538 participating radiologists, all working within Unified Radiological Information Service. We evaluated applicability of AI systems, demand from radiologists, the quality of AI implementation, radiologists adaptability and AI impact on the overall radiologists productivity.

The final analysis included 1 762 949 AI processing results and 15 028 feedbacks from radiologists.

Commitment of radiologists to use AI systems was 22.4%. Also 65% of the tested AI systems didn’t increase maximal timeline set for the image analysis. AI implementation for analyzing prophylactic mammography images accelerated delivery of the results in outpatient and inpatient setting by 15.0% (p = 0.03) and 50.0% (p = 0.05) respectively. Lung CT and low-dose CT image analysis (searching for potential lung cancer) took radiologists longer to perform by 42.0% of their standard time (p =0.04) when using AI systems. Such contradictory results of AI implementation in different radiology sub-specialties need to be further analyzed.

Overall the study results suggest time-saving rationale for using AI systems in radiology departments, including emergency settings. The output of AI image analysis should be verified by radiologist.

лучевая диагностикамашинное обучениеискусственный интеллектradiation diagnosticsmachine learningartificial intelligenceReferencesHosny A, Parmar C, Quackenbush J, Schwartz LH, Aerts HJWL. Artificial intelligence in radiology. Nat Rev Cancer. 2018; 18(8): 500-510. doi: 10.1038/s41568-018-0016-5.Hosny A, Parmar C, Quackenbush J, Schwartz LH, Aerts HJWL. Artificial intelligence in radiology. Nat Rev Cancer. 2018; 18(8): 500-510. doi: 10.1038/s41568-018-0016-5.Born J, Beymer D, Rajan D, et al. On the role of artificial intelligence in medical imaging of COVID-19. Patterns. Volume 2. ISSUE 6. 100269. June 11. 2021. doi: 10.1016/j.patter.2021.100269.Born J, Beymer D, Rajan D, et al. On the role of artificial intelligence in medical imaging of COVID-19. Patterns. Volume 2. ISSUE 6. 100269. June 11. 2021. doi: 10.1016/j.patter.2021.100269.Kakileti ST, Madhu HJ, Krishnan L, et al. Observational Study to Evaluate the Clinical Efficacy of Thermalytix for Detecting Breast Cancer in Symptomatic and Asymptomatic Women. JCO Glob Oncol. 2020. Oct. 6: 1472-1480. doi: 10.1200/GO.20.00168.Kakileti ST, Madhu HJ, Krishnan L, et al. Observational Study to Evaluate the Clinical Efficacy of Thermalytix for Detecting Breast Cancer in Symptomatic and Asymptomatic Women. JCO Glob Oncol. 2020. Oct. 6: 1472-1480. doi: 10.1200/GO.20.00168.Методика разработки норм времени и нагрузки медицинского персонала. — М.: ФГБУ «Центральный научно-исследовательский институт организации и информатизации здравоохранения», 2013. — 25 с.Methodology for the development of norms of time and workload of medical personnel. Moscow: Federal Research Institute for Health Organization and Informatics of Ministry of Health of the Russian Federation, 2013. 25 p. (In Russ).Bossuyt PM, Reitsma JB, Bruns DE, et al. For the STARD Group. STARD 2015: An Updated List of Essential Items for Reporting Diagnostic Accuracy Studies. Radiology. 2015; 277(3): 826-832. doi: 10.1148/radiol.2015151516.Bossuyt PM, Reitsma JB, Bruns DE, et al. For the STARD Group. STARD 2015: An Updated List of Essential Items for Reporting Diagnostic Accuracy Studies. Radiology. 2015; 277(3): 826-832. doi: 10.1148/radiol.2015151516.Морозов С.П., Владзимирский А.В., Гомболевский В.А. и др. Искусственный интеллект в скрининге рака легкого: оценка диагностической точности алгоритма для анализа низкодозовых компьютерных томографий // Туберкулез и болезни легких. — 2020. — Т.98. — №8. — С.24-31. doi: 10.21292/2075-1230-2020-98-8-24-31.Morozov SP, Vladzimirskiy AV, Gombolevskiy VA, et al. Artificial intelligence in lung cancer screening: assessment of the diagnostic accuracy of the algorithm analyzing low-dose computed tomography. Tuberculosis and Lung Diseases. 2020; 98(8): 24-31. (In Russ). doi: 10.21292/2075-1230-2020-98-8-24-31.Kaka H, Zhang E, Khan N. Artificial Intelligence and Deep Learning in Neuroradiology: Exploring the New Frontier. Can Assoc Radiol J. 2020. Sep 18: 846537120954293. doi: 10.1177/0846537120954293.Kaka H, Zhang E, Khan N. Artificial Intelligence and Deep Learning in Neuroradiology: Exploring the New Frontier. Can Assoc Radiol J. 2020. Sep 18: 846537120954293. doi: 10.1177/0846537120954293.Schoonenboom J., Johnson R.B. How to Construct a Mixed Methods Research Design. Kolner Z Soz Sozpsychol. 2017; 69(2): 107-131. doi: 10.1007/s11577-017-0454-1.Schoonenboom J., Johnson R.B. How to Construct a Mixed Methods Research Design. Kolner Z Soz Sozpsychol. 2017; 69(2): 107-131. doi: 10.1007/s11577-017-0454-1.Wu G, Yang P, Xie Y, et al. Development of a clinical decision support system for severity risk prediction and triage of COVID-19 patients at hospital admission: an international multicentre study. Eur Respir J. 2020; 56(2): 2001104. doi: 10.1183/13993003.01104-2020.Wu G, Yang P, Xie Y, et al. Development of a clinical decision support system for severity risk prediction and triage of COVID-19 patients at hospital admission: an international multicentre study. Eur Respir J. 2020; 56(2): 2001104. doi: 10.1183/13993003.01104-2020.Jalal S, Parker W, Ferguson D, Nicolaou S. Exploring the Role of Artificial Intelligence in an Emergency and Trauma Radiology Department. Can Assoc Radiol J. 2021 Feb; 72(1): 167-174. doi: 10.1177/0846537120918338.Jalal S, Parker W, Ferguson D, Nicolaou S. Exploring the Role of Artificial Intelligence in an Emergency and Trauma Radiology Department. Can Assoc Radiol J. 2021 Feb; 72(1): 167-174. doi: 10.1177/0846537120918338.Sohn JH, Chillakuru YR, Lee S, et al. An Open-Source, Vender Agnostic Hardware and Software Pipeline for Integration of Artificial Intelligence in Radiology Workflow. J Digit Imaging. 2020 Aug; 33(4): 10411046. doi: 10.1007/s10278-020-00348-8.Sohn JH, Chillakuru YR, Lee S, et al. An Open-Source, Vender Agnostic Hardware and Software Pipeline for Integration of Artificial Intelligence in Radiology Workflow. J Digit Imaging. 2020 Aug; 33(4): 10411046. doi: 10.1007/s10278-020-00348-8.Blezek DJ, Olson-Williams L, Missert A, Korfiatis P. AI Integration in the Clinical Workflow. J Digit Imaging. 2021 Dec; 34(6): 1435-1446. doi: 10.1007/s10278-021-00525-3.Blezek DJ, Olson-Williams L, Missert A, Korfiatis P. AI Integration in the Clinical Workflow. J Digit Imaging. 2021 Dec; 34(6): 1435-1446. doi: 10.1007/s10278-021-00525-3.Kapoor N, Lacson R, Khorasani R. Workflow Applications of Artificial Intelligence in Radiology and an Overview of Available Tools. J Am Coll Radiol. 2020 Nov; 17(11): 1363-1370. doi: 10.1016/j.jacr.2020.08.016.Kapoor N, Lacson R, Khorasani R. Workflow Applications of Artificial Intelligence in Radiology and an Overview of Available Tools. J Am Coll Radiol. 2020 Nov; 17(11): 1363-1370. doi: 10.1016/j.jacr.2020.08.016.Davendralingam N, Sebire NJ, Arthurs OJ, Shelmerdine SC. Artificial intelligence in paediatric radiology: Future opportunities. Br J Radiol. 2021 Jan 1; 94(1117): 20200975. doi: 10.1259/bjr.20200975.Davendralingam N, Sebire NJ, Arthurs OJ, Shelmerdine SC. Artificial intelligence in paediatric radiology: Future opportunities. Br J Radiol. 2021 Jan 1; 94(1117): 20200975. doi: 10.1259/bjr.20200975.Ginat DT. Analysis of head CT scans flagged by deep learning software for acute intracranial hemorrhage. Neuroradiology. 2020 Mar; 62(3): 335-340. doi: 10.1007/s00234-019-02330-w.Ginat DT. Analysis of head CT scans flagged by deep learning software for acute intracranial hemorrhage. Neuroradiology. 2020 Mar; 62(3): 335-340. doi: 10.1007/s00234-019-02330-w.Codari M, Melazzini L, Morozov SP, et al. Impact of artificial intelligence on radiology: a EuroAIM survey among members of the European Society of Radiology. Insights Imaging. 2019 Oct 31; 10(1): 105. doi: 10.1186/s13244-019-0798-3.Codari M, Melazzini L, Morozov SP, et al. Impact of artificial intelligence on radiology: a EuroAIM survey among members of the European Society of Radiology. Insights Imaging. 2019 Oct 31; 10(1): 105. doi: 10.1186/s13244-019-0798-3.Yang L, Ene IC, Arabi Belaghi R, et al. Stakeholders’ perspectives on the future of artificial intelligence in radiology: a scoping review. Eur Radiol. 2022 Mar; 32(3): 1477-1495. doi: 10.1007/s00330-02108214-z.Yang L, Ene IC, Arabi Belaghi R, et al. Stakeholders’ perspectives on the future of artificial intelligence in radiology: a scoping review. Eur Radiol. 2022 Mar; 32(3): 1477-1495. doi: 10.1007/s00330-02108214-z.

The authors declare that there are no conflicts of interest present.