vitjВрач и информационные технологииMedical Doctor and Information Technologies1811-01932413-5208Pirogov National Medical and Surgical Center10.25881/18110193_2024_1_70vitj-44Research ArticleОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯORIGINAL RESEARCHОценка удовлетворенности и вовлеченности врачей-рентгенологов при использовании программного обеспечения с искусственным интеллектомRadiologists’ satisfaction and engagement with artificial intelligence softwareВасильевЮ. А.VasilevYu. A.

к.м.н.

PhD

asilevYA1@zdrav.mos.ruЗинченкоВ. В.ZinchenkoV. V.ZinchenkoVV1@zdrav.mos.ruКудрявцевН. Д.KudryavtsevN. D.KudryavtsevND@zdrav.mos.ruМихайловаА. А.MikhailovaA. A.MikhajlovaAA8@zdrav.mos.ruКляшторныйВ. Г.KlyashtornyV. G.

к.б.н.

PhD

KlyashtornyjVG@zdrav.mos.ruВладзимирскийА. В.VladzymyrksyyA. V.

д.м.н.

DSc

VladzimirskijAV@zdrav.mos.ruГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»РоссияState Budget-Funded Health Care Institution of the City of Moscow «Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department»Russian Federation202401082024017081Copyright © Васильев Ю.А., Зинченко В.В., Кудрявцев Н.Д., Михайлова А.А., Кляшторный В.Г., Владзимирский А.В., 20242024Васильев Ю.А., Зинченко В.В., Кудрявцев Н.Д., Михайлова А.А., Кляшторный В.Г., Владзимирский А.В.Vasilev Y.A., Zinchenko V.V., Kudryavtsev N.D., Mikhailova A.A., Klyashtorny V.G., Vladzymyrksyy A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vit-j.ru/jour/article/view/44

Целью данного исследования представлялось изучение и оценка вовлеченности врачей-рентгенологов в использование программного обеспечения с применением технологий искусственного интеллекта (ИИ) и удовлетворённости применением данных технологий в качестве поддержки при принятии врачебных решений.Анкетирование врачей-рентгенологов проводилось в 2021-22 гг. на базе медицинских организаций Департамента здравоохранения Москвы.В 2021 году прошли опрос 333 врача-рентгенолога, в 2022 г – 342. Анкетирование проходили врачи разных специализаций: компьютерной томографии, магнитно-резонансной томографии, рентгенографии и маммографии, различного возраста и стажа работы по специальности. При исследовании вовлеченности выяснилось, что в 2022 году по сравнению с 2021 годом вовлеченность врачей выросла более чем в 2 раза. Оценка удовлетворенности использования технологий ИИ в работе показала, что в 2022 году по сравнению с 2021 годом отмечается тенденция сдвига мнений от крайних оценок «отлично» и «неудовлетворительно» к оценкам «хорошо» и «удовлетворительно».На основании полученных результатов можно сделать вывод о том, что технологии ИИ требуют дальнейшего развития, не только с клинической или технической точки зрения, но и с популяризационной, образовательной стороны для врачей, использующих технологии ИИ в своей работе

The purpose of this study was to evaluate the radiologists’ engagement and satisfaction with artificial intelligence software as a means to support medical decision-making.A survey of radiologists working in public healthcare facilities under the Moscow Healthcare Department was conducted in 2021 and 2022.The survey was completed by 333 radiologists in 2021, and by 342 – in 2022. The respondents were CT, MRI, X-ray and MMG specialists of various age and clinical experience. The study found that the physicians’ engagement rate with artificial intelligence more than doubled in 2022 vs. 2021. An assessment of satisfaction with the artificial intelligence technologies in routine clinical practice showed that in 2022 vs. 2021, the opinions shifted from the extreme “excellent” and “unsatisfactory” rates towards moderate “good” and “satisfactory”.The findings show that artificial intelligence technologies require further improvement from both clinical and technical standpoint, public perception and also as an educational tool for physicians who use artificial intelligence in their routine clinical practice

искусственный интеллектпрограммное обеспечение с искусственным интеллектомудовлетворенность врачейвовлеченность врачейartificial intelligenceartificial intelligence softwarephysician satisfactionphysician engagementДанная статья подготовлена авторским коллективом в рамках НИР «Научно-методические основы цифровой трансформации службы лучевой диагностики», (№ ЕГИСУ: № 123031400118-0) в соответствии с Приказом от 21.12.2022 г. № 1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города МосквыReferencesАлексеева М.Г., Зубов А.И., Новиков М.Ю. Искусственный интеллект в медицине // Международный научно-исследовательский журнал. – 2022. – №7. – С.10-13.Alekseeva MG, Zubov AI, Novikov MYu. Iskusstvennyi intellekt v meditsine. International Research Journal. 2022; 7: 10-13. (In Russ.)Gusev A, et al. Development of Artificial Intelligence in Healthcare in Russia. Handbook of Artificial Intelligence in Healthcare: Vol 2: Practicalities and Prospects. Springer International Publishing. 2022: 259-279.Gusev A, et al. Development of Artificial Intelligence in Healthcare in Russia. Handbook of Artificial Intelligence in Healthcare: Vol 2: Practicalities and Prospects. Springer International Publishing. 2022: 259-279.Арзамасов К.М. и др. Применение компьютерного зрения для профилактических исследований на примере маммографии // Профилактическая медицина. – 2023. – №26(6). – С.117-123.Arzamasov K.M, et al. Primenenie komp’yuternogo zreniya dlya profilakticheskikh issledovanii na primere mammografii. Profilakticheskaya meditsina. 2023; 26(6): 117-123. (In Russ.)Эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы. Доступно по: https://mosmed.ai/ai/. Ссылка действительна на 20.06.2023.Eksperiment po ispol’zovaniyu innovatsionnykh tekhnologii v oblasti komp’yuternogo zreniya dlya analiza meditsinskikh izobrazhenii i dal’neishego primeneniya v sisteme zdravookhraneniya goroda Moskvy. cited 2023 June 20 Available from: https://mosmed.ai/ai/. (In Russ.)Васильев Ю.А. и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. 2-е издание. М.: Издательские решения, 2023. – 388 с. [Vasilev YuA, et al. Komp’yuternoe zrenie v luchevoi diagnostike: pervyi etap Moskovskogo eksperimenta. М.: Izdatel’skie resheniya. 2023. 388 р. (In Russ.)]Vasilev YuA, et al. Komp’yuternoe zrenie v luchevoi diagnostike: pervyi etap Moskovskogo eksperimenta. М.: Izdatel’skie resheniya. 2023. 388 р. (In Russ.)Васильев Ю.А., Владзимирский А.В., Омелянская О.В. Свидетельство о государственной регистрации базы данных №2023621230 РФ. MosMedData: медицинские данные 41 000 человек, прошедших компьютерную томографию в пандемию COVID-19 с динамическим наблюдением (результаты маршрутизации пациентов, клинические и лабораторные данные, диагнозы MКБ, исходы) : №2023620970 : заявл. 11.04.2023 : опубл. 17.04.2023. заявитель ГБУЗ г.Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ».. Vasilev YuA, Vladzymyrskyy AV, Omelyanskaya OV. Certificate of state registration of the database №2023621230 RF. MosMedData: Health records of 41,000 people who underwent computed tomography during the COVID-19 pandemic with the follow-up monitoring (results of patient routing, clinical and laboratory data, ICD diagnoses, outcomes): №2023620970, submitted on April 11, 2023. Submitter: Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department. (In Russ.)Vladzymyrskyy AV, et al. Effectiveness of using artificial intelligence technologies for dual descriptions of the results of preventive lung examinations. Profil. med. 2022; 25(7): 7.Vladzymyrskyy AV, et al. Effectiveness of using artificial intelligence technologies for dual descriptions of the results of preventive lung examinations. Profil. med. 2022; 25(7): 7.Карпов О.А., Клименко Г.С., Лебедев Г.С. Применение интеллектуальных систем в здравоохранении // Современные наукоемкие технологии. – 2016. – 7(1). – С.38-43.Karpov OA, Klimenko GS, Lebedev GS. Primenenie intellektual’nykh sistem v zdravookhranenii. Modern High Technologies. 2016; 7(1): 38-43. (In Russ.)Higgins DC. OnRAMP for Regulating Artificial Intelligence in Medical Products. Advanced Intelligent Systems. 2021; 3(11): 2100042.Higgins DC. OnRAMP for Regulating Artificial Intelligence in Medical Products. Advanced Intelligent Systems. 2021; 3(11): 2100042.Васильев Ю.А., Владзимирский А.В., Омелянская О.В. и др. Оценка зрелости технологий искусственного интеллекта для здравоохранения: методические рекомендации. М.: Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ, 2023. – С.28.Vasilev YuA, Vladzymyrskyy AV, Omelyanskaya OV, et al. Otsenka zrelosti tekhnologii iskusstvennogo intellekta dlya zdravookhraneniya: metodicheskie rekomendatsii. M.: Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department. 2023. Р.28. (In Russ.)Huisman M, et al. An international survey on AI in radiology in 1,041 radiologists and radiology residents part 1: fear of replacement, knowledge, and attitude. Eur Radiol. 2021; 31(9): 7058-7066.Huisman M, et al. An international survey on AI in radiology in 1,041 radiologists and radiology residents part 1: fear of replacement, knowledge, and attitude. Eur Radiol. 2021; 31(9): 7058-7066.Morozov SP, et al. Effect of artificial intelligence technologies on the CT scan interpreting time in COVID-19 patients in inpatient setting. Profil. med. 2022: 25(1); 14.Morozov SP, et al. Effect of artificial intelligence technologies on the CT scan interpreting time in COVID-19 patients in inpatient setting. Profil. med. 2022: 25(1); 14.Петряйкин А.В. и др. Точность автоматической диагностики компрессионных переломов тел позвонков по данным морфометрического алгоритма искуственного интеллекта // Остеопороз и остеопатии. – 2023. – Т.25. – №3. – С.92-93.Petraikin AV, et al. Tochnost’ avtomaticheskoi diagnostiki kompressionnykh perelomov tel pozvonkov po dannym morfometricheskogo algoritma iskusstvennogo intellekta. Osteoporosis and Bone Diseases. 2023; 25(3): 92-93. (In Russ.)Морозов С.П. и др. Исследование целесообразности применения технологий искусственного интеллекта в лучевой диагностике // Врач и информационные технологии. – 2022. – №1. – С.12-29.Morozov SP, et al. Issledovanie tselesoobraznosti primeneniya tekhnologii iskusstvennogo intellekta v luchevoi diagnostike. Medical doctor and information technologies. 2022; 1: 12-29. (In Russ.)Zinchenko VV, et al. Methodology for Conducting Post-Marketing Surveillance of Software as a Medical Device Based on Artificial Intelligence Technologies. Sovrem Tehnol Med. 2022; 14(5): 15.Zinchenko VV, et al. Methodology for Conducting Post-Marketing Surveillance of Software as a Medical Device Based on Artificial Intelligence Technologies. Sovrem Tehnol Med. 2022; 14(5): 15.Huisman M, et al. An international survey on AI in radiology in 1,041 radiologists and radiology residents part 1: fear of replacement, knowledge, and attitude. Eur Radiol. 2021; 31(9): 7058-7066.Huisman M, et al. An international survey on AI in radiology in 1,041 radiologists and radiology residents part 1: fear of replacement, knowledge, and attitude. Eur Radiol. 2021; 31(9): 7058-7066.Impact of artificial intelligence on radiology: a EuroAIM survey among members of the European Society of Radiology. Insights Imaging. 2019; 10: 105.Impact of artificial intelligence on radiology: a EuroAIM survey among members of the European Society of Radiology. Insights Imaging. 2019; 10: 105.Coppola F, et al. Artificial intelligence: radiologists’ expectations and opinions gleaned from a nationwide online survey. Radiol med. 2021; 126(1): 63-71.Coppola F, et al. Artificial intelligence: radiologists’ expectations and opinions gleaned from a nationwide online survey. Radiol med. 2021; 126(1): 63-71.Chen M, et al. Acceptance of clinical artificial intelligence among physicians and medical students: A systematic review with cross-sectional survey. Front Med (Lausanne). 2022; 9: 990604.Chen M, et al. Acceptance of clinical artificial intelligence among physicians and medical students: A systematic review with cross-sectional survey. Front Med (Lausanne). 2022; 9: 990604.Becker CD, et al. Current practical experience with artificial intelligence in clinical radiology: a survey of the European Society of Radiology. Insights into Imaging. 2022; 13(1): 107.Becker CD, et al. Current practical experience with artificial intelligence in clinical radiology: a survey of the European Society of Radiology. Insights into Imaging. 2022; 13(1): 107.Waymel Q, et al. Impact of the rise of artificial intelligence in radiology: What do radiologists think? Diagn Interv Imaging. 2019; 100(6): 327-336.Waymel Q, et al. Impact of the rise of artificial intelligence in radiology: What do radiologists think? Diagn Interv Imaging. 2019; 100(6): 327-336.Paranjape K, et al. Introducing Artificial Intelligence Training in Medical Education. JMIR Medical Education. 2019; 5(2): 16048.Paranjape K, et al. Introducing Artificial Intelligence Training in Medical Education. JMIR Medical Education. 2019; 5(2): 16048.Garin SP, et al. Systematic Review of Radiology Residency Artificial Intelligence Curricula: Preparing Future Radiologists for the Artificial Intelligence Era. Journal of the American College of Radiology. 2023; 20(6): 561-569.Garin SP, et al. Systematic Review of Radiology Residency Artificial Intelligence Curricula: Preparing Future Radiologists for the Artificial Intelligence Era. Journal of the American College of Radiology. 2023; 20(6): 561-569.Зинченко В.В. и др. Технологические дефекты программного обеспечения с искусственным интеллектом // Digital Diagnostics. – 2023. – №4(4). – С.593-604.Zinchenko VV, et al. Tekhnologicheskie defekty programmnogo obespecheniya s iskusstvennym intellektom. Digital Diagnostics. 2023; 4(4): 593-604. (In Russ.)Rezazade Mehrizi MH, et al. The impact of AI suggestions on radiologists’ decisions: a pilot study of explainability and attitudinal priming interventions in mammography examination. Sci Rep. 2023; 13: 9230.Rezazade Mehrizi MH, et al. The impact of AI suggestions on radiologists’ decisions: a pilot study of explainability and attitudinal priming interventions in mammography examination. Sci Rep. 2023; 13: 9230.Гусев А.В., Добриднюк С.Л. Искусственный интеллект в медицине и здравоохранении // Информационное общество. – 2020. – №4-5. – С.78-93.Gusev AV, Dobridnyuk SL. Iskusstvennyj intellekt v medicine i zdravoohranenii. Informacionnoe obshchestvo. 2020; №4-5: 78-93. (In Russ.)Кобринский Б.А. Искусственный интеллект в медицине: состояние и горячие точки // XIX Национальная конференция по искусственному интеллекту с международным участием КИИ- 2021. Южный федеральный университет, 2021. С.13-29.Kobrinskij B.A. Iskusstvennyj intellekt v medicine: sostoyanie i goryachie tochki. XIX Nacional’naya konferenciya po iskusstvennomu intellektu s mezhdunarodnym uchastiem KII-2021. YUzhnyj federal’nyj universitet, 2021: 13-29. (In Russ.)

The authors declare that there are no conflicts of interest present.