Актуальность. В настоящее время в лучевой диагностике реализована технологическая возможность применения систем поддержки принятия врачебных решений (СППВР) на основе технологий искусственного интеллекта, интегрированных в медицинские информационные системы медицинских организаций и/или информационные системы в сфере здравоохранения субъектов РФ. Наличие системы контроля качества лучевой диагностики создаёт возможность оценить влияние СППВР на качество медицинской помощи. При этом актуальна проблема оценки недопущения дефектов при интерпретации результатов лучевых исследования благодаря использованию интеллектуальных СППВР.
Цель исследования. Оценка применимости систем поддержки принятия врачебных решений на основе технологий искусственного интеллекта (ТИИ) для профилактики дефектов в работе врача-рентгенолога.
Материалы и методы. Ретроспективное обсервационное исследование. Критерии включения: (i) исследования компьютерной томографии (КТ) органов грудной клетки, первично описанные врачами-рентгенологами и проанализированные с помощью ТИИ; (ii) во время ретроспективного пересмотра в рамках мероприятий по контролю качества выявлено наличие клинически значимых расхождений между врачом-рентгенологом и проверяющим экспертом.
Результаты. Всего проанализировано 12572 результатов КТ, из которых 4949 КТ органов грудной клетки. Полное соответствие по результатам пересмотра отмечено в 61,4% случаев, клинически значимые расхождения — в 2,8%. Выделено 15 исследований с клинически значимыми расхождениями и релевантными результатами работы ТИИ. В 60% случаев врачом-рентгенологом пропущены признаки пневмонии; в 33,0% зарегистрирован пропуск солидного или полусолидного очага легкого диаметром более 5 мм. Однократно не описан кальциноз коронарных артерий. Во всех указанных случаях ТИИ были выявлены и отмечены патологические находки, пропущенные при первичном описании, но указанные проводившим пересмотр врачом-экспертом.
Заключение. Использование ТИИ позволяет не допустить пропуски значимой патологии на этапе первичного описания результатов лучевых исследований. Системы искусственного интеллекта могут выступать в качестве средства профилактики дефектов в работе врача-рентгенолога.
Цель исследования. Оценка применимости систем поддержки принятия врачебных решений на основе технологий искусственного интеллекта (ТИИ) для профилактики дефектов в работе врача-рентгенолога.
Материалы и методы. Ретроспективное обсервационное исследование. Критерии включения: (i) исследования компьютерной томографии (КТ) органов грудной клетки, первично описанные врачами-рентгенологами и проанализированные с помощью ТИИ; (ii) во время ретроспективного пересмотра в рамках мероприятий по контролю качества выявлено наличие клинически значимых расхождений между врачом-рентгенологом и проверяющим экспертом.
Результаты. Всего проанализировано 12572 результатов КТ, из которых 4949 КТ органов грудной клетки. Полное соответствие по результатам пересмотра отмечено в 61,4% случаев, клинически значимые расхождения — в 2,8%. Выделено 15 исследований с клинически значимыми расхождениями и релевантными результатами работы ТИИ. В 60% случаев врачом-рентгенологом пропущены признаки пневмонии; в 33,0% зарегистрирован пропуск солидного или полусолидного очага легкого диаметром более 5 мм. Однократно не описан кальциноз коронарных артерий. Во всех указанных случаях ТИИ были выявлены и отмечены патологические находки, пропущенные при первичном описании, но указанные проводившим пересмотр врачом-экспертом.
Заключение. Использование ТИИ позволяет не допустить пропуски значимой патологии на этапе первичного описания результатов лучевых исследований. Системы искусственного интеллекта могут выступать в качестве средства профилактики дефектов в работе врача-рентгенолога.
Литература
1. Bruno MA. Extending the scope of quality and safety in radiology. Radiology. 2022; 302(3): 620-621. doi: 10.1148/radiol.2021212538.
2. Chetlen AL, Petscavage-Thomas J, Cherian RA, Ulano A, Nandwana SB, Curci NE, et al. Collaborative Learning in Radiology: From Peer Review to Peer Learning and Peer Coaching. Academic Radiology. 2020; 27: 1261-7. doi: 10.1016/j.acra.2019.09.021.
3. Кушнир К.В. Управление качеством в современных отделениях лучевой диагностики // Медицинская визуализация. — 2015. — №3. — С.133-137.
4. Мелдо А.А. Разработка и оценивание процессов системы менеджмента качества в условиях отделения лучевой диагностики бюджетного специализированного медицинского учреждения // Лучевая диагностика и терапия. — 2018. — №1. — С.5-10. doi: 10.22328/2079-5343-2018-9-1-5-10.
5. Морозов С.П., Ветшева Н.Н., Ледихова Н.В. Оценка качества рентгенорадиологических исследований. Серия «Лучшие практики лучевой и инструментальной диагностики». — Вып. 48. — М., 2019. — 47 с.
6. Morozov S, Guseva E, Ledikhova N, Vladzymyrskyy A, Safronov D. Telemedicine-based system for quality management and peer review in radiology. Insights Imaging. 2018; 9: 337-41. doi: 10.1007/s13244-018-0629-y.
7. Jabin MSR, Schultz T, Mandel C, Bessen T, Hibbert P, Wiles L, et al. A Mixed-Methods Systematic Review of the Effectiveness and Experiences of Quality Improvement Interventions in Radiology. J Patient Saf. 2022; 18: e97-107. doi: 10.1097/PTS.0000000000000709.
8. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента: Монография / Под ред. Ю.А. Васильева, А.В. Владзимирского. — М.: Издательские решения, 2022. — 388 с.
9. Гусев А.В., Владзимирский А.В., Голубев Н.А., Зарубина Т.В. Информатизация здравоохранения Российской Федерации: история и результаты развития // Национальное здравоохранение. — 2021. — №2(3). — С.5-17. doi: 10.47093/2713-069X.2021.2.3.5-17.
10. Kriegeskorte N, Golan T. Neural network models and deep learning. Current Biology 2019; 29: R231-6. doi: 0.1016/j.cub.2019.02.034.
11. Kelly BS, Judge C, Bollard SM, Clifford SM, Healy GM, Aziz A, et al. Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). Eur Radiol 2022;32:7998–8007. https://doi.org/10.1007/s00330-022-08784-6.
12. Lee CS, Neumann C, Jha P, Baumgarten DA, Chu L, Surovitsky M, et al. Current Status and Future Wish List of Peer Review: A National Questionnaire of U.S. Radiologists. American Journal of Roentgenology 2020;214:493–7. https://doi.org/10.2214/AJR.19.22194.
13. Platts-Mills TF, Hendey GW, Ferguson B. Teleradiology Interpretations of Emergency Department Computed Tomography Scans. The Journal of Emergency Medicine. 2010; 38: 188-95. doi: 10.1016/ j.jemermed.2008.01.015.
14. Schmidt E, Lo HS, Saghir A. Peer learning in emergency radiology: effects on learning, error identification, and radiologist experience. Emerg Radiol. 2022; 29: 655-61. doi: 10.1007/s10140-022-02040-6.
15. Ludwig DR, Strnad BS, Bierhals AJ, Mellnick VM. Implementation of a peer-learning program in an academic abdominal radiology practice and comparison with a traditional peer-review system. Abdom Radiol. 2022; 47: 2509-19. doi: 10.1007/s00261-022-03523-3.
16. Moriarity AK, Hawkins CM, Geis JR, Dreyer KJ, Kamer AP, Khandheria P, et al. Meaningful Peer Review in Radiology: A Review of Current Practices and Potential Future Directions. Journal of the American College of Radiology. 2016; 13: 1519-24. doi: 10.1016/j.jacr.2016.08.005.
17. Filice RW. Radiology-Pathology Correlation to Facilitate Peer Learning: An Overview Including Recent Artificial Intelligence Methods. Journal of the American College of Radiology. 2019; 16: 1279-85. doi: 10.1016/j.jacr.2019.05.010.
18. Homayounieh F, Digumarthy S, Ebrahimian S, Rueckel J, Hoppe BF, Sabel BO, et al. An Artificial Intelligence–Based Chest X-ray Model on Human Nodule Detection Accuracy From a Multicenter Study. JAMA Netw Open. 2021; 4: e2141096. doi: 10.1001/jamanetworkopen.2021.41096.
19. Sheng K, Offersen CM, Middleton J, Carlsen JF, Truelsen TC, Pai A, et al. Automated Identification of Multiple Findings on Brain MRI for Improving Scan Acquisition and Interpretation Workflows: A Systematic Review. Diagnostics. 2022; 12: 1878. doi: 10.3390/diagnostics12081878.
20. Wu JT, Wong KCL, Gur Y, Ansari N, Karargyris A, Sharma A, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Netw Open. 2020; 3: e2022779. doi: 10.1001/jamanetworkopen.2020.22779.
21. Vladzymyrskyy AV, Kudryavtsev ND, Kozhikhina DD, Shulkin IM, Morozov SP, Ledikhova NV, et al. Effectiveness of using artificial intelligence technologies for dual descriptions of the results of preventive lung examinations. Profilakticheskaya Meditsina. 2022; 25(7): 7 15. (In Russ.) doi: 10.17116/profmed2022250717.
22. Morozov SP, Vladzymyrskyy AV, Shulkin IM, Ledikhova NV, Arzamasov KM, Andreychenko AE, et al. Feasibility of using artificial intelligence in radiation diagnostics. Medical doctor and information technology. 2022; 1: 12-29. (In Russ.)
23. Морозов С.П., Гаврилов А.В., Архипов И.В., Долотова Д.Д., Лысенко М.А., Царенко С.В. и др. Влияние технологий искусственного интеллекта на длительность описаний результатов компьютерной томографии пациентов с COVID-19 в стационарном звене здравоохранения // Профилактическая медицина. — 2022. — №25(1). — С.14-20. doi: 10.17116/profmed20222501114.
24. Гусев А.В., Владзимирский А.В., Шарова Д.Е., Арзамасов К.М., Храмов А.Е. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года // Digital Diagnostics. — 2022. — №3(3). — С.178-194. doi: 10.17816/DD107367.
25. Chan SS, Francavilla ML, Iyer RS, Rigsby CK, Kurth D, Karmazyn BK. Clinical decision support: the role of ACR Appropriateness Criteria. Pediatr Radiol. 2019; 49(4): 479-485. doi: 10.1007/s00247-018-4298-2.
26. Martinez G, Katz JM, Pandya A, Wang JJ, Boltyenkov A, Malhotra A, Mushlin AI, Sanelli PC. Cost-Effectiveness Study of Initial Imaging Selection in Acute Ischemic Stroke Care. J Am Coll Radiol. 2021; 18(6): 820-833. doi: 10.1016/j.jacr.2020.12.013.
27. Subramaniam RM, Kurth DA, Waldrip CA, Rybicki FJ. American College of Radiology Appropriateness Criteria: Advancing Evidence-Based Imaging Practice. Semin Nucl Med. 2019; 49(2): 161-165.
doi: 10.1053/j.semnuclmed.2018.11.011.
28. Shulkin IM, Vladzymyrskyy AV. Data-based management in imaging: evaluation of the performance of a unified radiological information service model. MZ. 2022; 7: 68-80. (In Russ.) doi: 10.21045/1811-0185-2022-7-68-80.
29. Cooper K, Heilbrun ME, Gilyard S, Vey BL, Kadom N. Shared Decision Making: Radiology’s Role and Opportunities. American Journal of Roentgenology. 2020; 214: W62-6. doi: 10.2214/AJR.19.21590.
30. Woodhouse KD, Tremont K, Vachani A, Schapira MM, Vapiwala N, Simone CB, et al. A Review of Shared Decision-Making and Patient Decision Aids in Radiation Oncology. J Canc Educ. 2017; 32: 238-45.
doi: 10.1007/s13187-017-1169-8.
31. Morozov SP, Vladzymyrskyy AV, Gombolevskiy VA, Kuz’mina ES, Ledikhova NV. Artificial intelligence: natural language processing for peer-review in radiology. Journal of radiology and nuclear medicine. 2018; 99(5): 253-258. (In Russ.) doi: 10.20862/0042-4676-2018-99-5-253-258.
32. Thomas SP, Fraum TJ, Ngo L, Harris R, Balesh E, Bashir MR, et al. Leveraging Artificial Intelligence to Enhance Peer Review: Missed Liver Lesions on Computed Tomographic Pulmonary Angiography. Journal of the American College of Radiology. 2022; 19: 1286-94. doi: 10.1016/j.jacr.2022.07.013.
2. Chetlen AL, Petscavage-Thomas J, Cherian RA, Ulano A, Nandwana SB, Curci NE, et al. Collaborative Learning in Radiology: From Peer Review to Peer Learning and Peer Coaching. Academic Radiology. 2020; 27: 1261-7. doi: 10.1016/j.acra.2019.09.021.
3. Кушнир К.В. Управление качеством в современных отделениях лучевой диагностики // Медицинская визуализация. — 2015. — №3. — С.133-137.
4. Мелдо А.А. Разработка и оценивание процессов системы менеджмента качества в условиях отделения лучевой диагностики бюджетного специализированного медицинского учреждения // Лучевая диагностика и терапия. — 2018. — №1. — С.5-10. doi: 10.22328/2079-5343-2018-9-1-5-10.
5. Морозов С.П., Ветшева Н.Н., Ледихова Н.В. Оценка качества рентгенорадиологических исследований. Серия «Лучшие практики лучевой и инструментальной диагностики». — Вып. 48. — М., 2019. — 47 с.
6. Morozov S, Guseva E, Ledikhova N, Vladzymyrskyy A, Safronov D. Telemedicine-based system for quality management and peer review in radiology. Insights Imaging. 2018; 9: 337-41. doi: 10.1007/s13244-018-0629-y.
7. Jabin MSR, Schultz T, Mandel C, Bessen T, Hibbert P, Wiles L, et al. A Mixed-Methods Systematic Review of the Effectiveness and Experiences of Quality Improvement Interventions in Radiology. J Patient Saf. 2022; 18: e97-107. doi: 10.1097/PTS.0000000000000709.
8. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента: Монография / Под ред. Ю.А. Васильева, А.В. Владзимирского. — М.: Издательские решения, 2022. — 388 с.
9. Гусев А.В., Владзимирский А.В., Голубев Н.А., Зарубина Т.В. Информатизация здравоохранения Российской Федерации: история и результаты развития // Национальное здравоохранение. — 2021. — №2(3). — С.5-17. doi: 10.47093/2713-069X.2021.2.3.5-17.
10. Kriegeskorte N, Golan T. Neural network models and deep learning. Current Biology 2019; 29: R231-6. doi: 0.1016/j.cub.2019.02.034.
11. Kelly BS, Judge C, Bollard SM, Clifford SM, Healy GM, Aziz A, et al. Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). Eur Radiol 2022;32:7998–8007. https://doi.org/10.1007/s00330-022-08784-6.
12. Lee CS, Neumann C, Jha P, Baumgarten DA, Chu L, Surovitsky M, et al. Current Status and Future Wish List of Peer Review: A National Questionnaire of U.S. Radiologists. American Journal of Roentgenology 2020;214:493–7. https://doi.org/10.2214/AJR.19.22194.
13. Platts-Mills TF, Hendey GW, Ferguson B. Teleradiology Interpretations of Emergency Department Computed Tomography Scans. The Journal of Emergency Medicine. 2010; 38: 188-95. doi: 10.1016/ j.jemermed.2008.01.015.
14. Schmidt E, Lo HS, Saghir A. Peer learning in emergency radiology: effects on learning, error identification, and radiologist experience. Emerg Radiol. 2022; 29: 655-61. doi: 10.1007/s10140-022-02040-6.
15. Ludwig DR, Strnad BS, Bierhals AJ, Mellnick VM. Implementation of a peer-learning program in an academic abdominal radiology practice and comparison with a traditional peer-review system. Abdom Radiol. 2022; 47: 2509-19. doi: 10.1007/s00261-022-03523-3.
16. Moriarity AK, Hawkins CM, Geis JR, Dreyer KJ, Kamer AP, Khandheria P, et al. Meaningful Peer Review in Radiology: A Review of Current Practices and Potential Future Directions. Journal of the American College of Radiology. 2016; 13: 1519-24. doi: 10.1016/j.jacr.2016.08.005.
17. Filice RW. Radiology-Pathology Correlation to Facilitate Peer Learning: An Overview Including Recent Artificial Intelligence Methods. Journal of the American College of Radiology. 2019; 16: 1279-85. doi: 10.1016/j.jacr.2019.05.010.
18. Homayounieh F, Digumarthy S, Ebrahimian S, Rueckel J, Hoppe BF, Sabel BO, et al. An Artificial Intelligence–Based Chest X-ray Model on Human Nodule Detection Accuracy From a Multicenter Study. JAMA Netw Open. 2021; 4: e2141096. doi: 10.1001/jamanetworkopen.2021.41096.
19. Sheng K, Offersen CM, Middleton J, Carlsen JF, Truelsen TC, Pai A, et al. Automated Identification of Multiple Findings on Brain MRI for Improving Scan Acquisition and Interpretation Workflows: A Systematic Review. Diagnostics. 2022; 12: 1878. doi: 10.3390/diagnostics12081878.
20. Wu JT, Wong KCL, Gur Y, Ansari N, Karargyris A, Sharma A, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Netw Open. 2020; 3: e2022779. doi: 10.1001/jamanetworkopen.2020.22779.
21. Vladzymyrskyy AV, Kudryavtsev ND, Kozhikhina DD, Shulkin IM, Morozov SP, Ledikhova NV, et al. Effectiveness of using artificial intelligence technologies for dual descriptions of the results of preventive lung examinations. Profilakticheskaya Meditsina. 2022; 25(7): 7 15. (In Russ.) doi: 10.17116/profmed2022250717.
22. Morozov SP, Vladzymyrskyy AV, Shulkin IM, Ledikhova NV, Arzamasov KM, Andreychenko AE, et al. Feasibility of using artificial intelligence in radiation diagnostics. Medical doctor and information technology. 2022; 1: 12-29. (In Russ.)
23. Морозов С.П., Гаврилов А.В., Архипов И.В., Долотова Д.Д., Лысенко М.А., Царенко С.В. и др. Влияние технологий искусственного интеллекта на длительность описаний результатов компьютерной томографии пациентов с COVID-19 в стационарном звене здравоохранения // Профилактическая медицина. — 2022. — №25(1). — С.14-20. doi: 10.17116/profmed20222501114.
24. Гусев А.В., Владзимирский А.В., Шарова Д.Е., Арзамасов К.М., Храмов А.Е. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года // Digital Diagnostics. — 2022. — №3(3). — С.178-194. doi: 10.17816/DD107367.
25. Chan SS, Francavilla ML, Iyer RS, Rigsby CK, Kurth D, Karmazyn BK. Clinical decision support: the role of ACR Appropriateness Criteria. Pediatr Radiol. 2019; 49(4): 479-485. doi: 10.1007/s00247-018-4298-2.
26. Martinez G, Katz JM, Pandya A, Wang JJ, Boltyenkov A, Malhotra A, Mushlin AI, Sanelli PC. Cost-Effectiveness Study of Initial Imaging Selection in Acute Ischemic Stroke Care. J Am Coll Radiol. 2021; 18(6): 820-833. doi: 10.1016/j.jacr.2020.12.013.
27. Subramaniam RM, Kurth DA, Waldrip CA, Rybicki FJ. American College of Radiology Appropriateness Criteria: Advancing Evidence-Based Imaging Practice. Semin Nucl Med. 2019; 49(2): 161-165.
doi: 10.1053/j.semnuclmed.2018.11.011.
28. Shulkin IM, Vladzymyrskyy AV. Data-based management in imaging: evaluation of the performance of a unified radiological information service model. MZ. 2022; 7: 68-80. (In Russ.) doi: 10.21045/1811-0185-2022-7-68-80.
29. Cooper K, Heilbrun ME, Gilyard S, Vey BL, Kadom N. Shared Decision Making: Radiology’s Role and Opportunities. American Journal of Roentgenology. 2020; 214: W62-6. doi: 10.2214/AJR.19.21590.
30. Woodhouse KD, Tremont K, Vachani A, Schapira MM, Vapiwala N, Simone CB, et al. A Review of Shared Decision-Making and Patient Decision Aids in Radiation Oncology. J Canc Educ. 2017; 32: 238-45.
doi: 10.1007/s13187-017-1169-8.
31. Morozov SP, Vladzymyrskyy AV, Gombolevskiy VA, Kuz’mina ES, Ledikhova NV. Artificial intelligence: natural language processing for peer-review in radiology. Journal of radiology and nuclear medicine. 2018; 99(5): 253-258. (In Russ.) doi: 10.20862/0042-4676-2018-99-5-253-258.
32. Thomas SP, Fraum TJ, Ngo L, Harris R, Balesh E, Bashir MR, et al. Leveraging Artificial Intelligence to Enhance Peer Review: Missed Liver Lesions on Computed Tomographic Pulmonary Angiography. Journal of the American College of Radiology. 2022; 19: 1286-94. doi: 10.1016/j.jacr.2022.07.013.
Для цитирования
Васильев Ю.А., Владзимирский А.В., Бондарчук Д.В., Кожихина Д.Д., Решетников Р.В., Блохин И.А., Соловьев А.В., Гатин Д.В. Значение технологий искусственного интеллекта для профилактики дефектов в работе врача-рентгенолога. Врач и информационные технологии. 2023; 2: 16-27. doi: 10.25881/18110193_2023_2_16.
Документы
Ключевые слова