vitjВрач и информационные технологииMedical Doctor and Information Technologies1811-01932413-5208Pirogov National Medical and Surgical Center10.25881/18110193_2023_2_16vitj-101Research ArticleОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯORIGINAL RESEARCHЗначение технологий искусственного интеллекта для профилактики дефектов в работе врача-рентгенологаImportance of artificial intelligence technologies to prevent defects in radiologist’s practiceВасильевЮ. А.VasilevYu. A.

ВАСИЛЬЕВ Ю.А., к.м.н.

г. Москва

VASILEV YU.A., PhD

Moscow

VasilevYA1@zdrav.mos.ruВладзимирскийА. В.VladzymyrskyyA. V.

ВЛАДЗИМИРСКИЙ А.В., д.м.н.

г. Москва

VLADZYMYRSKYY A.V., DSc

Moscow

VladzimirskijAV@zdrav.mos.ruБондарчукД. В.BondarchukD. V.

БОНДАРЧУК Д.В.

г. Москва

BONDARCHUK D.V.

Moscow

BondarchukDV@zdrav.mos.ruКожихинаД. Д.KozhikhinaD. D.

КОЖИХИНА Д.Д.

г. Москва

KOZHIKHINA D.D.

Moscow

d.kozhikhina@npcmr.ruРешетниковР. В.ReshetnikovR. V.

РЕШЕТНИКОВ Р.В., к.ф.-м.н

г. Москва

RESHETNIKOV R.V., PhD

Moscow

r.reshetnikov@npcmr.ruБлохинИ. А.BlokhinI. A.

БЛОХИН И.А.

г. Москва

BLOKHIN I.A.

Moscow

BlokhinIA@zdrav.mos.ruСоловьёвА. В.SolovevA. V.

СОЛОВЬЁВ А.В.

г. Москва

SOLOVEV A.V.

Moscow

a.solovev@npcmr.ruГатинД. В.GatinD. V.

ГАТИН Д.В.

г. Москва

GATIN D.V.

Moscow

GatinDV@zdrav.mos.ruНаучно-практический клинический центр диагностики и телемедицинских технологий ДЗМРоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine TechnologiesRussian Federation202326032025021629Copyright © Васильев Ю.А., Владзимирский А.В., Бондарчук Д.В., Кожихина Д.Д., Решетников Р.В., Блохин И.А., Соловьёв А.В., Гатин Д.В., 20252025Васильев Ю.А., Владзимирский А.В., Бондарчук Д.В., Кожихина Д.Д., Решетников Р.В., Блохин И.А., Соловьёв А.В., Гатин Д.В.Vasilev Y.A., Vladzymyrskyy A.V., Bondarchuk D.V., Kozhikhina D.D., Reshetnikov R.V., Blokhin I.A., Solovev A.V., Gatin D.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vit-j.ru/jour/article/view/101Актуальность

Актуальность. В настоящее время в лучевой диагностике реализована технологическая возможность применения систем поддержки принятия врачебных решений (СППВР) на основе технологий искусственного интеллекта, интегрированных в медицинские информационные системы медицинских организаций и/или информационные системы в сфере здравоохранения субъектов РФ. Наличие системы контроля качества лучевой диагностики создаёт возможность оценить влияние СППВР на качество медицинской помощи. При этом актуальна проблема оценки недопущения дефектов при интерпретации результатов лучевых исследования благодаря использо­ванию интеллектуальных СППВР.

Цель исследования

Цель исследования. Оценка применимости систем поддержки принятия врачебных решений на основе технологий искусственного интеллекта (ТИИ) для профилактики дефектов в работе врача-рентгенолога.

Материалы и методы

Материалы и методы. Ретроспективное обсервационное исследование. Критерии включения: (i) исследования компьютерной томографии (КТ) органов грудной клетки, первично описанные врачами-рентгенологами и проанализированные с помощью ТИИ; (ii) во время ретроспективного пересмотра в рамках мероприятий по контролю качества выявлено наличие клинически значимых расхождений между врачом-рентгенологом и проверяющим экспертом.

Результаты

Результаты. Всего проанализировано 12572 результатов КТ, из которых 4949 КТ органов грудной клетки. Полное соответствие по результатам пересмотра отмечено в 61,4% случаев, клинически значимые расхождения — в 2,8%. Выделено 15 исследований с клинически значимыми расхождениями и релевантными результатами работы ТИИ. В 60% случаев врачом-рентгенологом пропущены признаки пневмонии; в 33,0% зарегистрирован пропуск солидного или полусолидного очага легкого диаметром более 5 мм. Однократно не описан кальциноз коронарных артерий. Во всех указанных случаях ТИИ были выявлены и отмечены патологические находки, пропущенные при первичном описании, но указанные проводившим пересмотр врачом-экспертом.

Заключение

Заключение. Использование ТИИ позволяет не допустить пропуски значимой патологии на этапе первичного описания результатов лучевых исследований. Системы искусственного интеллекта могут выступать в качестве средства профилактики дефектов в работе врача-рентгенолога.

Background

Background. Presently, in diagnostic radiology, it is possible to use clinical decision support systems (CDSS) based on artificial intelligence technologies. These systems are integrated into medical information systems and/or federal health care information systems of the Russian Federation. The availability of a quality control system for diagnostic radiology enables impact evaluation of AI-based CDSS in the medical care. Moreover, the challenge of defect prevention in radiology with such CDSS is relevant.

Aim

Aim. To evaluate the use of decision support systems based on artificial intelligence (AI) for preventing defects in the radiologist’s work.

Methods

Methods. Retrospective observational study. Inclusion criteria: (i) chest computed tomography (CT) reported by radiologists and subsequently analyzed by AI; (ii) clinically relevant discrepancies between radiologist and expert identified at the time of retrospective quality control.

Results

Results. 12 572 CT scans were reviewed, including 4949 chest CT scans. Complete agreement according to the audit results was observed in 61.4% of cases, clinically significant discrepancies in 2.8%. 15 studies with clinically significant discrepancies and relevant AI results were identified. In 60% of cases a radiologist missed signs of pneumonia; in 33.0% of cases a solid or subsolid lung nodule (>5 mm) was undetected. Coronary artery calcification was not reported once. In all cases pathological findings had not been reported initially, but were found during the audit and by AI algorithms.

Conclusion

Conclusion. AI-based decision support systems ensure that significant pathology is not missed during the initial imaging study reporting. Therefore, AI system could act as a means of preventing defects in the work of the radiologist.

технологии искусственного интеллектакомпьютерная томографияконтроль качествааудитartificial intelligence technologiescomputed tomographyquality controlauditДанная статья подготовлена авторским коллективом в рамках НИР «Научное обоснование моделей и способов организации и оказания медицинской помощи с применением телемедицинских технологий» (№ЕГИСУ: 123031400008-4).ReferencesBruno MA. Extending the scope of quality and safety in radiology. Radiology. 2022; 302(3): 620-621. doi: 10.1148/radiol.2021212538.Bruno MA. Extending the scope of quality and safety in radiology. Radiology. 2022; 302(3): 620-621. doi: 10.1148/radiol.2021212538.Chetlen AL, Petscavage-Thomas J, Cherian RA, Ulano A, Nandwana SB, Curci NE, et al. Collaborative Learning in Radiology: From Peer Review to Peer Learning and Peer Coaching. Academic Radiology. 2020; 27: 1261-7. doi: 10.1016/j.acra.2019.09.021.Chetlen AL, Petscavage-Thomas J, Cherian RA, Ulano A, Nandwana SB, Curci NE, et al. Collaborative Learning in Radiology: From Peer Review to Peer Learning and Peer Coaching. Academic Radiology. 2020; 27: 1261-7. doi: 10.1016/j.acra.2019.09.021.Кушнир К.В. Управление качеством в современных отделениях лучевой диагностики // Медицинская визуализация. — 2015. — №3. — С.133-137.Kushnir KV. Quality of Management in the Modern Radiology Department. Medical Visualization. 2015; 3: 133-137. (In Russ.)Мелдо А.А. Разработка и оценивание процессов системы менеджмента качества в условиях отделения лучевой диагностики бюджетного специализированного медицинского учреждения // Лучевая диагностика и терапия. — 2018. — №1. — С.5-10. doi: 10.22328/2079-5343-2018-9-1-5-10.Meldo AA. Development and evaluation of quality management processes in the radyology department of government specialized clinic. Diagnostic radiology and radiotherapy. 2018; 1: 5-10. (In Russ.) doi: 10.22328/2079-5343-2018-9-1-5-10.Морозов С.П., Ветшева Н.Н., Ледихова Н.В. Оценка качества рентгенорадиологических исследований. Серия «Лучшие практики лучевой и инструментальной диагностики». — Вып. 48. — М., 2019. — 47 с.Morozov SP, Vetsheva NN, Ledikhova NV. Quality assessment of radiology studies. Series “Best Practices in Radiation and Instrumental Diagnostics». Vol. 47. M., 2019. 47 p. (In Russ.)Morozov S, Guseva E, Ledikhova N, Vladzymyrskyy A, Safronov D. Telemedicine-based system for quality management and peer review in radiology. Insights Imaging. 2018; 9: 337-41. doi: 10.1007/s13244-018-0629-y.Morozov S, Guseva E, Ledikhova N, Vladzymyrskyy A, Safronov D. Telemedicine-based system for quality management and peer review in radiology. Insights Imaging. 2018; 9: 337-41. doi: 10.1007/s13244-018-0629-y.Jabin MSR, Schultz T, Mandel C, Bessen T, Hibbert P, Wiles L, et al. A Mixed-Methods Systematic Review of the Effectiveness and Experiences of Quality Improvement Interventions in Radiology. J Patient Saf. 2022; 18: e97-107. doi: 10.1097/PTS.0000000000000709.Jabin MSR, Schultz T, Mandel C, Bessen T, Hibbert P, Wiles L, et al. A Mixed-Methods Systematic Review of the Effectiveness and Experiences of Quality Improvement Interventions in Radiology. J Patient Saf. 2022; 18: e97-107. doi: 10.1097/PTS.0000000000000709.Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента: Монография / Под ред. Ю.А. Васильева, А.В. Владзимирского. — М.: Издательские решения, 2022. — 388 с.Komp’yuternoe zrenie v luchevoj diagnostike: pervyj etap Moskovskogo eksperimenta: Monografiya. YU.A. Vasil’ev, A.V. Vladzimirskiy, editors. M.: Izdatel’skie resheniya, 2022. 388 р. (In Russ.)Гусев А.В., Владзимирский А.В., Голубев Н.А., Зарубина Т.В. Информатизация здравоохранения Российской Федерации: история и результаты развития // Национальное здравоохранение. — 2021. — №2(3). — С.5-17. doi: 10.47093/2713-069X.2021.2.3.5-17.Gusev AV, Vladzymyrskyy AV, Golubev NA, Zarubina TV. Informatization of healthcare in the Russian Federation: history and results of development. National Health Care (Russia). 2021; 2(3): 5-17. (In Russ.) doi: 10.47093/2713-069X.2021.2.3.5-17.Kriegeskorte N, Golan T. Neural network models and deep learning. Current Biology 2019; 29: R231-6. doi: 0.1016/j.cub.2019.02.034.Kriegeskorte N, Golan T. Neural network models and deep learning. Current Biology 2019; 29: R231-6. doi: 0.1016/j.cub.2019.02.034.Kelly BS, Judge C, Bollard SM, Clifford SM, Healy GM, Aziz A, et al. Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). Eur Radiol 2022;32:7998–8007. https://doi.org/10.1007/s00330-022-08784-6.Kelly BS, Judge C, Bollard SM, Clifford SM, Healy GM, Aziz A, et al. Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). Eur Radiol 2022;32:7998–8007. https://doi.org/10.1007/s00330-022-08784-6.Lee CS, Neumann C, Jha P, Baumgarten DA, Chu L, Surovitsky M, et al. Current Status and Future Wish List of Peer Review: A National Questionnaire of U.S. Radiologists. American Journal of Roentgenology 2020;214:493–7. https://doi.org/10.2214/AJR.19.22194.Lee CS, Neumann C, Jha P, Baumgarten DA, Chu L, Surovitsky M, et al. Current Status and Future Wish List of Peer Review: A National Questionnaire of U.S. Radiologists. American Journal of Roentgenology 2020;214:493–7. https://doi.org/10.2214/AJR.19.22194.Platts-Mills TF, Hendey GW, Ferguson B. Teleradiology Interpretations of Emergency Department Computed Tomography Scans. The Journal of Emergency Medicine. 2010; 38: 188-95. doi: 10.1016/j.jemermed.2008.01.015.Platts-Mills TF, Hendey GW, Ferguson B. Teleradiology Interpretations of Emergency Department Computed Tomography Scans. The Journal of Emergency Medicine. 2010; 38: 188-95. doi: 10.1016/j.jemermed.2008.01.015.Schmidt E, Lo HS, Saghir A. Peer learning in emergency radiology: effects on learning, error identification, and radiologist experience. Emerg Radiol. 2022; 29: 655-61. doi: 10.1007/s10140-02202040-6.Schmidt E, Lo HS, Saghir A. Peer learning in emergency radiology: effects on learning, error identification, and radiologist experience. Emerg Radiol. 2022; 29: 655-61. doi: 10.1007/s10140-02202040-6.Ludwig DR, Strnad BS, Bierhals AJ, Mellnick VM. Implementation of a peer-learning program in an academic abdominal radiology practice and comparison with a traditional peer-review system. Abdom Radiol. 2022; 47: 2509-19. doi: 10.1007/s00261-022-03523-3.Ludwig DR, Strnad BS, Bierhals AJ, Mellnick VM. Implementation of a peer-learning program in an academic abdominal radiology practice and comparison with a traditional peer-review system. Abdom Radiol. 2022; 47: 2509-19. doi: 10.1007/s00261-022-03523-3.Moriarity AK, Hawkins CM, Geis JR, Dreyer KJ, Kamer AP, Khandheria P, et al. Meaningful Peer Review in Radiology: A Review of Current Practices and Potential Future Directions. Journal of the American College of Radiology. 2016; 13: 1519-24. doi: 10.1016/j.jacr.2016.08.005.Moriarity AK, Hawkins CM, Geis JR, Dreyer KJ, Kamer AP, Khandheria P, et al. Meaningful Peer Review in Radiology: A Review of Current Practices and Potential Future Directions. Journal of the American College of Radiology. 2016; 13: 1519-24. doi: 10.1016/j.jacr.2016.08.005.Filice RW. Radiology-Pathology Correlation to Facilitate Peer Learning: An Overview Including Recent Artificial Intelligence Methods. Journal of the American College of Radiology. 2019; 16: 1279-85. doi: 10.1016/j.jacr.2019.05.010.Filice RW. Radiology-Pathology Correlation to Facilitate Peer Learning: An Overview Including Recent Artificial Intelligence Methods. Journal of the American College of Radiology. 2019; 16: 1279-85. doi: 10.1016/j.jacr.2019.05.010.Homayounieh F, Digumarthy S, Ebrahimian S, Rueckel J, Hoppe BF, Sabel BO, et al. An Artificial Intelligence–Based Chest X-ray Model on Human Nodule Detection Accuracy From a Multicenter Study. JAMA Netw Open. 2021; 4: e2141096. doi: 10.1001/jamanetworkopen.2021.41096.Homayounieh F, Digumarthy S, Ebrahimian S, Rueckel J, Hoppe BF, Sabel BO, et al. An Artificial Intelligence–Based Chest X-ray Model on Human Nodule Detection Accuracy From a Multicenter Study. JAMA Netw Open. 2021; 4: e2141096. doi: 10.1001/jamanetworkopen.2021.41096.Sheng K, Offersen CM, Middleton J, Carlsen JF, Truelsen TC, Pai A, et al. Automated Identification of Multiple Findings on Brain MRI for Improving Scan Acquisition and Interpretation Workflows: A Systematic Review. Diagnostics. 2022; 12: 1878. doi: 10.3390/diagnostics12081878.Sheng K, Offersen CM, Middleton J, Carlsen JF, Truelsen TC, Pai A, et al. Automated Identification of Multiple Findings on Brain MRI for Improving Scan Acquisition and Interpretation Workflows: A Systematic Review. Diagnostics. 2022; 12: 1878. doi: 10.3390/diagnostics12081878.Wu JT, Wong KCL, Gur Y, Ansari N, Karargyris A, Sharma A, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Netw Open. 2020; 3: e2022779. doi: 10.1001/jamanetworkopen.2020.22779.Wu JT, Wong KCL, Gur Y, Ansari N, Karargyris A, Sharma A, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Netw Open. 2020; 3: e2022779. doi: 10.1001/jamanetworkopen.2020.22779.Владзимирский А.В., Кудрявцев Н.Д., Кожихина Д.Д., Шулькин И.М., Морозов С.П., Ледихова Н.В. и др. Эффективность применения технологий искусственного интеллекта для двойных описаний результатов профилактических исследований легких // Профилактическая медицина. — 2022. — №25(7). — С.7-15. doi: 10.17116/profmed2022250717.Vladzymyrskyy AV, Kudryavtsev ND, Kozhikhina DD, Shulkin IM, Morozov SP, Ledikhova NV, et al. Effectiveness of using artificial intelligence technologies for dual descriptions of the results of preventive lung examinations. Profilakticheskaya Meditsina. 2022; 25(7): 7-15. (In Russ.)] doi: 10.17116/profmed2022250717.Морозов С.П., Владзимирский А.В., Шулькин И.М., Ледихова Н.В., Арзамасов К.М., Андрейченко А.Е. и др. Целесообразность применения технологий искусственного интеллекта в лучевой диагностике (результаты первого года Московского эксперимента по компьютерному зрению) // Врач и информационные технологии. — 2022. — №1. — С.12-29.Morozov SP, Vladzymyrskyy AV, Shulkin IM, Ledikhova NV, Arzamasov KM, Andreychenko AE, et al. Feasibility of using artificial intelligence in radiation diagnostics. Medical doctor and information technology. 2022; 1: 12-29. (In Russ.)Морозов С.П., Гаврилов А.В., Архипов И.В., Долотова Д.Д., Лысенко М.А., Царенко С.В. и др. Влияние технологий искусственного интеллекта на длительность описаний результатов компьютерной томографии пациентов с COVID-19 в стационарном звене здравоохранения // Профилактическая медицина. — 2022. — №25(1). — С.14-20. doi: 10.17116/profmed20222501114.Morozov SP, Gavrilov AV, Arkhipov IV, Dolotova DD, Lysenko MA, Tsarenko SV, et al. Effect of artificial intelligence technologies on the CT scan interpreting time in COVID-19 patients in inpatient setting. Profilakticheskaya Meditsina. 2022; 25(1): 14‑20. (In Russ.) doi: 10.17116/profmed20222501114.Гусев А.В., Владзимирский А.В., Шарова Д.Е., Арзамасов К.М., Храмов А.Е. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года // Digital Diagnostics. — 2022. — №3(3). — С.178-194.Gusev AV, Vladzymyrskyy AV, Sharova DE, Arzamasov KM, Khramov AE. Evolution of research and development in the field of artificial intelligence technologies for healthcare in the Russian Federation: results of 2021. Digital Diagnostics. 2022; 3(3): 178-194. (In Russ.) doi: 10.17816/DD107367.Martinez G, Katz JM, Pandya A, Wang JJ, Boltyenkov A, Malhotra A, Mushlin AI, Sanelli PC. CostEffectiveness Study of Initial Imaging Selection in Acute Ischemic Stroke Care. J Am Coll Radiol. 2021; 18(6): 820-833. doi: 10.1016/j.jacr.2020.12.013.Chan SS, Francavilla ML, Iyer RS, Rigsby CK, Kurth D, Karmazyn BK. Clinical decision support: the role of ACR Appropriateness Criteria. Pediatr Radiol. 2019; 49(4): 479-485. doi: 10.1007/s00247-018-4298-2.Subramaniam RM, Kurth DA, Waldrip CA, Rybicki FJ. American College of Radiology Appropriateness Criteria: Advancing Evidence-Based Imaging Practice. Semin Nucl Med. 2019; 49(2): 161-165. doi: 10.1053/j.semnuclmed.2018.11.011.Martinez G, Katz JM, Pandya A, Wang JJ, Boltyenkov A, Malhotra A, Mushlin AI, Sanelli PC. CostEffectiveness Study of Initial Imaging Selection in Acute Ischemic Stroke Care. J Am Coll Radiol. 2021; 18(6): 820-833. doi: 10.1016/j.jacr.2020.12.013.Шулькин И.М., Владзимирский А.В. Управление на основе данных в лучевой диагностике: оценка результативности модели Единого радиологического информационного сервиса // Менеджер здравоохранения. — 2022. — №7. — С.68-80. doi: 10.21045/1811-0185-2022-7-68-80.Subramaniam RM, Kurth DA, Waldrip CA, Rybicki FJ. American College of Radiology Appropriateness Criteria: Advancing Evidence-Based Imaging Practice. Semin Nucl Med. 2019; 49(2): 161-165. doi: 10.1053/j.semnuclmed.2018.11.011.Cooper K, Heilbrun ME, Gilyard S, Vey BL, Kadom N. Shared Decision Making: Radiology’s Role and Opportunities. American Journal of Roentgenology. 2020; 214: W62-6. doi: 10.2214/AJR.19.21590.Shulkin IM, Vladzymyrskyy AV. Databased management in imaging: evaluation of the performance of a unified radiological information service model. MZ. 2022; 7: 68-80. (In Russ.) doi: 10.21045/1811-0185-2022-7-68-80.Woodhouse KD, Tremont K, Vachani A, Schapira MM, Vapiwala N, Simone CB, et al. A Review of Shared Decision-Making and Patient Decision Aids in Radiation Oncology. J Canc Educ. 2017; 32: 238-45. doi: 10.1007/s13187-017-1169-8.Cooper K, Heilbrun ME, Gilyard S, Vey BL, Kadom N. Shared Decision Making: Radiology’s Role and Opportunities. American Journal of Roentgenology. 2020; 214: W62-6. doi: 10.2214/AJR.19.21590.Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кузьмина Е.С., Ледихова Н.В. Искусственный интеллект: автоматизированный анализ текста на естественном языке для аудита радиологических исследований // Вестник рентгенологии и радиологии. — 2018. — №99(5). — С.253-258. doi: 10.20862/0042-4676-2018-99-5-253-258.Woodhouse KD, Tremont K, Vachani A, Schapira MM, Vapiwala N, Simone CB, et al. A Review of Shared Decision-Making and Patient Decision Aids in Radiation Oncology. J Canc Educ. 2017; 32: 238-45. doi: 10.1007/s13187-017-1169-8.Thomas SP, Fraum TJ, Ngo L, Harris R, Balesh E, Bashir MR, et al. Leveraging Artificial Intelligence to Enhance Peer Review: Missed Liver Lesions on Computed Tomographic Pulmonary Angiography. Journal of the American College of Radiology. 2022; 19: 1286-94. doi: 10.1016/j.jacr.2022.07.013.Morozov SP, Vladzymyrskyy AV, Gombolevskiy VA, Kuz’mina ES, Ledikhova NV. Artificial intelligence: natural language processing for peer-review in radiology. Journal of radiology and nuclear medicine. 2018; 99(5): 253-258. (In Russ.) doi: 10.20862/0042-4676-2018-99-5-253-258.Thomas SP, Fraum TJ, Ngo L, Harris R, Balesh E, Bashir MR, et al. Leveraging Artificial Intelligence to Enhance Peer Review: Missed Liver Lesions on Computed Tomographic Pulmonary Angiography. Journal of the American College of Radiology. 2022; 19: 1286-94. doi: 10.1016/j.jacr.2022.07.013.Thomas SP, Fraum TJ, Ngo L, Harris R, Balesh E, Bashir MR, et al. Leveraging Artificial Intelligence to Enhance Peer Review: Missed Liver Lesions on Computed Tomographic Pulmonary Angiography. Journal of the American College of Radiology. 2022; 19: 1286-94. doi: 10.1016/j.jacr.2022.07.013.

The authors declare that there are no conflicts of interest present.