vitjВрач и информационные технологииMedical Doctor and Information Technologies1811-01932413-5208Pirogov National Medical and Surgical Center10.25881/18110193_2025_3_36vitj-222Research ArticleОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯORIGINAL RESEARCHОценка результативности системы поддержки принятия врачебных решений для постановки предварительного диагноза в условиях консультативно-диагностических поликлиник города МосквыEvaluation of the effectiveness of a medical decision support system for preliminary diagnosis in Moscow outpatient clinicsКиринаМ. В.KirinaM. V.

г. Москва

KirinaMV@zdrav.mos.ru

Moscow

БезымянныйА. С.BezymyannyyA. S.

г. Москва

Moscow

03moscow@gmail.comВасильевЮ. А.VasilevYU. A.

к.м.н.

г. Москва

PhD

Moscow

npcmr@zdrav.mos.ruБлохинаЕ. В.BlokhinaE. V.

г. Москва

Moscow

lebedeva488@gmail.comКарамовБ. И.KaramovB. I.

г. Москва

Moscow

KaramovBI@zdrav.mos.ruАбросимовА. С.AbrosimovA. S.

г. Москва

Moscow

KaramovBI@zdrav.mos.ruАрзамасовК. М.ArzamasovK. M.

д.м.н.

г. Москва

DSc

Moscow

ArzamasovKM@zdrav.mos.ruПамоваА. П.PamovaA. P.

к.м.н.

г. Москва

PhD

Moscow

PamovaAP@zdrav.mos.ruКазариноваВ. Е.KazarinovaV. E.

г. Москва

Moscow

KazarinovaVE@zdrav.mos.ruАНО «Московский центр инновационных технологий в здравоохранении»РоссияMoscow Center for Healthcare InnovationsRussian FederationГБУЗ «ДКЦ №1 ДЗМ»РоссияState Budget-Funded Health Care Institution of the City of Moscow “Diagnostic Clinical Center No. 1 of the Moscow Health Care Department”Russian FederationГБУЗ «НПКЦ ДиТ ДЗМРоссияMoscow Center for Diagnostics & TelemedicineRussian FederationГКУ ДКД МО ДЗМРоссияThe State Public Institution of the City of Moscow “The Directorate on Coordination of Activities of Medical Organizations of the Moscow Health Care Department”Russian FederationГБУЗ «НПКЦ ДиТ ДЗМ»РоссияMoscow Center for Diagnostics & TelemedicineRussian Federation202512102025033649Copyright © Кирина М.В., Безымянный А.С., Васильев Ю.А., Блохина Е.В., Карамов Б.И., Абросимов А.С., Арзамасов К.М., Памова А.П., Казаринова В.Е., 20252025Кирина М.В., Безымянный А.С., Васильев Ю.А., Блохина Е.В., Карамов Б.И., Абросимов А.С., Арзамасов К.М., Памова А.П., Казаринова В.Е.Kirina M.V., Bezymyannyy A.S., Vasilev Y.A., Blokhina E.V., Karamov B.I., Abrosimov A.S., Arzamasov K.M., Pamova A.P., Kazarinova V.E.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vit-j.ru/jour/article/view/222

Внедрение системы поддержки принятия врачебных решений (СППВР) в клиническую практику требует тщательного контроля для обеспечения безопасности пациентов и оценки эффективности применения технологий искусственного интеллекта.Целью данной работы является оценка результативности СППВР «ТОП-3» в условиях консультативно-диагностических поликлиник Департамента здравоохранения города Москвы.Материалы и методы: Мониторинг работы СППВР «ТОП-3» проводился Департаментом здравоохранения города Москвы с 01.10.2020 по 21.03.2024 (n = 63 809 360 чел.). Рассчитывалась метрика Hit-3, на основе которой принималось решение о необходимости повторного обучения представленной СППВР. Дополнительно было проведено исследование с участием врачей-экспертов: ретроспективный анализ данных на выборке из 3000 пациентов с расчетом согласованности диагнозов от СППВР, врача и эксперта.Результаты: По результатам мониторинга среднее значение Hit-3 составляло 63,5, 64,5 и 67,7 для первой, второй и третьей версии СППВР соответственно. Экспертиза показала, что в выборке несоответствия диагноза от врача и СППВР (n = 2000) в 80,2% случаев эксперт на основе жалоб соглашался с СППВР, в 11,5% случаях - с врачом, а в 8,3% случаев ставил иной диагноз. В выборке соответствия диагноза врача с одним из диагнозов СППВР (n = 1000) в 50,4% случаев эксперт соглашался с диагнозом от врача и СППВР, в 37,9% случаев – с одним из двух других альтернативных диагнозов СППВР, в 11,7% случаев ставил иной диагноз.Заключение: Описанная методика мониторинга, дополненная проведением экспертизы, позволила всесторонне оценить внедряемую в систему здравоохранения СППВР. По итогу оценки результативности «ТОП-3» было принято решение о необходимости расширения анализируемого перечня данных электронных медицинских карт, что будет внедрено в следующей версии СППВР «ТОП-3+».

The implementation of the medical decision support system (MDSS) in clinical practice requires careful monitoring to ensure patient safety and track the performance of artificial intelligence technologies.Goal: To assess the effectiveness of the TOP-3 MDSS in outpatient clinics of the Moscow Heath Care Department.Materials and methods: The Moscow Heath Care Department monitored the TOP-3 operation between October 1, 2020 and March 03, 2024 (n = 63,809,360 people). The Hit-3 metric was used to determine if the MDSS needs retraining. An additional study involving medical experts included a retrospective analysis of data from 3,000 patients and calculation of the diagnostic agreement rate among the MDSS, doctors and the experts.Results: The monitoring demonstrated mean Hit-3 of 63.5, 64.5 and 67.7 for MDSS ver. 1, 2, and 3, respectively. In cases where the clinicians disagreed with the MDSS (n = 2000), based on the patient complaints, experts agreed with the MDSS in 80.2% of cases, with clinicians in 11.5% of cases, and established a different diagnosis in 8.3% of cases. In cases where the clinicians’ and the MDSS’s conclusions matched (n = 1000), experts approved the diagnosis in 50.4% of cases, selected an alternative diagnosis suggested by the MDSS in 37.9% of cases, and established a different diagnosis for 11.7% of patients. Conclusion: The described monitoring methodology, supplemented by expert review, allowed for a comprehensive assessment of the MDSS to be implemented in the health care system. Based on the results of the TOP-3 effectiveness assessment, it was decided that the analyzed list of data from electronic health records should be expanded, which will be implemented in the upcoming version TOP-3+.

цифровая медицинаискусственный интеллектсистемы поддержки принятия врачебных решениймониторинг эффективностиэкспертная оценкаdigital medicineаrtificial intelligencemedical decision support systemsefficiency monitoringexpert reviewReferencesУказ Президента Российской Федерации от 10.10.2019 г. №490 «О развитии искусственного интеллекта в Российской Федерации». http://www.kremlin.ru/acts/bank/44731.Указ Президента Российской Федерации от 10.10.2019 г. №490 «О развитии искусственного интеллекта в Российской Федерации». http://www.kremlin.ru/acts/bank/44731.Васильев Ю.А., Владзимирский А.В., Арзамасов К.М. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. — М.: Издательские решения, 2023. 376 с.Vasiliev YuA, Vladzimirskij AV, Arzamasov KM. Komp`yuternoe zrenie v luchevoj diagnostike: pervy`j e`tap Moskovskogo e`ksperimenta. M.: Izdatel`skie resheniya. 2023. 376 р. (In Russ.)Васильев Ю.А., Тыров И.А., Владзимирский А.В., Арзамасов К.М. и др. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований // Digital Diagnostics. — 2023. — Т.4. — №2. — С.93-104.Vasilev YA, Tyrov IA, Vladzymyrskyy AV, Arzamasov KM, et al. Doublereading mammograms using artificial intelligence technologies: A new model of mass preventive examination organization. Digital Diagnostics. 2023; 4(2): 93-104. (In Russ.) doi: 10.17816/DD321423.Комков А.А., Рязанова С.В., Мазаев В.П. Эффективные системы поддержки принятия решений в клинической практике и профилактике: обзор литературы // CardioСоматика. — 2023. — Т.14. — №3. — С.177-185.Komkov AA, Ryazanova SV, Mazaev VP. Effective decision support systems in Clinical Practice and Prevention: Literature Review. CardioSomatics. 2023; 14(3): 177-185. (In Russ.) doi: 10.17816/CS569263.Гусев А.В., Токарев С.А., Гаврилов Д.В., Кузнецова Т.Ю. Применение автоматизированной системы поддержки принятия врачебных решений при диспансеризации взрослого населения для контроля правильности оценки уровня сердечно-сосудистого риска // Менеджмент качества в медицине. — 2022. — №1. — С.72-79.Gusev AV, Tokarev SA, Gavrilov DV, Kuzneczova TYu. Primenenie avtomatizirovannoj sistemy` podderzhki prinyatiya vrachebny`x reshenij pri dispanserizacii vzroslogo naseleniyadlya kontrolya pravil`nosti ocenki urovnya serdechnososudistogo riska. Menedzhment kachestva v medicine. 2022; 1: 177-185. (In Russ.)Taheri Moghadam S, Sadoughi F, Velayati F, Ehsanzadeh SJ, Poursharif S. The effects of clinical decision support system for prescribing medication on patient outcomes and physician practice performance: a systematic review and meta-analysis. BMC Med Inform Decis Mak. 2021; 21(1): 98. doi: 10.1186/s12911-020-01376-8.Taheri Moghadam S, Sadoughi F, Velayati F, Ehsanzadeh SJ, Poursharif S. The effects of clinical decision support system for prescribing medication on patient outcomes and physician practice performance: a systematic review and meta-analysis. BMC Med Inform Decis Mak. 2021; 21(1): 98. doi: 10.1186/s12911-020-01376-8.Васильев Ю.А., Лантух З.А., Шатёнок М.П., Солдатов И.В. и др. Методика выбора системы поддержки принятия врачебных решений в лучевой диагностике для обеспечения радиационной безопасности: методические рекомендации // М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2023. — 20 с.Vasiliev YA, Lantux ZA, Shatyonok MP, Soldatov IV, et al. Metodika vy`bora sistemy` podderzhki prinyatiya vrachebny`x reshenij v luchevoj diagnostike dlya obespecheniya radiacionnoj bezopasnosti: metodicheskie rekomendacii. M.: Moscow Center for Diagnostics and Telemedicine; 2023. (In Russ.)Edward HS, Bruce GB. A Model of Inexact Reasoning in Medicine. Mathematical Biosciences. 1975; 23: 351-379. doi: 10.1016/0025-5564(75)90047-4.Edward HS, Bruce GB. A Model of Inexact Reasoning in Medicine. Mathematical Biosciences. 1975; 23: 351-379. doi: 10.1016/0025-5564(75)90047-4.Пугачев П.С., Гусев А.В., Кобякова О.С., Кадыров Ф.Н. и др. Мировые тренды цифровой трансформации отрасли здравоохранения // Национальное здравоохранение. — 2021. — Т.2. — №2. — С.5-12.Pugachev PS, Gusev AV, Kobyakova OS, Kady`rov FN, et al. Mirovy`e trendy` cifrovoj transformacii otrasli zdravooxraneniya. Nacional`noe zdravooxranenie. 2021; 2(2): 5-12. (In Russ.)] 10. Регистрационное удостоверение на медицинское изделие от 24.05.2022 №РЗН 2022/17272. https://goszdravnadzor.ru/ru-roszdravnadzora-№-rzn-2022-17272-ot-24-maya-2022-go/Blinov P, Avetisian M, Kokh V, Umerenkov D, Tuzhilin A. Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-Based Neural Networks. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2020: 111-121. doi: 10.1007/978-3-030-59137-3_11.Blinov P, Avetisian M, Kokh V, Umerenkov D, Tuzhilin A. Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-Based Neural Networks. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2020: 111-121. doi: 10.1007/978-3-030-59137-3_11.Martinez-Franco AI, Sanchez-Mendiola M, Mazon-Ramirez JJ, et al. Diagnostic accuracy in Family Medicine residents using a clinical decision support system (DXplain): a randomized-controlled trial. Diagnosis (Berl). 2018; 5(2): 71-76. doi: 10.1515/dx-2017-0045.Martinez-Franco AI, Sanchez-Mendiola M, Mazon-Ramirez JJ, et al. Diagnostic accuracy in Family Medicine residents using a clinical decision support system (DXplain): a randomized-controlled trial. Diagnosis (Berl). 2018; 5(2): 71-76. doi: 10.1515/dx-2017-0045.Benditz A, Pulido LC, Grifka J, Ripke F, Jansen P. A clinical decision support system in back pain helps to find the diagnosis: a prospective correlation study. Arch Orthop Trauma Surg. 2023; 143(2): 621-625. doi: 10.1007/s00402-021-04080-y.Benditz A, Pulido LC, Grifka J, Ripke F, Jansen P. A clinical decision support system in back pain helps to find the diagnosis: a prospective correlation study. Arch Orthop Trauma Surg. 2023; 143(2): 621-625. doi: 10.1007/s00402-021-04080-y.

The authors declare that there are no conflicts of interest present.