Оценка результативности системы поддержки принятия врачебных решений для постановки предварительного диагноза в условиях консультативно-диагностических поликлиник города Москвы

Внедрение системы поддержки принятия врачебных решений (СППВР) в клиническую практику требует тщательного контроля для обеспечения безопасности пациентов и оценки эффективности применения технологий искусственного интеллекта.
Целью данной работы является оценка результативности СППВР «ТОП-3» в условиях консультативно-диагностических поликлиник Департамента здравоохранения города Москвы.
Материалы и методы: Мониторинг работы СППВР «ТОП-3» проводился Департаментом здравоохранения города Москвы с 01.10.2020 по 21.03.2024 (n = 63 809 360 чел.). Рассчитывалась метрика Hit-3, на основе которой принималось решение о необходимости повторного обучения представленной СППВР. Дополнительно было проведено исследование с участием врачей-экспертов: ретроспективный анализ данных на выборке из 3000 пациентов с расчетом согласованности диагнозов от СППВР, врача и эксперта.
Результаты: По результатам мониторинга среднее значение Hit-3 составляло 63,5, 64,5 и 67,7 для первой, второй и третьей версии СППВР соответственно. Экспертиза показала, что в выборке несоответствия диагноза от врача и СППВР (n = 2000) в 80,2% случаев эксперт на основе жалоб соглашался с СППВР, в 11,5% случаях - с врачом, а в 8,3% случаев ставил иной диагноз. В выборке соответствия диагноза врача с одним из диагнозов СППВР (n = 1000) в 50,4% случаев эксперт соглашался с диагнозом от врача и СППВР, в 37,9% случаев – с одним из двух других альтернативных диагнозов СППВР, в 11,7% случаев ставил иной диагноз.
Заключение: Описанная методика мониторинга, дополненная проведением экспертизы, позволила всесторонне оценить внедряемую в систему здравоохранения СППВР. По итогу оценки результативности «ТОП-3» было принято решение о необходимости расширения анализируемого перечня данных электронных медицинских карт, что будет внедрено в следующей версии СППВР «ТОП-3+».

1. Указ Президента Российской Федерации от 10.10.2019 г. №490 «О развитии искусственного интеллекта в Российской Федерации». http://www.kremlin.ru/acts/bank/44731.

2. Васильев Ю.А., Владзимирский А.В., Арзамасов К.М. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. — М.: Издательские решения, 2023. 376 с.

3. Васильев Ю.А., Тыров И.А., Владзимирский А.В., Арзамасов К.М. и др. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований // Digital Diagnostics. — 2023. — Т.4. — №2. — С.93-104.

4. Комков А.А., Рязанова С.В., Мазаев В.П. Эффективные системы поддержки принятия решений в клинической практике и профилактике: обзор литературы // CardioСоматика. — 2023. — Т.14. — №3. — С.177-185.

5. Гусев А.В., Токарев С.А., Гаврилов Д.В., Кузнецова Т.Ю. Применение автоматизированной системы поддержки принятия врачебных решений при диспансеризации взрослого населения для контроля правильности оценки уровня сердечно-сосудистого риска // Менеджмент качества в медицине. — 2022. — №1. — С.72-79.

6. Taheri Moghadam S, Sadoughi F, Velayati F, Ehsanzadeh SJ, Poursharif S. The effects of clinical decision support system for prescribing medication on patient outcomes and physician practice performance: a systematic review and meta-analysis. BMC Med Inform Decis Mak. 2021; 21(1): 98. doi: 10.1186/s12911-020-01376-8.

7. Васильев Ю.А., Лантух З.А., Шатёнок М.П., Солдатов И.В. и др. Методика выбора системы поддержки принятия врачебных решений в лучевой диагностике для обеспечения радиационной безопасности: методические рекомендации // М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2023. — 20 с.

8. Edward HS, Bruce GB. A Model of Inexact Reasoning in Medicine. Mathematical Biosciences. 1975; 23: 351-379. doi: 10.1016/0025-5564(75)90047-4.

9. Пугачев П.С., Гусев А.В., Кобякова О.С., Кадыров Ф.Н. и др. Мировые тренды цифровой трансформации отрасли здравоохранения // Национальное здравоохранение. — 2021. — Т.2. — №2. — С.5-12.

10. Blinov P, Avetisian M, Kokh V, Umerenkov D, Tuzhilin A. Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-Based Neural Networks. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2020: 111-121. doi: 10.1007/978-3-030-59137-3_11.

11. Martinez-Franco AI, Sanchez-Mendiola M, Mazon-Ramirez JJ, et al. Diagnostic accuracy in Family Medicine residents using a clinical decision support system (DXplain): a randomized-controlled trial. Diagnosis (Berl). 2018; 5(2): 71-76. doi: 10.1515/dx-2017-0045.

12. Benditz A, Pulido LC, Grifka J, Ripke F, Jansen P. A clinical decision support system in back pain helps to find the diagnosis: a prospective correlation study. Arch Orthop Trauma Surg. 2023; 143(2): 621-625. doi: 10.1007/s00402-021-04080-y.