<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">vitj</journal-id><journal-title-group><journal-title xml:lang="ru">Врач и информационные технологии</journal-title><trans-title-group xml:lang="en"><trans-title>Medical Doctor and Information Technologies</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1811-0193</issn><issn pub-type="epub">2413-5208</issn><publisher><publisher-name>Pirogov National Medical and Surgical Center</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.25881/18110193_2025_1_58</article-id><article-id custom-type="elpub" pub-id-type="custom">vitj-96</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>ORIGINAL RESEARCH</subject></subj-group></article-categories><title-group><article-title>Представление метрик диагностической точности в зависимости от классификации программного обеспечения на основе искусственного интеллекта в области лучевой диагностики</article-title><trans-title-group xml:lang="en"><trans-title>Presentation of diagnostic accuracy metrics based on classification of artificial intelligence software in radiology</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Васильев</surname><given-names>Ю. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Vasilev</surname><given-names>Yu. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>к.м.н.</p><p>Москва</p></bio><bio xml:lang="en"><p>PhD</p><p>Moscow</p></bio><email xlink:type="simple">npcmr@zdrav.mos.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Памова</surname><given-names>А. П.</given-names></name><name name-style="western" xml:lang="en"><surname>Pamova</surname><given-names>A. P.</given-names></name></name-alternatives><bio xml:lang="ru"><p>к.м.н.</p><p>Москва</p></bio><bio xml:lang="en"><p>PhD</p><p>Moscow</p></bio><email xlink:type="simple">PamovaAP@zdrav.mos.ru</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Арзамасов</surname><given-names>К. М.</given-names></name><name name-style="western" xml:lang="en"><surname>Arzamasov</surname><given-names>K. M.</given-names></name></name-alternatives><bio xml:lang="ru"><p>к.м.н.</p><p>Москва</p></bio><bio xml:lang="en"><p>PhD</p><p>Moscow</p></bio><email xlink:type="simple">ArzamasovKM@zdrav.mos.ru</email><xref ref-type="aff" rid="aff-3"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Владзимирский</surname><given-names>А. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Vladzymyrskyy</surname><given-names>A. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>д.м.н.</p><p>Москва</p></bio><bio xml:lang="en"><p>DSc</p><p>Moscow</p></bio><email xlink:type="simple">VladzimirskijAV@zdrav.mos.ru</email><xref ref-type="aff" rid="aff-4"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Заюнчковский</surname><given-names>С. Ю.</given-names></name><name name-style="western" xml:lang="en"><surname>Zayunchkovskiy</surname><given-names>S. Yu.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Москва</p></bio><email xlink:type="simple">ZayunchkovskijSY@zdrav.mos.ru</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Зинченко</surname><given-names>В. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Zinchenko</surname><given-names>V. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Москва</p></bio><email xlink:type="simple">ZinchenkoVV1@zdrav.mos.ru</email><xref ref-type="aff" rid="aff-2"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru">ГБУЗ «НПКЦ ДиТ ДЗМ»; ФГБУ «НМХЦ им. Н.И. Пирогова» Минздрава России<country>Россия</country></aff><aff xml:lang="en">Moscow Center for Diagnostics &amp; Telemedicine; Pirogov National Medical and Surgical Center<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru">ГБУЗ «НПКЦ ДиТ ДЗМ»<country>Россия</country></aff><aff xml:lang="en">Moscow Center for Diagnostics &amp; Telemedicine<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-3"><aff xml:lang="ru">ГБУЗ «НПКЦ ДиТ ДЗМ»; МИРЭА<country>Россия</country></aff><aff xml:lang="en">Moscow Center for Diagnostics &amp; Telemedicine; MIREA – Russian Technological University<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-4"><aff xml:lang="ru">ГБУЗ «НПКЦ ДиТ ДЗМ»; ПМГМУ им. И.М. Сеченова<country>Россия</country></aff><aff xml:lang="en">Moscow Center for Diagnostics &amp; Telemedicine; I.M. Sechenov First Moscow State Medical University of the Ministry of Health of the Russian Federation (Sechenov University)<country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2025</year></pub-date><pub-date pub-type="epub"><day>24</day><month>03</month><year>2025</year></pub-date><volume>0</volume><issue>1</issue><fpage>58</fpage><lpage>69</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Васильев Ю.А., Памова А.П., Арзамасов К.М., Владзимирский А.В., Заюнчковский С.Ю., Зинченко В.В., 2025</copyright-statement><copyright-year>2025</copyright-year><copyright-holder xml:lang="ru">Васильев Ю.А., Памова А.П., Арзамасов К.М., Владзимирский А.В., Заюнчковский С.Ю., Зинченко В.В.</copyright-holder><copyright-holder xml:lang="en">Vasilev Y.A., Pamova A.P., Arzamasov K.M., Vladzymyrskyy A.V., Zayunchkovskiy S.Y., Zinchenko V.V.</copyright-holder><license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.vit-j.ru/jour/article/view/96">https://www.vit-j.ru/jour/article/view/96</self-uri><abstract><sec><title>Цель</title><p>Цель: настоящее исследование направлено на разработку клинической классификации программного обеспечения (ПО) на основе искусственного интеллекта (ИИ) в области лучевой диагностики.</p></sec><sec><title>Материалы и методы</title><p>Материалы и методы: для проведения исследования был проведён всесторонний анализ доступной информации о ПО на основе ИИ в сфере лучевой диагностики с использованием отечественных и зарубежных баз данных. В процессе анализа были выявлены ключевые аспекты, включая клиническую применимость ПО на основе ИИ, диагностическую точность медицинских изделий с использованием ИИ в лучевой диагностике.</p></sec><sec><title>Результаты</title><p>Результаты: была разработана клиническая классификация ПО на основе ИИ в области лучевой диагностики. Кроме того, было выявлено важное замечание относительно представления метрик диагностической точности ПО на основе ИИ. В результате этого предложенная классификация была расширена и дополнена определением уровня представления метрик диагностической точности в зависимости от клинической классификации.</p></sec><sec><title>Заключение</title><p>Заключение: на основе проведенного исследования разработана клиническая классификация ПО на основе ИИ, что обеспечивает единый подход к представлению данных о диагностической точности со стороны разработчиков. Данный подход позволяет повысить прозрачность и сравнимость информации о различных ПО на основе ИИ в медицинской практике, что способствует повышению эффективности и безопасности использования ПО на основе ИИ в медицинской практике. Результаты настоящего исследования имеют потенциал для масштабирования на другие области применения ИИ и могут быть использованы для совершенствования системы регулирования качества медицинских изделий с применением ИИ.</p></sec></abstract><trans-abstract xml:lang="en"><p>The implementation of artificial intelligence in healthcare is a key direction for technology development in Russia, aimed at improving the quality of medical services and increasing diagnostic accuracy. However, the lack of standards for presenting metrics of diagnostic accuracy of artificial intelligence-based software (AI-based software) complicates comparative analysis and selection of the most suitable software for medical organizations. Therefore, developing a detailed classification of AI-based software is an important task for ensuring safety and quality of medical care, as well as determining the interchangeability of AI-based medical devices.</p><sec><title>Purpose</title><p>Purpose: This study aims to develop a clinical classification of AI-based software in radiology.</p></sec><sec><title>Materials and Methods</title><p>Materials and Methods: To conduct the study, a comprehensive analysis of available information on AI-based software in radiology was conducted using domestic and foreign databases. In the process of analysis, key aspects were identified, including clinical applicability of AI-based software, diagnostic accuracy of medical devices using AI in radiology.</p></sec><sec><title>Results</title><p>Results: a clinical classification of AI-based software in the field of radiology was developed. In addition, an important observation regarding the representation of diagnostic accuracy metrics of AI-based software was identified. As a result, the proposed classification was extended and supplemented by defining the level of representation of diagnostic accuracy metrics depending on the clinical classification.</p></sec><sec><title>Conclusion</title><p>Conclusion: based on the conducted research, a clinical classification of AI-based software has been developed, which provides a unified approach to the presentation of data on diagnostic accuracy by developers. This approach improves the transparency and comparability of information about different AI-based software in medical practice, thereby improving the efficiency and safety of AI-based software use in medical practice. The results of this study have the potential to be scaled to other AI applications and can be used to improve the quality regulation system for AI-enabled medical devices.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>информационные технологии</kwd><kwd>искусственный интеллект</kwd><kwd>классификация</kwd><kwd>лучевая-диагностика</kwd><kwd>технические характеристики</kwd><kwd>диагностическая точность</kwd></kwd-group><kwd-group xml:lang="en"><kwd>information technology</kwd><kwd>artificial intelligence</kwd><kwd>classification</kwd><kwd>radiology</kwd><kwd>technical specifications</kwd><kwd>diagnostic accuracy</kwd></kwd-group><funding-group xml:lang="ru"><funding-statement>Данная статья подготовлена авторским коллективом в рамках НИР «Нучно-методические основы цифровой трансформации службы лучевой диагностики», (№ ЕГИСУ: № 123031400118-0) в соответствии с Приказом от 22.12.2023 г. № 1258 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2024 год и плановый период 2025 и 2026 годов» Департамента здравоохранения города Москвы.</funding-statement></funding-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Базовые рекомендации к работе сервисов искусственного интеллекта для лучевой диагностики: методические рекомендации / сост. С. П. Морозов, Л. Р. Абуладзе, А. Е. Андрейченко и др. // Серия «Лучшие практики лучевой и инструментальной диагностики». – Вып. 119. – М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2022. – 68 с.</mixed-citation><mixed-citation xml:lang="en">Bazovye rekomendacii k rabote servisov iskusstvennogo intellekta dlja luchevoj diagnostiki: metodicheskie rekomendacii. S. P. Morozov, L. R. Abuladze, A. E. Andrejchenko, et al. Serija «Luchshie praktiki luchevoj i instrumental'noj diagnostiki». M.: GBUZ «NPKC DiT DZM», 2022; 119: 68. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Морозов С.П., Зинченко В.В., Хоружая А.Н. и др. Стандартизация искусственного интеллекта в здравоохранении: Россия выходит в лидеры // Врач и информационные технологии. – 2021. – №2. – С.12-19.</mixed-citation><mixed-citation xml:lang="en">Morozov SP, Zinchenko VV, Khoruzhaya AN, et al. Standardization of artificial intelligence in healthcare: Russia becomes the leader. Medical doctor and information technology. 2021; 2: 12-19. (In Russ.) doi: 1025881/18110193_2021_2_12.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Васильев Ю.А., Владзимирский А.В., Омелянская О.В. и др. Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики // Digital Diagnostics. – 2023. – Т.4. – №3. – С.252-267.</mixed-citation><mixed-citation xml:lang="en">Vasilev YuA, Vladzymyrskyy AV, Omelyanskaya OV, et al. Methodology for testing and monitoring artificial intelligence-based software for medical diagnostics. Digital Diagnostics. 2023; 4(3): 252-267. (In Russ.) doi: 10.17816/DD321971.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Кукшев В.И. Классификация систем искусственного интеллекта // Экономические стратегии. – 2020. – Т.6. – С.58-67.</mixed-citation><mixed-citation xml:lang="en">Kukshev VI. Classification of artificial intelligence systems. Digital Society. 2020; 6: 58-67. (In Russ.) doi: 10.33917/es-6.172.2020.58-67.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Jungmann F, Müller L, Hahn F, et al. Commercial AI solutions in detecting COVID-19 pneumonia in chest CT: not yet ready for clinical implementation? European Radiology. Springer Berlin Heidelberg, 2022; 32(5): 3152-3160. doi: 10.1007/s00330-021-08409-4.</mixed-citation><mixed-citation xml:lang="en">Jungmann F, Müller L, Hahn F, et al. Commercial AI solutions in detecting COVID-19 pneumonia in chest CT: not yet ready for clinical implementation? European Radiology. Springer Berlin Heidelberg, 2022; 32(5): 3152-3160. doi: 10.1007/s00330-021-08409-4.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">High-rad.com Internet. iCAS. Available at: https://www.high-rad.com. Accessed 21.05.2024.</mixed-citation><mixed-citation xml:lang="en">High-rad.com Internet. iCAS. Available at: https://www.high-rad.com. Accessed 21.05.2024.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Corelinesoft.com Internet. AVIEW CAC. Available at: https://www.corelinesoft.com. Accessed 21.05.2024.</mixed-citation><mixed-citation xml:lang="en">Corelinesoft.com Internet. AVIEW CAC. Available at: https://www.corelinesoft.com. Accessed 21.05.2024.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Ai-rad-companion Internet. AI-Rad Companion (Pulmonary) Available at: https://www.siemens-healthineers.com/en-iq/digital-health-solutions/ai-rad-companion. Accessed 21.05.2024.</mixed-citation><mixed-citation xml:lang="en">Ai-rad-companion Internet. AI-Rad Companion (Pulmonary) Available at: https://www.siemens-healthineers.com/en-iq/digital-health-solutions/ai-rad-companion. Accessed 21.05.2024.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Florkow MC, Nguyen ChH, Sakkers RJB, et al. Magnetic resonance imaging-based bone imaging of the lower limb: Strategies for generating high-resolution synthetic computed tomography. Journal of Orthopaedic Research. 2024; 42(4): 843-854. doi: 10.1002/jor.25707.</mixed-citation><mixed-citation xml:lang="en">Florkow MC, Nguyen ChH, Sakkers RJB, et al. Magnetic resonance imaging-based bone imaging of the lower limb: Strategies for generating high-resolution synthetic computed tomography. Journal of Orthopaedic Research. 2024; 42(4): 843-854. doi: 10.1002/jor.25707.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">ПроРодинки интернет. Доступно по: https://prorodinki.ru. Ссылка активна на 21.05.2024.</mixed-citation><mixed-citation xml:lang="en">Prorodinki.ru. Available at: https://prorodinki.ru. Accessed 21.05.2024. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Webiomed.ru интернет. Доступно по: https://webiomed.ru/products/webiomed-dhra/. Ссылка активна на 21.05.2024.</mixed-citation><mixed-citation xml:lang="en">Webiomed Available at: https://webiomed.ru/products/webiomed-dhra/. Accessed 21.05.2024. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Дрокин И.С., Еричева Е.В., Бухвалов О.Л. и др. Опыт разработки и внедрения системы поиска онкологических образований с помощью искусственного интеллекта на примере рентгеновской компьютерной томографии лёгких // Врач и информационные технологии. – 2019. – №3. – C.48-57.</mixed-citation><mixed-citation xml:lang="en">Drokin IS, Ericheva EV, Bukhvalov OL, et al. Experience in developing and implementing an oncological formations searching system using artificial intelligence with the example of X ray computed tomography of the lungs. Medical doctor and information technology. 2019; 3: 48-57. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Sciberia Lungs Electronic resource. Available at: https://sciberia.ru/?product=lungs. Accessed 23.05.2024.</mixed-citation><mixed-citation xml:lang="en">Sciberia Lungs Electronic resource. Available at: https://sciberia.ru/?product=lungs. Accessed 23.05.2024.</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Программный модуль для анализа маммограмм ТУ 58.29.31-003-21494354-2021. М.: Платформа третье мнение, 2021. – С.40.</mixed-citation><mixed-citation xml:lang="en">Programmnyj modul' dlja analiza mammogramm TU 58.29.31-003-21494354-2021. M.: Platforma tret'e mnenie. 2021: 1-40. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Матвиенко А.В. О требованиях к внедрению искусственного интеллекта в здравоохранение. ПО Цельс интернет. Доступно по: https://portal.egisz.rosminzdrav.ru/files/26.05.2023_Каспий_Матвиенко.pdf. Ссылка активна на 21.05.2024.</mixed-citation><mixed-citation xml:lang="en">Matvienko A.V. O trebovaniyah k vnedreniyu iskusstvennogo intellekta v zdravoohranenie. PO Cel's. Available at: https://portal.egisz.rosminzdrav.ru/files/26.05.2023_Каспий_Матвиенко. Accessed 21.05.2024. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Классен В. Фтизисбиомед. Медицинский сервис фтизисбиомед для автоматизированного анализа рентгенограмм органов грудной клетки/флюорограмм (искусственный медицинский интеллект) интернет. 2021. Доступно по ссылке: https://files.sk.ru/navigator/company_files/1121134/1640275876_FBMTTM-RU.pdf. Ссылка активна на 24.05.2024.</mixed-citation><mixed-citation xml:lang="en">Klassen V. Ftizisbiomed. Medicinskij servis ftizisbiomed dlya avtomatizirovannogo analiza rentgenogramm organov grudnoj kletki/flyuorogramm (iskusstvennyj medicinskij intellekt). Available at: https://files.sk.ru/navigator/company_files/1121134/1640275876_FBMTTM-RU.pdf. Accessed 24.05.2024. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Dice LR. Measures of the Amount of Ecologic Association Between Species. Ecology. 1945; 26(3): 297-302.</mixed-citation><mixed-citation xml:lang="en">Dice LR. Measures of the Amount of Ecologic Association Between Species. Ecology. 1945; 26(3): 297-302.</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Erickson BJ, Kitamura F. Magician’s Corner: 9. Performance Metrics for Machine Learning Models. Radiology: Artificial Intelligence. 2021; 3(3): e200126. doi: 10.1148/ryai.2021200126.</mixed-citation><mixed-citation xml:lang="en">Erickson BJ, Kitamura F. Magician’s Corner: 9. Performance Metrics for Machine Learning Models. Radiology: Artificial Intelligence. 2021; 3(3): e200126. doi: 10.1148/ryai.2021200126.</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">de Maissin A, Vallée R, Flamant M, et al. Multi-expert annotation of Crohn’s disease images of the small bowel for automatic detection using a convolutional recurrent attention neural network. Endoscopy International Open. 2021; 9(7): e1136-e1144. doi: 10.1055/a-1468-3964.</mixed-citation><mixed-citation xml:lang="en">de Maissin A, Vallée R, Flamant M, et al. Multi-expert annotation of Crohn’s disease images of the small bowel for automatic detection using a convolutional recurrent attention neural network. Endoscopy International Open. 2021; 9(7): e1136-e1144. doi: 10.1055/a-1468-3964.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
