vitjВрач и информационные технологииMedical Doctor and Information Technologies1811-01932413-5208Pirogov National Medical and Surgical Center10.25881/18110193_2023_4_14.vitj-122Research ArticleОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯORIGINAL RESEARCHПодходы к формированию наборов данных в лучевой диагностикеApproaches to building radiology datasetsБобровскаяТ. М.BobrovskayaT. M.

 г. Москва

Moscow

bobrovskayaTM@zdrav.mos.ruВасильевЮ. А.VasilevYu. A.

 к.м.н.

PhD

Moscow

VasilevYA1@zdrav.mos.ruНикитинН. Ю.NikitinN. Yu.

 к.ф-м.н

г. Москва

 PhD

Moscow

nikitinNY@zdrav.mos.ruАрзамасовК. М.ArzamasovК. M.

к.м.н.

г. Москва

 PhD

Moscow

arzamasovKM@zdrav.mos.ruГБУЗ «НПКЦ ДиТ ДЗМ»РоссияMoscow Center for Diagnostics and TelemedicineRussian FederationГБУЗ «НПКЦ ДиТ ДЗМ», ФГБУ «НМХЦ им. Н. И. Пирогова» Минздрава РоссииРоссияMoscow Center for Diagnostics and Telemedicine; Pirogov National Medical and Surgical CenterRussian FederationГБУЗ «НПКЦ ДиТ ДЗМ», РТУ МИРЭАРоссияMoscow Center for Diagnostics and Telemedicine; MIREA — Russian Technological UniversityRussian Federation202330032025041423Copyright © Бобровская Т.М., Васильев Ю.А., Никитин Н.Ю., Арзамасов К.М., 20252025Бобровская Т.М., Васильев Ю.А., Никитин Н.Ю., Арзамасов К.М.Bobrovskaya T.M., Vasilev Y.A., Nikitin N.Y., Arzamasov К.M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vit-j.ru/jour/article/view/122

Использование машинного обучения, одной из технологий искусственного интеллекта, в здравоохранении продемонстрировало огромный потенциал для улучшения диагностики и лечения различных заболеваний. Однако успех программного обеспечения на основе технологий искусственного интеллекта в значительной степени зависит от наличия высококачественных наборов медицинских данных, а также инфраструктуры, обеспечивающей процессы управления ими. Создание релевантных, репрезентативных и корректно размеченных наборов данных — сложная и дорогостоящая задача, требующая привлечения большого количества специалистов различного профиля и разработки алгоритма действий при подготовке наборов данных для лучевой диагностики.

 В настоящей статье представлена методика подготовки наборов данных лучевой диагностики, которая позволяет установить принципы и протоколы для обеспечения стандартизированной подготовки наборов, создать удобную инфраструктуру организации и управления данными и является основой для разработки инструментов автоматизации процесса создания качественных наборов данных. На основании практического опыта внедрения в лучевую диагностику представленной в статье методики дается указание на основные ошибки, возникающие при подготовке наборов данных лучевой диагностики, и предлагаются пути их решения.

The application of machine learning in healthcare, as one of the more general artificial intelligence technology, has shown enormous potential for improving diagnostic and treatment outcomes for various conditions. However, success of AI-based software largely depends on the availability of high-quality medical datasets and the infrastructure built to streamline its management. Creating relevant, representative and accurately labeled datasets is a complex and expensive task that requires diverse expertise and a robust roadmap for dataset building in radiology.

 This paper presents a dataset creation methodology in radiology that establishes principles and protocols to ensure a standardized approach to dataset building, secures a convenient infrastructure for data management, and provides a framework to automate the creation of high-quality datasets.

 With our experience in implementing the methodology presented in this paper for routine diagnostic imaging, we demonstrate typical errors that arise when preparing radiology datasets and offer ways to avoid them.

наборы данныхискусственный интеллектлучевая диагностикадатасетыartificial intelligencediagnostic imagingradiologydatasetsДанная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы подготовки наборов данных лучевых диагностических исследований» (№ ЕГИСУ: 123031500003-8) в соответствии с Приказом от 21.12.2022 г. № 1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы.ReferencesУказ Президента Российской Федерации от 10.10.2019 №490 «О развитии искусственного интеллекта в Российской Федерации» // Электронный фонд правовых и нормативно-техничес ких документов. Доступно по: https://docs.cntd.ru/document/563441794. Ссылка действительна на 28.08.2023.Ukaz Prezidenta Rossijskoj Federacii ot 10.10.2019 №490 «O razvitii iskusstvennogo intellekta v Rossijskoj Federacii» // Elektronnyj fond pravovyh i normativno-tekhnicheskih dokumentov. Available at: https://docs.cntd.ru/document/563441794. Accessed 28.08.2023. (In Russ.)Гусев А.В., Владзимирский А.В., Шарова Д.Е., и др. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года // Digital Diagnostics. — 2022. — Т.3. — №3. — C.178-194. doi: 10.17816/DD107367Gusev AV, Vladzymyrskyy AV, Sharova DE, et al. Evolution of research and development in the field of artificial intelligence technologies for healthcare in the Russian Federation: results of 2021 // Digital Diagnostics. 2022; 3(3): 178-194. (In Russ.)] doi: 10.17816/DD107367.Арзамасов К.М., Васильев Ю.А., Владзимирский А.В. и др. Применение компьютерного зрения для профилактических исследований на примере маммографии // Профилактическая медицина. — 2023. — Т.26. — №6. — С.117-123. doi: 10.17116/profmed202326061117Arzamasov KM, Vasilev YuA, Vladzymyrskyy AV, et al. The use of computer vision for the mammography preventive research. Profilakticheskaja-medicina. 2023; 26(6): 117-123. (In Russ.)] doi: 10.17116/profmed202326061117.Павлов Н.А., Андрейченко А.Е., Владзимирский А.В. и др. Эталонные медицинские датасеты (MosMedData) для независимой внешней оценки алгоритмов на основе искусственного интеллекта в диагностике // Digital Diagnostics. — 2021. — Т.2. — №1. — С.49-66. doi: 10.17816/DD60635.Pavlov NA, et al. Reference medical datasets (MosMedData) for independent external evaluation of algorithms based on artificial intelligence in diagnostics. Digital Diagnostics. 2021; 2(1): 49-66. (In Russ.)] doi: 10.17816/DD60635.ГОСТ Р 52653-2006. Информационно-коммуникационные технологии в образовании. Термины и определения // Электронный фонд правовых и нормативно-технических документов. Доступ но по: https://docs.cntd.ru/document/1200053103. Ссылка действительна на 28.08.2023.GOST R 52653-2006. Informacionno-kommunikacionnye tekhnologii v obrazovanii. Terminy i opredeleniya // Elektronnyj fond pravovyh i normativno-tekhnicheskih dokumentov. Available at: https://docs.cntd.ru/document/1200053103. Accessed 28.08.2023. (In Russ.)]Willemink MJ, Koszek WA, Hardell C, et al. Preparing Medical Imaging Data for Machine Learning. Radiology. 2020; 295(1): 4-15. doi:10.1148/radiol.2020192224.Willemink MJ, Koszek WA, Hardell C, et al. Preparing Medical Imaging Data for Machine Learning. Radiology. 2020; 295(1): 4-15. doi:10.1148/radiol.2020192224.Aggarwal R, Sounderajah V, Martin G, et al. Diagnostic accuracy of deep learning in medical imaging: a systematic review and meta-analysis. NPJ Digit Med. 2021; 4(1): 65. doi:10.1038/s41746-021-00438-z.Aggarwal R, Sounderajah V, Martin G, et al. Diagnostic accuracy of deep learning in medical imaging: a systematic review and meta-analysis. NPJ Digit Med. 2021; 4(1): 65. doi:10.1038/s41746-021-00438-z.Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. — Москва: Издательские решения, 2022. — 388 с.Vladzimirskiy AV. Vasil’ev YUA, et al. Computer vision in radiation diagnostics: the first stage of the Moscow experiment. M.: Izdatel’skie resheniya, 2022; 388 р. (In Russ.)Васильев Ю.А., Бобровская Т.М., Арзамасов К.М. и др. Основополагающие принципы стандартизации и систематизации информации о наборах данных для машинного обучения в медицинской диагностике // Менеджер здравоохранения. — 2023. — №4. — С.28-41. doi: 10.21045/1811-0185-2023-4-28-41Vasiliev YuA, et al. Fundamental principles for standardizing and systematizing information about data sets for machine learning in medical diagnostics. Healthcare Manager. 2023; 4: 28-41. (In Russ.)] doi: 10.21045/1811-0185-2023-4-28-41.Приказ Министерства здравоохранения Российской Федерации от 24.12.2018 №911н «Об утверждении Требований к государственным информационным системам в сфере здравоохранения субъектов Российской Федерации, медицинским информационным системам медицинских организаций и информационным системам фармацевтических организаций». Доступно по: https://normativ.kontur.ru/document?moduleId=1&documentId=338271. Ссылка действительна на 28.08.2023.Prikaz Ministerstva zdravoohraneniya Rossijskoj Federacii ot 24.12.2018 №911n «Ob utverzhdenii Trebovanij k gosudarstvennym informacionnym sistemam v sfere zdravoohraneniya sub»ektov Rossijskoj Federacii, medicinskim informacionnym sistemam medicinskih organizacij i informacionnym sistemam farmacevticheskih organizacij». Available at: https://normativ.kontur.ru/document?moduleId=1&documentId=338271. Accessed 28.08.2023. (In Russ.)Федеральный закон «О персональных данных» от 27.07.2006 №152-ФЗ. Доступно по: https://normativ.kontur.ru/document?moduleId=1&documentId=447363. Ссылка действительна на 28.08.2023.Federal’nyj zakon «O personal’nyh dannyh» ot 27.07.2006 №152-FZ. Available at: https://normativ.kontur.ru/document?moduleId=1&documentId=447363. Accessed 28.08.2023. (In Russ.)Кульберг Н.С., Гусев М.А., Решетников Р.В. и др. Методология и инструментарий создания обучающих выборок для систем искусственного интеллекта по распознаванию рака легкого на кт-изображениях // Здравоохранение Российской Федерации. — 2020. — Т.64. — №6. — С.343-350. doi: 10.46563/0044-197X-2020-64-6-343-350Kulberg NS, et al. Methodology and tools for creating training samples for artificial intelligence systems for recognizing lung cancer on CT images. Healthcare of the Russian Federation. 2020; 6: 343-350. (In Russ.) doi: 10.46563/0044-197X-2020-64-6-343-350.Борисов А.А., Семенов С.С., Арзамасов К.М. Использование трансферного обучения для автоматизированного поиска дефектов на рентгенограммах органов грудной клетки // Медицинская визуализация. — 2023. — Т.27. — №1. — С.158-169. doi: 10.24835/1607-0763-1243Borisov AA, et al. Using transfer learning for automated detection of defects in chest X-rays. Medical imaging. 2023; 27(1): 158-168. (In Russ.) doi: 10.24835/1607-0763-1243.Амелина Е.В., Летягин А.Ю., Тучинов Б.Н. и др. Особенности создания базы данных нейроон кологических 3D МРТ-изображений для обучения искусственного интеллекта // Сибирский научный медицинский журнал. — 2022. — Т.42. — №6. — С.51-59. doi: 10.18699/SSMJ20220606Amelina EV, et al. Features of creating a database of neuro-oncological 3D MRI images for training artificial intelligence. Siberian Scientific Medical Journal. 2022; 42(6): 51-59. (In Russ.)] doi: 10.18699/SSMJ20220606.Кивелев Ю.В., Сааренпя И., Кривошапкин А.Л. Формирование набора больших данных для клинических исследований на примере аневризм сосудов головного мозга // Сибирский научный медицинский журнал. — 2023. — Т.43. — №3. — С.86-94. doi: 10.18699/SSMJ20230311Kivelev YuV, et al. Formation of a big data set for clinical research using the example of cerebral aneurysms. 2023; 43(3): 86-94. (In Russ.) doi: 10.18699/SSMJ20230311.Nguyen HQ, Lam K, Le LT, et al. VinDr-CXR: An open dataset of chest X-rays with radiologist’s annotations. Sci Data. 2022; 9(1): 429. doi: 10.1038/s41597-022-01498-w.Nguyen HQ, Lam K, Le LT, et al. VinDr-CXR: An open dataset of chest X-rays with radiologist’s annotations. Sci Data. 2022; 9(1): 429. doi: 10.1038/s41597-022-01498-w.

The authors declare that there are no conflicts of interest present.