vitjВрач и информационные технологииMedical Doctor and Information Technologies1811-01932413-5208Pirogov National Medical and Surgical Center10.25881/18110193_2023_4_42vitj-132Research ArticleОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯORIGINAL RESEARCHОсобенности формирования наборов данных для сервисов с искусственным интеллектом в нейровизуализации на примере создания набора данных с КТ-изображениями головного мозга с признаками кровоизлиянияSpecial aspects of dataset creation for artificial intelligence services in neuroimaging: the case of a dataset creation with ct images of the brain with signs of hemorrhagesКремневаЕ. И.KremnevaE. I.

 к.м.н.

 г. Москва

 PhD

 Moscow

СморчковаА. К.SmorchkovaA. K.

г. Москва

  Moscow

SmorchkovaAK@zdrav.mos.ruХоружаяА. Н.KhoruzhayaA. N.

г. Москва

Moscow

KhoruzhayaAN@zdrav.mos.ruСеменовД. С.SemenovD. S.

 к.т.н.

 г. Москва

PhD

 Moscow

SemenovDS4@zdrav.mos.ruМальцевА. В.MaltsevA. V.

 к.т.н.

г. Москва

 PhD

 Moscow

maltsevanton@ya.ruШароваД. Е.SharovaD. E.

г. Москва

Moscow

SharovaDE@zdrav.mos.ruЗинченкоВ. В.ZinchenkoV. V.

 г. Москва

 Moscow

ZinchenkoVV1@zdrav.mos.ruВладзимирскийА. В.VladzymyrskyyA. V.

 д.м.н.

 г. Москва

 DSc

Moscow

VladzimirskijAV@zdrav.mos.ruГБУЗ «Научно-практический клинический центр диагностики и телемедицины Департамента здравоохранения Москвы»Россия«Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies Department of Health of the City of Moscow»Russian FederationГБУЗ «Научно-практический клинический центр диагностики и телемедицины Департамента здравоохранения Москвы»Россия«Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies Department of Health of the City of Moscow»Russian FederationГБУЗ «Научно-практический клинический центр диагностики и телемедицины Департамента здравоохранения Москвы»Россия«Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies Department of Health of the City of Moscow"Russian Federation202331032025044253Copyright © Кремнева Е.И., Сморчкова А.К., Хоружая А.Н., Семенов Д.С., Мальцев А.В., Шарова Д.Е., Зинченко В.В., Владзимирский А.В., 20252025Кремнева Е.И., Сморчкова А.К., Хоружая А.Н., Семенов Д.С., Мальцев А.В., Шарова Д.Е., Зинченко В.В., Владзимирский А.В.Kremneva E.I., Smorchkova A.K., Khoruzhaya A.N., Semenov D.S., Maltsev A.V., Sharova D.E., Zinchenko V.V., Vladzymyrskyy A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vit-j.ru/jour/article/view/132Цель исследования

Цель исследования. Демонстрация особенностей создания наборов данных для нейровизуализации на примере подготовки набора данных с компьютерно-томографическими изображениями головного мозга с наличием и отсутствием признаков внутричерепного кровоизлияния.

 Методы

 Методы. В основе формирования набора данных использована методология, разработанная Научно-практическим клиническим центром диагностики и телемедицины (регламент подготовки набора данных), которая осуществляется в 4 этапа: планирования (подбор необходимых ключевых слов для первичного отбора исследований, определение критериев включения и исключения, источника медицинской информации), отбора (первичная выгрузка текстовой информации – краткого анамнеза и протоколов описания из Единого радиологического информационного сервиса города Москва за 2020 год, анонимизация полученных данных, анализ по наличию ключевых слов), разметки и верификации (заполнение сопроводительной таблицы с клиническими и техническими данными, отбор исследований двумя врачами-рентгенологами и экспертная верификация врачом-нейрорадиологом) и публикации (публикация набора данных онлайн, государственная регистрация).

 Результаты

 Результаты. В процессе создания набора данных отмечены и сформулированы особенности, применимые для нейрорадиологии, которые должны учитываться в задачах обучения, тестирования и дообучения сервисов искусственного интеллекта для диагностики заболеваний головного мозга: использование специфических терминов, использование изображений с наименьшим количеством шума и наибольшей контрастностью, а также использование соотношений подтипов целевой патологии, характерное для её состава в популяции. Подготовлен набор данных с компьютерно-томографическими изображениями, содержащими признаки внутричерепного кровоизлияния. В итоговую версию набора данных включены анонимизированные исследования 209 пациентов (109 – с наличием патологии, 100 – с ее отсутствием): DICOM-изображения, сопроводительная текстовая таблица с клинико-анамнестическими (пол, возраст, тип(ы) и количество кровоизлияний, наличие/отсутствие сопутствующей патологии) и техническими параметрами (толщина среза и реконструкции).

 Заключение

 Заключение. Продемонстрирована специфика подготовки наборов данных для обучения и тестирования нейрорадиологических сервисов искусственного интеллекта.

Aim

Aim. To demonstrate the special aspects of dataset creation for neuroimaging using the example of preparing a dataset with computed tomographic images of the brain with and without signs of intracranial hemorrhage.

 Methods

 Methods. The creation of the dataset is based on the methodology developed by the Scientific and Practical Clinical Center for Diagnostics and Telemedicine (regulations for preparing the dataset), which is carried out in 4 stages: planning (selection of the necessary keywords for the initial selection of studies, determination of inclusion and exclusion criteria, source of medical information), selection (initial downloading of the text information - a brief patient history and description protocols from the Unified Radiological Information Service of the city of Moscow for 2020, anonymization of the received data, keywords analysis), labeling and verification (filling out the accompanying table with clinical and technical data, study selection by two radiologists and an expert verification by a neuroradiologist) and publication (publication of the dataset online, state registration).

 Results

 Results. In the process of creating a dataset, the special aspects, defined by the neuroradiology background, were noted and formulated, which should be taken into the account when executing the primary training, testing and additional training of artificial intelligence services for diagnosing brain diseases: the use of specific terms, the use of images with the least amount of noise and the highest contrast, as well as the use of ratios of subtypes of the target pathology corresponding to its ratio in the population. A dataset with computed tomography images containing signs of intracranial hemorrhage was prepared. The final version of the dataset included anonymized studies of 209 patients (109 with the pathology, 100 without the pathology): DICOM images, an accompanying text table with clinical features (gender, age, type(s) and number of hemorrhages, presence/absence of concomitant pathology) and technical parameters (slice thickness and reconstruction slice thickness).

 Conclusion

 Conclusion. The special aspects of preparing datasets for training and testing neuroradiological artificial intelligence services were demonstrated.

методологиянаборы данныхискусственный интеллектвнутричерепные кровоизлияниянейровизуализациямethodologydatasetsartificial intelligenceintracranial hemorrhagesneuroimagingИсследование выполнено за счет гранта Российского научного фонда № 22-25-20231, https://rscf.ru/project/22-25-20231/.ReferencesMcCarthy J, Minsky ML, Rochester N, Shannon CE. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955. AI Mag. 2006; 27(4): 12. doi: 10.1609/aimag.v27i4.1904.McCarthy J, Minsky ML, Rochester N, Shannon CE. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955. AI Mag. 2006; 27(4): 12. doi: 10.1609/aimag.v27i4.1904.He J, Baxter SL, Xu J, Xu J, Zhou X, Zhang K. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019; 25(1): 3-–6. doi: 10.1038/s41591-018-0307-0.He J, Baxter SL, Xu J, Xu J, Zhou X, Zhang K. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019; 25(1): 3-–6. doi: 10.1038/s41591-018-0307-0.Hosny A, Parmar C, Quackenbush J, Schwartz LH, Aerts HJWL. Artificial intelligence in radiology. Nat Rev Cancer. 2018; 18(8): 500-10. doi: 10.1038/s41568-018-0016-5.Hosny A, Parmar C, Quackenbush J, Schwartz LH, Aerts HJWL. Artificial intelligence in radiology. Nat Rev Cancer. 2018; 18(8): 500-10. doi: 10.1038/s41568-018-0016-5.Шарова Д.Е., Михайлова А.А., Гусев А.В. и др. Анализ мирового опыта в регулировании использования медицинских данных для целей создания систем искусственного интеллекта на основе машинного обучения // Врач и информационные технологии. — 2022. — №4. — С.28-39. doi: 10.25881/18110193_2022_4_28Sharova DE, Mikhailova AA, Gusev AV, et al. An analysis of global experience in regulations on the use of medical data for artificial intelligence systems development based on machine learning. Vrach Inf Tehnol. 2022; 4: 28-39. (In Russ.)] doi: 10.25881/18110193_2022_4_28.Морозов С.П., Владзимирский А.В., Ледихова Н.В. и др. Московский эксперимент по применению компьютерного зрения в лучевой диагностике: вовлеченность врачей-рентгенологов // Врач и информационные технологии. — 2020. — №4. — С.14-23. doi: 10.37690/1811-0193-2020-4-14-23.Morozov SP, Vladzymyrskyy AV, Ledikhova NV, et al. Moscow experiment on computer vision in radiology: involvement and participation of radiologists. Vrach Inf Tehnol. 2020; 4: 14-23. (In Russ.) doi: 10.37690/1811-0193-2020-4-14-23.Salmela MB, Mortazavi S, Jagadeesan BD, Broderick DF, Burns J, Deshmukh TK, et al. ACR Appropriateness Criteria ® Cerebrovascular Disease. J Am Coll Radiol. 2017; 14(5): S34-61. doi: 10.1016/j.jacr.2017.01.051.Salmela MB, Mortazavi S, Jagadeesan BD, Broderick DF, Burns J, Deshmukh TK, et al. ACR Appropriateness Criteria ® Cerebrovascular Disease. J Am Coll Radiol. 2017; 14(5): S34-61. doi: 10.1016/j.jacr.2017.01.051.Набор данных КТ головного мозга для поиска признаков кровоизлияний — наборы данных в лучевой диагностике Доступно по: Ссылка активна на 22.11.2023. https://mosmed.ai/datasets/nabor-dannyih-kt-golovnogo-mozga-s-tselyu-testirovaniya-ii-servisov-dlya-poiska-priznakov-krovoizliyanij/.Nabor dannyh KT golovnogo mozga dlya poiska priznakov krovoizliyanij — nabory dannyh v luchevoj diagnostike. Available at: https://mosmed.ai/datasets/nabor-dannyih-kt-golovnogo-mozga-s-tselyu-testirovaniya-ii-servisov-dlya-poiska-priznakov-krovoizliyanij/. Accessed 22.11.2023. (In Russ.)Набор данных КТ головного мозга с целью тестирования ИИ-сервисов для поиска признаков кровоизлияний — наборы данных в лучевой диагностике. Доступно по: https://mosmed.ai/datasets/nabor-dannyih-kt-golovnogo-mozga-s-tselyu-testirovaniya-ii-servisov-dlya-poiska-priznakov-krovoizliyanij5/. Ссылка активна на 22.11.2023.Nabor dannyh KT golovnogo mozga s cel’yu testirovaniya II-servisov dlya poiska priznakov krovoizliyanij — nabory dannyh v luchevoj diagnostike. Available at: https://mosmed.ai/datasets/nabor-dannyih-kt-golovnogo-mozga-s-tselyu-testirovaniya-ii-servisov-dlya-poiska-priznakov-krovoizliyanij5/. Accessed 22.11.2023. (In Russ.)Свидетельство о государственной регистрации базы данных RU 2022620559/ 16.03.2022 Морозов С.П., Павлов НА, Петряйкин А.В., Кремнева Е.И., Хоружая А.Н., Сморчкова А.К. MosMedData: набор диагностических компьютерно-томографических изображений головного мозга с наличием и отсутствием признаков внутричерепного кровоизлияния. Доступно по: https://www.elibrary.ru/item.asp?id=48137428. Ссылка активна на 22.11.2023.Certificate of the state registration of the database RU 2022620559/ 16.03.2022 Morozov SP, Pavlov NA, Petraikin AV, Kremneva EI, Khoruzhaya AN, Smorchkova AK MosMedData: Nabor diagnosticheskih komp’jutenro-tomograficheskih izobrazhenij golovnogo mozga s nalichiem I otsutstviem priznakov vnutricherepnogo krovoizlijanija. Available at: https://www.elibrary.ru/item.asp?id=48137428. Accessed 22.11.2023. (In Russ.)Wilkinson MD, Dumontier M, Aalbersberg IjJ, Appleton G, Axton M, Baak A, et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data. 2016; 3(1): 160018. doi: 10.1038/sdata.2016.18.Wilkinson MD, Dumontier M, Aalbersberg IjJ, Appleton G, Axton M, Baak A, et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data. 2016; 3(1): 160018. doi: 10.1038/sdata.2016.18.Ker J, Singh SP, Bai Y, Rao J, Lim T, Wang L. Image Thresholding Improves 3-Dimensional Convolutional Neural Network Diagnosis of Different Acute Brain Hemorrhages on Computed Tomography Scans. Sensors. 2019; 19(9): 2167. doi: 10.3390/s19092167.Ker J, Singh SP, Bai Y, Rao J, Lim T, Wang L. Image Thresholding Improves 3-Dimensional Convolutional Neural Network Diagnosis of Different Acute Brain Hemorrhages on Computed Tomography Scans. Sensors. 2019; 19(9): 2167. doi: 10.3390/s19092167.Flanders AE, Prevedello LM, Shih G, Halabi SS, Kalpathy-Cramer J, Ball R, et al. Construction of a Machine Learning Dataset through Collaboration: The RSNA 2019 Brain CT Hemorrhage Challenge. Radiol Artif Intell. 2020; 2(4): e209002. doi: 10.1148/ryai.2020190211.Flanders AE, Prevedello LM, Shih G, Halabi SS, Kalpathy-Cramer J, Ball R, et al. Construction of a Machine Learning Dataset through Collaboration: The RSNA 2019 Brain CT Hemorrhage Challenge. Radiol Artif Intell. 2020; 2(4): e209002. doi: 10.1148/ryai.2020190211.Qing L, Linhong W, Xuehai D. A Novel Neural Network-Based Method for Medical Text Classification. Future Internet. 2019; 11(12): 255. doi: 10.3390/fi11120255.Qing L, Linhong W, Xuehai D. A Novel Neural Network-Based Method for Medical Text Classification. Future Internet. 2019; 11(12): 255. doi: 10.3390/fi11120255.Hughes M, Li I, Kotoulas S, Suzumura T. Medical Text Classification Using Convolutional Neural Networks. In: Informatics for Health: Connected Citizen-Led Wellness and Population Health. IOS Press; 2017: 246-50. Available at: https://ebooks.iospress.nl/doi/10.3233/978-1-61499-753-5-246. Accessed 22.11.2023.Hughes M, Li I, Kotoulas S, Suzumura T. Medical Text Classification Using Convolutional Neural Networks. In: Informatics for Health: Connected Citizen-Led Wellness and Population Health. IOS Press; 2017: 246-50. Available at: https://ebooks.iospress.nl/doi/10.3233/978-1-61499-753-5-246. Accessed 22.11.2023.Kokina D, Meshalkin Y, Gombolevskiy V., Vladzymyrskyy A., Andreychenko A., Morozov S. RPS 605-10 Text mining in Russian radiology reports. ECR 2021 Book of Abstracts. Insights Imaging. 2021; 12(S2): 75. doi: 10.1186/s13244-021-01014–5.Kokina D, Meshalkin Y, Gombolevskiy V., Vladzymyrskyy A., Andreychenko A., Morozov S. RPS 605-10 Text mining in Russian radiology reports. ECR 2021 Book of Abstracts. Insights Imaging. 2021; 12(S2): 75. doi: 10.1186/s13244-021-01014–5.Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, et al. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. The Lancet. 2018; 392(10162): 2388-96. doi: 10.1016/S0140-6736(18)31645-3.Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, et al. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. The Lancet. 2018; 392(10162): 2388-96. doi: 10.1016/S0140-6736(18)31645-3.Lee H, Yune S, Mansouri M, Kim M, Tajmir SH, Guerrier CE, et al. An explainable deep-learning algorithm for the detection of acute intracranial haemorrhage from small datasets. Nat Biomed Eng. 2019; 3(3): 173-82. doi: 10.1038/s41551-018-0324-9.Lee H, Yune S, Mansouri M, Kim M, Tajmir SH, Guerrier CE, et al. An explainable deep-learning algorithm for the detection of acute intracranial haemorrhage from small datasets. Nat Biomed Eng. 2019; 3(3): 173-82. doi: 10.1038/s41551-018-0324-9.Кульберг Н.С., Решетников Р.В., Новик В.П., и др. Вариабельность заключений при интерпретации КТ-снимков: один за всех и все за одного // Digital Diagnostics. — 2021. — Т.2. — №2. — С.105-118. doi: 10.17816/DD60622.Kulberg NS, Reshetnikov RV, Novik VP, et al. Inter-observer variability between readers of CT images: all for one and one for all. Digit Diagn. 2021; 2(2): 105-18. (In Russ.)] doi: 10.17816/DD60622.

The authors declare that there are no conflicts of interest present.