vitjВрач и информационные технологииMedical Doctor and Information Technologies1811-01932413-5208Pirogov National Medical and Surgical Center10.25881/18110193_2025_3_64vitj-224Research ArticleОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯORIGINAL RESEARCHМетодики оценки качества больших генеративных моделей для базовых сценариев применения в здравоохраненииAssessing the quality of large generative models for basic healthcare applicationsРешетниковР. В.ReshetnikovR. V.

к.ф.-м.н.

г. Москва

PhD

Moscow

reshetnikov@fbb.msu.ruТыровИ. А.TyrovI. A.

Москва

Moscow

zdrav@mos.ruВасильевЮ. А.VasilevYu. A.

к. м. н.

г. Москва

PhD

Moscow

VasilevYA1@zdrav.mos.ruШумскаяЮ. Ф.ShumskayaYu. F.

г. Москва

Moscow

shumskayayf@zdrav.mos.ruВладзимирскийА. В.VladzymyrskyyA. V.

д.м.н.

г. Москва

DSc

Moscow

VladzimirskijAV@zdrav.mos.ruАхмедзяноваД. А.AkhmedzyanovaD. A.

г. Москва

Moscow

AkhmedzyanovaDA@zdrav.mos.ruБеженоваК. Ю.BezhenovaK. Yu.

г. Москва

Moscow

BezhenovaKY@zdrav.mos.ruВарюхинаМ. Д.VaryukhinaM. D.

к.м.н.

г. Москва

PhD

Moscow

VaryukhinaMD@zdrav.mos.ruСоколоваМ. В.SokolovaM. V.

г. Москва

Moscow

SokolovaMV10@zdrav.mos.ruБлохинИ. А.BlokhinI. A.

к. м. н.

г. Москва

PhD

Moscow

BlokhinIA@zdrav.mos.ruВойтенкоД. А.VoytenkoD. A.

г. Москва

Moscow

VoytenkoDA@zdrav.mos.ruМынкоО. И.MynkoO. I.

г. Москва

Moscow

MynkoOI@zdrav.mos.ruКоденкоМ. Р.KodenkoM. R.

к. т. н.

г. Москва

PhD

Moscow

KodenkoM@zdrav.mos.ruОмелянскаяО. В.OmelyanskayaO. V.

г. Москва

Moscow

OmelyanskayaOV@zdrav.mos.ruГБУЗ «НПКЦ ДиТ ДЗМ»РоссияMoscow Center for Diagnostics and TelemedicineRussian FederationДепартамент здравоохранения города МосквыРоссияDepartment of Healthcare of MoscowRussian FederationГБУЗ «НПКЦ ДиТ ДЗ»РоссияMoscow Center for Diagnostics and TelemedicineRussian FederationГБУЗ «НПКЦ ДиТ ДЗМ»; Московский государственный технический университет имени Н.Э. БауманаРоссияMoscow Center for Diagnostics and Telemedicine; Bauman Moscow State Technical UniversityRussian Federation202512102025036475Copyright © Решетников Р.В., Тыров И.А., Васильев Ю.А., Шумская Ю.Ф., Владзимирский А.В., Ахмедзянова Д.А., Беженова К.Ю., Варюхина М.Д., Соколова М.В., Блохин И.А., Войтенко Д.А., Мынко О.И., Коденко М.Р., Омелянская О.В., 20252025Решетников Р.В., Тыров И.А., Васильев Ю.А., Шумская Ю.Ф., Владзимирский А.В., Ахмедзянова Д.А., Беженова К.Ю., Варюхина М.Д., Соколова М.В., Блохин И.А., Войтенко Д.А., Мынко О.И., Коденко М.Р., Омелянская О.В.Reshetnikov R.V., Tyrov I.A., Vasilev Y.A., Shumskaya Y.F., Vladzymyrskyy A.V., Akhmedzyanova D.A., Bezhenova K.Y., Varyukhina M.D., Sokolova M.V., Blokhin I.A., Voytenko D.A., Mynko O.I., Kodenko M.R., Omelyanskaya O.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vit-j.ru/jour/article/view/224

Большие генеративные модели (БГМ) обладают значительным потенциалом для здравоохранения и медицинской науки. Несмотря на экспоненциальный рост числа публикаций, качество и результативность научного изучения БГМ остается неудовлетворительной. В научной литературе утверждается необходимость создания стандартизированных подходов для обеспечения безопасной и эффективной интеграции БГМ в клиническую практику. В системе здравоохранения г. Москвы осуществляется апробация БГМ в качестве средства поддержки принятия врачебных решений, которая потребовала создания особых методов и инструментов для оценки их качества. Представлены две методики оценки качества БГМ, разработанные на основе: анализа литературных данных (всего свыше 200 источников); результатов проведенного авторами этапного комплексного тестирования 204 БГМ; эмпирического опыта оценки качества БГМ на выборке из более 12 000 случаев применения. Методики предназначены для двух основных сценариев применения моделей. В их основе лежат (с учетом сценария) принципы формирования тестовой выборки, специально разработанные и валидированные опросники, способы тестирования, унифицированные требования к составу и структуре результатов оценки качества.

Large generative models (LGMs) have significant potential for healthcare and medical science. While publications are growing exponentially, LGM studies lack quality and breakthrough findings. Research articles call for standardized approaches to ensure safe and effective integration of LGMs into clinical practice. Currently, the Moscow healthcare system is testing LGMs as tools for supporting medical decision-making, which has required development of specialized methods and techniques for assessing LGM quality. This paper presents two methods for assessing the quality of large generative models. Both methods are based on analysis of literature data (over 200 sources), results from comprehensive testing of 204 LGMs, and hands-on experience in assessing model quality using a sample of more than 12,000 cases. Designed for two main LGM application scenarios, the methods incorporate a dedicated approach to building test samples, tailored and validated questionnaires, testing methodologies, and unified requirements for the composition and structure of quality assessment outputs.

искусственный интеллектздравоохранениебольшие генеративные моделигенеративный искусственный интеллекткачество медицинской помощиаrtificial intelligencehealthcarelarge generative modelsgenerative artificial intelligencemedical care qualityReferencesSingh N, Neubronner S, Kanayan S, Illanes S, Choolani M, Kemp MW. Advances, reception and potential of ChatGPT as a tool for healthcare delivery and research: a systematic review. Singapore Med J. 2025 Jul 29. doi: 10.4103/singaporemedj.SMJ-2024-173.Singh N, Neubronner S, Kanayan S, Illanes S, Choolani M, Kemp MW. Advances, reception and potential of ChatGPT as a tool for healthcare delivery and research: a systematic review. Singapore Med J. 2025 Jul 29. doi: 10.4103/singaporemedj.SMJ-2024-173.Ferreira Santos J, Ladeiras-Lopes R, Leite F, Dores H. Applications of large language models in cardiovascular disease: a systematic review. Eur Heart J Digit Health. 2025; 6(4): 540-553. doi: 10.1093/ehjdh/ztaf028.Ferreira Santos J, Ladeiras-Lopes R, Leite F, Dores H. Applications of large language models in cardiovascular disease: a systematic review. Eur Heart J Digit Health. 2025; 6(4): 540-553. doi: 10.1093/ehjdh/ztaf028.Андрейченко А.Е., Гусев А.В. Перспективы применения больших языковых моделей в здравоохранении // Национальное здравоохранение. — 2023. — Т.4. — №4. — С.48-55.Andreychenko AE, Gusev AV. Perspectives on the application of large language models in healthcare. 2023; 4(4): 48-55. (In Russ.)Назаров Д.М., Бадаев Ф.И. Применение больших языковых моделей в сфере здравоохранения // Менеджер здравоохранения. — 2025. — №5. — С.142-154.Nazarov DM, Badaev FI. Application of large language models in healthcare. Manager zdravookhranenia. 2025; 5: 142-154. (In Russ.)Васильев Ю.А., Решетников Р.В., Нанова О.Г., Владзимирский А.В. и др. Применение больших языковых моделей в лучевой диагностике: обзор предметного поля // Digital Diagnostics. 2025; 6(2): 268-285. doi: 10.17816/DD678373.Vasilev YA, Reshetnikov RV, Nanova OG, Vladzymyrskyy AV, et al. Application of Large Language Models in Radiological Diagnostics: A Scoping Review. Digital Diagnostics. 2025; 6(2): 268-285. (In Russ.)] doi: 10.17816/DD678373.Moëll B, Sand Aronsson F. Harm Reduction Strategies for Thoughtful Use of Large Language Models in the Medical Domain: Perspectives for Patients and Clinicians. J Med Internet Res. 2025; 27: e75849. doi: 10.2196/75849.Moëll B, Sand Aronsson F. Harm Reduction Strategies for Thoughtful Use of Large Language Models in the Medical Domain: Perspectives for Patients and Clinicians. J Med Internet Res. 2025; 27: e75849. doi: 10.2196/75849.Shool S, Adimi S, Saboori Amleshi R, Bitaraf E, et al. A systematic review of large language model (LLM) evaluations in clinical medicine. BMC Med Inform Decis Mak. 2025; 25(1): 117. doi: 10.1186/s12911-025-02954-4.Shool S, Adimi S, Saboori Amleshi R, Bitaraf E, et al. A systematic review of large language model (LLM) evaluations in clinical medicine. BMC Med Inform Decis Mak. 2025; 25(1): 117. doi: 10.1186/s12911-025-02954-4.Preiksaitis C, Ashenburg N, Bunney G, Chu A, et al. The Role of Large Language Models in Transforming Emergency Medicine: Scoping Review. JMIR Med Inform. 2024; 12: e53787. doi: 10.2196/53787.Preiksaitis C, Ashenburg N, Bunney G, Chu A, et al. The Role of Large Language Models in Transforming Emergency Medicine: Scoping Review. JMIR Med Inform. 2024; 12: e53787. doi: 10.2196/53787.Flanagin A, Iorio A, Cacciamani G, Chen X, et al. Reporting guideline for Chatbot Health Advice studies: the CHART statement. BMC Med. 2025; 23(1): 447. doi: 10.1186/s12916-025-04274-w.Flanagin A, Iorio A, Cacciamani G, Chen X, et al. Reporting guideline for Chatbot Health Advice studies: the CHART statement. BMC Med. 2025; 23(1): 447. doi: 10.1186/s12916-025-04274-w.Gallifant J, Afshar M, Ameen S, Aphinyanaphongs Y, et al. The TRIPOD-LLM reporting guideline for studies using large language models: a Korean translation. Ewha Med J. 2025; 48(3): e49. doi: 10.12771/emj.2025.00661.Gallifant J, Afshar M, Ameen S, Aphinyanaphongs Y, et al. The TRIPOD-LLM reporting guideline for studies using large language models: a Korean translation. Ewha Med J. 2025; 48(3): e49. doi: 10.12771/emj.2025.00661.Zong H, Wu R, Cha J, Wang J, et al. Large Language Models in Worldwide Medical Exams: Platform Development and Comprehensive Analysis. J Med Internet Res. 2024; 26: e66114. doi: 10.2196/66114.Zong H, Wu R, Cha J, Wang J, et al. Large Language Models in Worldwide Medical Exams: Platform Development and Comprehensive Analysis. J Med Internet Res. 2024; 26: e66114. doi: 10.2196/66114.

The authors declare that there are no conflicts of interest present.