Оценка локализации больших языковых моделей для задач клинической психологии: прогнозирование показателей тревоги и депрессии на выборке российских студентов
Т. В. Букина,
Н. М. Смирнов,
В. А. Максименко,
К. О. Карпов,
Ю. Е. Скалин,
М. В. Храмова,
С. А. Куркин,
А. Е. Храмов https://doi.org/10.25881/18110193_2026_3_50
Аннотация
Цель. Оценить пригодность больших языковых моделей (Large Language Models, LLM; далее – БЯМ), работающих в закрытом контуре, для прогнозирования показателей тревоги и депрессии по Госпитальной шкале тревоги и депрессии (Hospital Anxiety and Depression Scale, HADS) на выборке российских студентов.
Материалы и методы. Эмпирическую базу составили деперсонализированные ответы 946 студентов-первокурсников (669 женщин, 277 мужчин) российского вуза на 14 вопросов HADS. Для 11 моделей (DeepSeek-R1-32B, Qwen3- 32B, T-pro-2.0/2.1, YandexGPT-8B, GigaChat-20B и др.), развернутых локально на GPU, распределения вероятностей ответов извлекались из логарифмических вероятностей токенов. Экспериментальный дизайн включал 5 групп промптов (текстовых инструкций модели), 2 формата подачи (структурированный диалог и неструктурированный текст) и 4 варианта формулировок. Модельные и эмпирические распределения сравнивались по расстоянию Вассерштейна (W); дополнительно рассчитывались ожидаемые баллы субшкал HADS.
Результаты. Лучшую точность воспроизведения распределений показала DeepSeek-R1-32B (W = 0,293), однако она систематически занижала ожидаемый балл тревожности (5,6 против 7,7 у людей). Наиболее точные ожидаемые баллы тревожности продемонстрировали YandexGPT-pretrain (7,2) и T-pro-2.0 (7,1). Выбор модели объяснял 47% дисперсии метрики; детализация описания персоны и пол не влияли на результат (p > 0,05). Субшкала депрессии воспроизводилась хуже субшкалы тревожности.
Выводы. Оценки устойчивы к вариациям промпта: детализация описания персоны и формулировка не влияют на результат – достаточно минимального описания респондента. Модели с англоязычным обучением предпочитают англоязычные промпты; для русскоязычных моделей языковые предпочтения определяются базовой архитектурой. Гипотеза о систематическом преимуществе русскоязычных моделей не подтвердилась: качество определяется доменной адаптацией, а не языковой принадлежностью. Для практического применения необходима валидация на эксперименте с людьми. Модели не заменяют клиническую оценку специалиста.
При поддержке: Статья подготовлена в рамках выполнения научно-исследовательской работы № FSSW- 2026-0008 «Развитие фундаментальных основ построения цифровых двойников инфраструктурных систем в экономике данных» за счет средств субсидии из федерального бюджета в рамках государственного задания Минобрнауки России.
Об авторах
Т. В. Букина
НИИ прикладного искусственного интеллекта и цифровых решений, РЭУ им. Г.В. Плеханова
Россия
Россия
г. Москва
Н. М. Смирнов
НИИ прикладного искусственного интеллекта и цифровых решений, РЭУ им. Г.В. Плеханова
Россия
Россия
г. Москва
В. А. Максименко
НИИ прикладного искусственного интеллекта и цифровых решений, РЭУ им. Г.В. Плеханова; Национальный университет Сингапура
Россия
Россия
д.ф.-м.н.
г. Москва
г. Сингапур
К. О. Карпов
НИИ прикладного искусственного интеллекта и цифровых решений, РЭУ им. Г.В. Плеханова
Россия
Россия
г. Москва
Ю. Е. Скалин
БФУ им. И. Канта
Россия
Россия
к.м.н., профессор
г. Калининград
М. В. Храмова
Высшая школа кибертехнологий, математики и статистики, РЭУ им. Г.В. Плеханова
Россия
Россия
к.пед.н.
г. Москва
С. А. Куркин
НИИ прикладного искусственного интеллекта и цифровых решений, РЭУ им. Г.В. Плеханова
Россия
Россия
д. ф.-м.н.
г. Москва
А. Е. Храмов
НИИ прикладного искусственного интеллекта и цифровых
решений, РЭУ им. Г.В. Плеханова; ФГБУ «НМХЦ им. Н.И. Пирогова» Минздрава России
Россия
Россия
член-корреспондент РАН, профессор, д.ф.-м.н.
г. Москва
Список литературы
1. Snaith RP, Zigmond AS. The Hospital Anxiety and Depression Scale. Br Med J (Clin Res Ed). 1986; 292(6516): 344.
2. Herrero MJ, Blanch J, Peri JM, et al. A validation study of the Hospital Anxiety and Depression Scale (HADS) in a Spanish population. Gen Hosp Psychiatry. 2003; 25(4): 277-283. doi: 10.1016/s0163-8343(03)00043-4.
3. Tiksnadi BB, Triani N, Fihaya, FY, et al. Validation of Hospital Anxiety and Depression Scale in an Indonesian population: a scale adaptation study. Family Medicine and Community Health. 2023; 11; e001775. doi: 10.1136/fmch-2022-001775.
4. Michopoulos I, Douzenis A, Kalkavoura C, et al. Hospital Anxiety and Depression Scale (HADS): validation in a Greek general hospital sample. Ann Gen Psychiatry. 2008; 7: 4. doi: 10.1186/1744-859X-7-4.
5. Chan YF, Leung DY, Fong DY, et al. Psychometric evaluation of the Hospital Anxiety and Depression Scale in a large community sample of adolescents in Hong Kong. Qual Life Res. 2010; 19(6): 865-873. doi: 10.1007/s11136-010-9645-1.
6. Mumford DB, Tareen IA, Bajwa MA, Bhatti MR, Karim R. The translation and evaluation of an Urdu version of the Hospital Anxiety and Depression Scale. Acta Psychiatr Scand. 1991; 83(2): 81-85. doi: 10.1111/j.1600-0447.1991.tb07370.x.
7. Marakshina JA, Pavlova AA, Ismatullina VI, et al. Psychometric properties analysis of the Hospital Anxiety and Depression Scale (HADS) on a sample of Russian-speaking students. Acta Biomed Sci. 2025; 10(5): 182-193. doi: 10.29413/ABS.2025-10.5.20.
8. Triantafyllidis A, Segkouli S, Kokkas S, et al. Large language models for cardiovascular disease, cancer, and mental disorders: a review of systematic reviews. Healthcare (Basel). 2026; 14(1): 45. doi: 10.3390/healthcare14010045.
9. Ghorbian M, Ghobaei-Arani M. Large language models for mental health diagnosis and treatment: a survey. Artif Intell Rev. 2026; 59: 9. doi: 10.1007/s10462-025-11418-0.
10. Kuzmin G, Strepetov P, Stankevich M, et al. Exploring large language models for detecting mental disorders. In: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing. 2025: 34535-34559. doi: 10.18653/v1/2025.emnlp-main.1752.
11. Joshi P, Santy S, Budhiraja A, et al. The state and fate of linguistic diversity and inclusion in the NLP world. In: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020: 6282-6293. doi: 10.18653/v1/2020.acl-main.560.
12. Hedderich MA, Lange L, Adel H, Strotgen J, Klakow D. A survey on recent approaches for natural language processing in low-resource scenarios. In: Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2021: 2545-2568. doi: 10.18653/v1/2021.naacl-main.201.
13. Localizing AI in the Global South. Nat Mach Intell. 2025; 7: 675. doi: 0.1038/s42256-025-01057-z.
14. Gromenko E, Kalacheva D, Klokova K, et al. Cultural evaluation of LLMs in Russian: catchphrases and cultural types. In: Proceedings of the International Conference "Dialogue". 2025.
15. Grigoreva V, Ivanova A, Alimova I, et al. RuBia: a Russian language bias detection dataset. In: Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024). 2024: 14227-14239.
16. Назаров Д.М., Бадаев Ф.И. Применение больших языковых моделей в сфере здравоохранения // Менеджер здравоохранения. – 2025. – №5. – С.142-154. doi: 10.21045/1811-0185-2025-5-142-154.
17. Zigmond AS, Snaith RP. The Hospital Anxiety and Depression Scale. Acta Psychiatr Scand. 1983; 67(6): 361-370. doi: 10.1111/j.1600-0447.1983.tb09716.x.
18. Агапов М.А., Скалин Ю.Е., Бочарова Н.Н. Скрининговая диагностика психоэмоционального со- стояния обучающихся в системе высшего образования // Вестник Балтийского федерального университета им. И. Канта. Серия: Филология, педагогика, психология. – 2023. – №1. – С.90-101. doi: 10.5922/pikbfu-2023-1-9.
19. Kwon W, Li Z, Zhuang S, et al. Efficient memory management for large language model serving with PagedAttention. In: Proceedings of the 29th Symposium on Operating Systems Principles. 2023. doi: 10.1145/3600006.3613165.
20. Structured outputs. vLLM documentation v0.8.2. 2025. Available from: https://docs.vllm.ai/en/v0.8.2/features/structured_outputs.html. Сited February 25, 2026.
21. Givens CR, Shortt RM. A class of Wasserstein
22. metrics for probability distributions. Michigan Math J. 1984; 31(2): 231-240. doi: 10.1307/mmj/1029003026.
23. Kim S, Jeong J, Han JS, et al. LLM-Mirror: a generated-persona approach for survey pre-testing. Preprint. 2024. doi: 10.48550/arXiv.2412.03162.
24. Moon S, Abdulhai M, Kang M, et al. Virtual personas for language models via an anthology of backstories. In: Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. 2024: 19864-19897. doi: 10.18653/v1/2024.emnlp-main.1110.
25. Santurkar S, Durmus E, Ladhak F, et al. Whose opinions do language models reflect? In: Proceedings of the 40th International Conference on Machine Learning (ICML). 2023. doi: 10.48550/arXiv.2303.17548.
26. Tomczak M, Tomczak E. The need to report effect size estimates revisited: an overview of some recommended measures of effect size. Trends Sport Sci. 2014; 1(21): 19-25.
27. Zhao J, Yuan C, Luo W, et al. Large language models as virtual survey respondents: evaluating sociodemographic response generation. Preprint. 2025. doi: 10.48550/arXiv.2509.06337.
28. Sukiennik N, Gao C, Xu F, Li Y. An evaluation of cultural value alignment in LLM. Preprint. 2025. doi: 10.48550/arXiv.2504.08863.
29. Lutz M, Sen I, Ahnert G, Rogers E, Strohmaier M. The prompt makes the person(a): a systematic evaluation of sociodemographic persona prompting for large language models. In: Findings of the Association for Computational Linguistics: EMNLP 2025. 2025: 23212-23237. doi: 10.18653/v1/2025. findings-emnlp.1261.
30. Каширина И.Л., Старичкова Ю.В., Ле Ч.К. Тонкая настройка языковой модели RuBERT для повышения точности анализа медицинских запросов // Врач и информационные технологии. – 2026. – №1. – С.64-73. doi: 10.25881/18110193_2026_1_64.
31. Qi W, Huang F, An J, Kwak H. A cross-cultural comparison of LLM-based public opinion simulation. Preprint. 2025. doi: 10.48550/arXiv.2506.21587.
32. Kabir M, Abrar A, Ananiadou S. Break the checkbox: challenging closed-style evaluations of cultural alignment in LLMs. In: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing. 2025: 24-51. doi: 10.18653/v1/2025.emnlp-main.2.
33. Rupprecht J, Froehling L, Wagner C, Strohmaier M. German General Social Survey personas: a survey-derived persona prompt collection for population-aligned LLM studies. In: Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026). 2026: 1761-1780. doi: 10.63317/2sod6uekicbg.
34. Bjelland I, Dahl AA, Haug TT, et al. The validity of the Hospital Anxiety and Depression Scale: an updated literature review. J Psychosom Res. 2002; 52(2): 69-77. doi: 10.1016/S0022-3999(01)00296-3.
35. Petrov NB, Serapio-Garcia G, Rentfrow J. Limited ability of LLMs to simulate human psychological behaviours: a psychometric analysis. Preprint. 2024. doi: 10.48550/arXiv.2405.07248.
36. Teutloff JK. Synthetic founders: AI-generated social simulations for startup validation research in computational social science. Preprint. 2025. doi: 10.48550/arXiv.2509.02605.
37. Hu T, Collier N. Quantifying the persona effect in LLM simulations. In: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2024: 10289- 10307. doi: 10.18653/v1/2024.acl-long.554.
38. Giorgi S, Liu T, Aich A, et al. Modeling human subjectivity in LLMs using explicit and implicit human factors in personas. In: Findings of the Association for Computational Linguistics: EMNLP 2024. 2024: 7174-7188. doi: 10.18653/v1/2024.findings-emnlp.420.
39. Sclar M, Choi Y, Tsvetkov Y, Suhr A. Quantifying language models' sensitivity to spurious features in prompt design or: how I learned to start worrying about prompt formatting. In: Proceedings of the Twelfth International Conference on Learning Representations (ICLR). 2024. doi: 10.48550/arXiv.2310.11324.
Рецензия
Для цитирования:
Букина Т.В., Смирнов Н.М., Максименко В.А., Карпов К.О., Скалин Ю.Е., Храмова М.В., Куркин С.А., Храмов А.Е. Оценка локализации больших языковых моделей для задач клинической психологии: прогнозирование показателей тревоги и депрессии на выборке российских студентов. Врач и информационные технологии. 2026;(3):50-69. https://doi.org/10.25881/18110193_2026_3_50
For citation:
Bukina T.V., Smirnov N.M., Maksimenko V.A., Karpov K.O., Skalin Y.E., Khramova M.V., Kurkin S.A., Hramov A.E. Evaluating Large Language Model Localization for Clinical Psychology: Predicting Anxiety and Depression Scores in a Russian Student Sample. Medical Doctor and Information Technologies. 2026;(3):50-69. (In Russ.) https://doi.org/10.25881/18110193_2026_3_50
Просмотров:
8
JATS XML
Послать статью по эл. почте 