г. Москва
Moscow
г. Москва
Moscow
д.ф.-м.н.
г. Москва
г. Сингапур
DSc
Moscow; Singapore
г. Москва
Moscow
к.м.н., профессор
г. Калининград
PhD, Professor
Kaliningrad
к.пед.н.
г. Москва
PhD
Moscow
д. ф.-м.н.
г. Москва
DSc
Moscow
член-корреспондент РАН, профессор, д.ф.-м.н.
г. Москва
Corresponding Member of the Russian Academy of Sciences, Professor, DSc
Moscow
Цель. Оценить пригодность больших языковых моделей (Large Language Models, LLM; далее – БЯМ), работающих в закрытом контуре, для прогнозирования показателей тревоги и депрессии по Госпитальной шкале тревоги и депрессии (Hospital Anxiety and Depression Scale, HADS) на выборке российских студентов.
Материалы и методы. Эмпирическую базу составили деперсонализированные ответы 946 студентов-первокурсников (669 женщин, 277 мужчин) российского вуза на 14 вопросов HADS. Для 11 моделей (DeepSeek-R1-32B, Qwen3-32B, T-pro-2.0/2.1, YandexGPT-8B, GigaChat-20B и др.), развернутых локально на GPU, распределения вероятностей ответов извлекались из логарифмических вероятностей токенов. Экспериментальный дизайн включал 5 групп промптов (текстовых инструкций модели), 2 формата подачи (структурированный диалог и неструктурированный текст) и 4 варианта формулировок. Модельные и эмпирические распределения сравнивались по расстоянию Вассерштейна (W); дополнительно рассчитывались ожидаемые баллы субшкал HADS.
Результаты. Лучшую точность воспроизведения распределений показала DeepSeek-R1-32B (W = 0,293), однако она систематически занижала ожидаемый балл тревожности (5,6 против 7,7 у людей). Наиболее точные ожидаемые баллы тревожности продемонстрировали YandexGPT-pretrain (7,2) и T-pro-2.0 (7,1). Выбор модели объяснял 47% дисперсии метрики; детализация описания персоны и пол не влияли на результат (p > 0,05). Субшкала депрессии воспроизводилась хуже субшкалы тревожности.
Выводы. Оценки устойчивы к вариациям промпта: детализация описания персоны и формулировка не влияют на результат – достаточно минимального описания респондента. Модели с англоязычным обучением предпочитают англоязычные промпты; для русскоязычных моделей языковые предпочтения определяются базовой архитектурой. Гипотеза о систематическом преимуществе русскоязычных моделей не подтвердилась: качество определяется доменной адаптацией, а не языковой принадлежностью. Для практического применения необходима валидация на эксперименте с людьми. Модели не заменяют клиническую оценку специалиста.
Aim. To evaluate the suitability of large language models (LLMs), deployed in a closed-loop environment, for predicting anxiety and depression scores on the Hospital Anxiety and Depression Scale (HADS) in a sample of Russian students.
Materials and methods. The empirical dataset consisted of de-identified responses from 946 first-year university students (669 female, 277 male) in Russia to 14 HADS items. For 11 models (DeepSeek-R1-32B, Qwen3-32B, T-pro-2.0/2.1, YandexGPT- 8B, GigaChat-20B, and others) deployed locally on GPUs, response probability distributions were extracted from token log probabilities. The experimental design included 5 prompt groups (textual instructions for the model), 2 presentation formats (structured dialogue and unstructured text), and 4 wording variations. Model-generated and empirical distributions were compared using Wasserstein distance (W); expected HADS subscale scores were additionally calculated.
Results. T DeepSeek-R1-32B demonstrated the best accuracy in reproducing distributions (W = 0.293); however, it consistently underestimated expected anxiety scores (5.6 vs. 7.7). The most accurate expected anxiety scores were produced by YandexGPTpretrain (7.2) and T-pro-2.0 (7.1). Model selection explained 47% of metric variance; persona detail and respondent sex had no significant effect (p > 0.05). The depression subscale was reproduced less accurately than the anxiety subscale.
Conclusions. Scores are robust to prompt variations: the level of detail in the persona description and the specific wording do not affect the outcome—a minimal description of the respondent suffices. Models trained in English favor English-language prompts, whereas for Russian-language models, language preferences are determined by the underlying architecture. The hypothesis regarding a systematic advantage for Russian-language models was not confirmed: quality is determined by domain adaptation rather than language. Practical application requires validation through experiments involving human subjects. The models do not replace clinical assessment by a specialist.
The authors declare that there are no conflicts of interest present.