Методика оценки ClinTalk
Обновлено: 24 июля 2026 года.
Как ClinTalk оценивает консультацию
На каких моделях
Адаптации Calgary-Cambridge и Kalamazoo для консультации, SPIKES — для сообщения плохих новостей, отдельная рубрика клинической безопасности.
Кто ставит оценку
Языковая модель-судья проверяет полный транскрипт по рубрике. Каждый вывод в отчёте привязан к репликам из разговора — его можно перепроверить.
Как проверяем судью
В платформе есть слепая экспертная оценка: эксперты кафедры оценивают те же транскрипты, и согласованность с судьёй сравнивается статистически. Результаты публикуем по мере набора данных.
Для чего использовать
Для формативной обратной связи и подготовки к разбору на занятии. Не как единственное основание итоговой аттестации.
Подробная методика
ClinTalk — тренажёр медицинской консультации с формативной обратной связью, а не аттестационный экзамен. Здесь объясняется, как рассчитываются проценты и агрегаты, которые вы видите в отчёте и личном кабинете.
Рубрики «KEECC-A» и «Calgary–Cambridge», которые использует ClinTalk, — собственные адаптации ClinTalk на основе опубликованных моделей (Kalamazoo Consensus Statement и руководство Calgary–Cambridge). Результат ClinTalk не является официальным баллом опубликованного инструмента и не сопоставим напрямую с баллами по оригинальной методике.
Балл каждой рубрики считается по собственной формуле: сумма баллов всех пунктов делится на максимально возможную сумму и умножается на 100.
percentage = round(100 × total_score / max_total, 1)
В личном кабинете студента общий процент сессии — взвешенное среднее по всем оценённым рубрикам: сумма фактических баллов всех пунктов делится на сумму максимумов всех пунктов.
sum(total_score) / sum(max_total) × 100
В синтезе обратной связи и итоговом вердикте отчёта используется другая формула: невзвешенное среднее процентов отдельных рубрик — среднее арифметическое самих процентов, а не сумм баллов.
mean(percentage)
Эти два агрегата — взвешенный и невзвешенный — могут отличаться друг от друга и не являются формулой официального экзамена или единым валидированным баллом. Пример: рубрика на 24 пункта дала 80%, рубрика на 8 пунктов — 40%. Взвешенное среднее сессии окажется ближе к 80% (пунктов у первой рубрики больше), а невзвешенное среднее двух процентов даст ровно 60%.
Для консультаций с пациентом отдельно действует гейт клинической безопасности: порог 60% по рубрике безопасности плюс проверка критических пунктов. Критический провал не компенсируется высоким баллом по остальным рубрикам.
У каждой рубрики есть номер версии состава пунктов. Результаты, сохранённые до появления этого поля, по умолчанию считаются версией 1 (legacy, выведена автоматически) — их фактический состав пунктов мог отличаться от текущего паспорта рубрики.
rubric_version
LLM-судья может ошибаться в интерпретации контекста. Результат зависит от качества распознавания речи, полноты консультации, языка и версии модели. Методика не проходила отдельную программу психометрической валидации.
Ни один из агрегатов, ни отдельная рубрика не должны быть единственным основанием итоговой аттестации или допуска к практике без экспертного разбора транскрипта человеком.