Новость954 нояб.
Исследование анализирует влияние различных конфигураций дообучения (fine-tuning) большой языковой модели на точность ответов в медицинской сфере, используя набор данных MedXpertQA-Text. Авторы демонстрируют, что агрегированная метрика точности может вводить в заблуждение, так как скрывает значительную перестановку правильных и неправильных ответов на уровне отдельных вопросов (correctness turnover). Рекомендуется вместе с общей точностью сообщать метрики удержания (retention) и приобретения (acquisition) знаний.