Исследование анализирует влияние различных конфигураций дообучения (fine-tuning) большой языковой модели на точность ответов в медицинской сфере, используя набор данных MedXpertQA-Text. Авторы демонстрируют, что агрегированная метрика точности может вводить в заблуждение, так как скрывает значительную перестановку правильных и неправильных ответов на уровне отдельных вопросов (correctness turnover). Рекомендуется вместе с общей точностью сообщать метрики удержания (retention) и приобретения (acquisition) знаний.
В исследовании представлена методология TongueBench для оценки девяти больших мультимодальных моделей (LMM) в задаче диагностики по языку в традиционной китайской медицине без дообучения. Результаты показывают, что использование продвинутых техник промптинга (KGRP) дает modest улучшения метрик по сравнению с прямым запросом, однако модели уступают специализированным обученным базовым моделям и не демонстрируют клинической полезности на уровне пациента.
В исследовании, опубликованном в журнале npj Digital Medicine 25 сентября 2026 года, рассматривается применение больших языковых моделей (LLM) в роли автоматизированных судей для оценки качества ответов клинических генеративных систем искусственного интеллекта. Авторы анализируют эффективность использования LLM для сравнения и верификации выводов других медицинских ИИ-моделей, что позволяет значительно ускорить процесс валидации и снизить нагрузку на экспертов-людей. Методология включает сравнение оценок, выставленных языковыми моделями, с мнениями квалифицированных медицинских специалистов, демонстрируя высокую корреляцию между автоматизированной и ручной оценкой. Ключевые результаты показывают, что LLM способны надежно выявлять неточности, галлюцинации и несоответствия клиническим рекомендациям в ответах генеративных моделей, обеспечивая масштабируемый инструмент контроля качества. Данное исследование имеет важное значение для развития стандартов в области медицинского ИИ, так как предлагает решение проблемы дефицита времени экспертов при массовом тестировании новых алгоритмов. Внедрение таких систем оценки может способствовать более быстрому внедрению безопасных и эффективных клинических ИИ-решений в практику здравоохранения. Работа подчеркивает необходимость дальнейшей разработки протоколов для обеспечения надежности LLM-судей в критически важных медицинских сценариях.
Исследователи представили BiomniBench — инновационную платформу для оценки работы LLM-агентов в области биомедицинских исследований на уровне процесса, а не только конечного результата. В отличие от традиционных бенчмарков, которые могут поощрять заучивание данных или «взлом вознаграждения» (reward hacking), BiomniBench анализирует всю траекторию действий агента с помощью экспертных рубрик. Первая реализация, BiomniBench-DA, включает 100 задач по анализу данных, охватывающих 17 типов аналитических задач и 5 областей заболеваний, базируясь на высокоцитируемых работах из журналов Nature, Cell и Science. Исследование показало, что даже передовые модели (frontier models) имеют значительный потенциал для роста, а выбор архитектуры агента (agent harness) влияет на результат так же сильно, как и сама базовая модель. Ключевые выявленные проблемы включают ошибки в выборе методологии, сложности с биологической интерпретацией и недостатки в научном рассуждении. Данный фреймворк является первым инструментом, позволяющим выявлять скрытые ошибки ИИ-агентов, которые невозможно обнаружить при оценке только по финальному ответу.
