В статье представлено исследование применения глубокого обучения (BERT, RoBERTa, XLNet) и LLM-фреймворка RATAS для автоматической оценки вербальных ответов студентов-медсестер в симуляторе виртуальной реальности. Результаты показывают высокую точность трансформерных моделей в контролируемых условиях и стабильность LLM-подхода при оценке реальных ответов, подтверждая жизнеспособность ИИ для обучения коммуникации в медицине.
В статье рассматривается критически важный аспект применения искусственного интеллекта в медицине — использование ИИ-сервисов для языковой поддержки пациентов. Авторы подчеркивают, что, несмотря на рост внедрения технологий автоматического перевода, вопросы восприятия таких сервисов пациентами, их влияния на уровень доверия и понимание клинической информации остаются недостаточно изученными. Исследование предлагает структурированную повестку для будущих научных работ, направленную на оценку качества коммуникации в клинических ситуациях. Особое внимание уделяется необходимости разработки систем управления (governance systems) для минимизации рисков и предотвращения потенциального вреда для пациентов, предпочитающих неанглийский язык. Предложенный подход поможет сформировать эффективные стратегии внедрения ИИ-интерпретаторов, обеспечивая безопасность и инклюзивность медицинской помощи. Работа имеет высокую значимость для оптимизации взаимодействия врача и пациента в мультикультурной среде.
В статье представлен EPPCMinerBen — инновационный набор метрик и стандартов (бенчмарк), разработанный специально для тестирования возможностей больших языковых моделей (LLM) в контексте цифрового взаимодействия пациентов и медицинских работников. Исследование фокусируется на анализе коммуникации, происходящей через порталы пациентов, что является критически важным аспектом современной телемедицины. Авторы предлагают методологию оценки того, насколько точно ИИ может интерпретировать запросы пациентов и генерировать адекватные, клинически безопасные ответы. В работе подчеркивается необходимость создания специализированных инструментов оценки, так как стандартные NLP-метрики не учитывают специфику медицинского контекста и этические аспекты общения. Использование данного бенчмарка позволит разработчикам ИИ-решений минимизировать риски неверной интерпретации симптомов и повысить качество автоматизированной поддержки в здравоохранении. Результаты исследования закладывают фундамент для внедрения более надежных LLM-ассистентов в клиническую практику через электронные медицинские системы.
Исследователи использовали метод совместного проектирования с участием пациентов для создания обучающих анимационных роликов о больших языковых моделях (LLM). Результатом стали два доступных видео на английском и бенгальском языках, объясняющих принципы работы ИИ и его применение в медицине без антропоморфизма.