12 статей
В обзоре рассматриваются подходы к интеграции разнородных данных (клинические записи, изображения, омики) с помощью мультимодального ИИ для улучшения диагностики, оценки опухолей и прогноза исходов, включая ответ на иммунотерапию. Обсуждаются архитектуры глубокого обучения, стратегии слияния данных, ограничения на пути к клинической практике и перспективные направления, такие как мультимодальные фундаментальные модели и большие языковые модели.
В исследовании, опубликованном в npj Digital Medicine 7 сентября 2026 года, представлена мультимодальная модель искусственного интеллекта для прогнозирования риска рецидива менингиомы после радиотерапии. Модель объединяет перитуморальные МРТ-изображения (область вокруг опухоли) с клиническими данными пациентов, что позволяет более точно стратифицировать пациентов по группам риска по сравнению с традиционными подходами. Авторы использовали методы глубокого обучения для анализа радиомических признаков перитуморальной зоны, которые отражают микроинвазию и биологическое поведение опухоли, недоступные при стандартной оценке только самой опухоли. Валидация модели проводилась на ретроспективных когортах пациентов с менингиомой, получавших лучевую терапию, с оценкой дискриминационной способности через AUC (площадь под ROC-кривой). Результаты показали значительное улучшение точности прогноза рецидива по сравнению с моделями, использующими только клинические параметры или только внутриопухолевые МРТ-признаки. Интеграция перитуморальных радиомических характеристик позволила выявить скрытые паттерны, связанные с агрессивностью опухоли, что может помочь в персонализации адъювантной терапии и выборе тактики наблюдения. Работа подчеркивает потенциал мультимодального ИИ в нейроонкологии для улучшения стратификации риска и принятия клинических решений, однако требует проспективной валидации перед внедрением в рутинную практику.
Исследование предлагает ИИ-фреймворк для оценки боли у некоммуникативных пациентов (новорождённые, пациенты с когнитивными нарушениями) без использования размеченных реальных данных. Метод сочетает синтетическую генерацию 50 000 сценариев боли через диффузионные модели с адаптацией доменов, достигая 81,5% точности для неонатальной оценки и превосходя супервизированные методы в кросс-датасет обобщении на 40,4%.
Искусственный интеллект стремительно трансформирует медицинскую визуализацию, обеспечивая автоматическое обнаружение, классификацию и прогнозирование рисков в растущем числе клинических применений. В исследовании, опубликованном в The Lancet Digital Health, Ян Чжоу и коллеги представляют MerMED-FM — мультимодальную фундаментальную модель медицинской визуализации для множественных заболеваний. Модель обучена на более чем 3,3 миллиона изображений, охватывающих семь различных модальностей визуализации и более десяти клинических специальностей. Ключевая инновация заключается в способности модели интегрировать информацию across различных типов медицинских изображений, что отражает реальную клиническую практику, где врачи routinely объединяют данные из разных источников. Фундаментальные модели представляют собой следующий этап развития ИИ в медицине, позволяя создавать универсальные системы вместо узкоспециализированных решений для отдельных задач. MerMED-FM демонстрирует потенциал для улучшения диагностической точности, сокращения времени анализа и поддержки клинических решений в разнообразных медицинских контекстах. Разработка таких моделей требует значительных вычислительных ресурсов и тщательно курированных датасетов, но обещает стандартизацию подходов к ИИ-диагностике. Внедрение единых фундаментальных моделей может упростить регуляторное одобрение и клиническую валидацию ИИ-решений в здравоохранении.
MerMED-FM представляет собой новую фундаментальную модель искусственного интеллекта для медицинской визуализации, разработанную для работы в нескольких медицинских специальностях одновременно. Модель является мультимодальной, что означает способность обрабатывать и интегрировать различные типы медицинских изображений (рентген, КТ, МРТ, УЗИ и другие форматы). Ключевая особенность MerMED-FM — кросс-специальностная адаптивность: модель обучена интерпретировать изображения для диагностики множественных заболеваний, а не ограничивается одной областью медицины. Архитектура фундаментальной модели позволяет дообучать систему под конкретные клинические задачи с минимальными дополнительными данными. Потенциальное применение включает поддержку врачей в диагностике, скрининговые программы, автоматизацию рутинной интерпретации снимков. Детали архитектуры, результаты валидации и метрики точности в предоставленном материале не указаны — требуется доступ к полной версии статьи для оценки технических характеристик и клинической эффективности модели.
Компания Tempus AI опубликовала в престижном журнале Nature Medicine результаты исследования своей мультимодальной фундаментальной модели PRISM2, предназначенной для применения в онкологии. Модель демонстрирует диагностическую точность уровня клинических стандартов для обнаружения рака, одновременно расширяя возможности прогнозирования статуса биомаркеров и прогноза пациентов. PRISM2 представляет собой фундаментальную ИИ-модель, обученную на мультимодальных медицинских данных, что позволяет ей выполнять множественные диагностические и прогностические задачи в рамках единой архитектуры. Исследование подтверждает эффективность модели в реальных клинических сценариях, позиционируя Tempus как лидера во внедрении искусственного интеллекта в онкологию. Публикация в Nature Medicine свидетельствует о прохождении рецензирования и научной валидации технологии. Компания Tempus AI торгуется на бирже NASDAQ под тикером TEM и специализируется на технологиях для персонализированной медицины. Результаты исследования открывают возможности для более широкого клинического применения ИИ в диагностике рака и прогнозировании исходов лечения.
Разработан интерпретируемый мультимодальный ИИ-фреймворк, объединяющий эмбеддинги рентгенограмм грудной клетки (DEiT-трансформер) с клиническими, демографическими и социальными данными пациентов для диагностики лекарственно-устойчивого туберкулёза. Модель XGBoost достигла PR-AUC 0.9258 и ROC-AUC 0.8718 на 6279 пациентах, при этом анализ SHAP выявил ключевые факторы риска — контакты с больными, статус занятости и радиологические аномалии. Клиницисты подтвердили правдоподобность объяснений модели.
В исследовании, опубликованном в журнале npj Digital Medicine, представлена инновационная мультимодальная система искусственного интеллекта, предназначенная для прогнозирования серьезных неблагоприятных сердечно-сосудистых событий (MACE). Ключевой особенностью разработки является способность модели эффективно работать в условиях неполных клинических данных, что является распространенной проблемой в реальной медицинской практике. Методология базируется на интеграции различных типов данных (мультимодальный подход) и использовании механизмов интерпретируемости, позволяющих врачам понимать логику принятия решений ИИ. Система демонстрирует высокую точность прогнозирования, значительно превосходя традиционные клинические шкалы риска даже при наличии пропусков в медицинских записях. Результаты исследования подчеркивают потенциал внедрения подобных ИИ-решений для раннего выявления пациентов группы высокого риска в кардиологии. Данная технология может существенно оптимизировать стратегии профилактического лечения и снизить уровень смертности от сердечно-сосудистых заболеваний.
В исследовании, опубликованном в журнале npj Digital Medicine, представлена инновационная мультимодальная модель искусственного интеллекта, предназначенная для выявления риска развития расстройства поведения в фазе быстрого сна (RBD) у пациентов с большим депрессивным расстройством (БДР). Методология исследования базируется на интеграции различных типов данных, включая нейровизуализацию, показатели полисомнографии и клинические характеристики пациентов. Использование мультимодального подхода позволило значительно повысить точность прогнозирования коморбидных состояний по сравнению с традиционными унимодальными методами. Ключевые результаты демонстрируют высокую чувствительность и специфичность алгоритма, что позволяет на ранних стадиях выявлять пациентов с высоким риском нейродегенеративных изменений. Данная разработка имеет критическое значение для персонализированной психиатрии, позволяя врачам своевременно корректировать терапевтическую стратегию и проводить превентивную диагностику. Практическая значимость работы заключается в создании надежного инструмента поддержки принятия клинических решений для психиатров и сомнологов.
Авторы предлагают комплексную структуру использования ИИ для борьбы с ожирением, объединяющую геномные, клинические и данные с носимых устройств в динамический показатель риска. Предложенный подход включает создание «цифровых двойников» метаболизма для тестирования вмешательств in silico и акцентирует внимание на объяснимости и справедливости алгоритмов.
В исследовании представлен Prostate-TriMod — инновационный тримодальный датасет для анализа рака предстательной железы, созданный для обучения мультимодальных моделей ИИ. Данный ресурс объединяет три типа данных: мультимасштабные виртуальные фрагменты H&E (разрешением от 224px до 2040px), пространственные карты тканей и текстовые описания, сгенерированные на основе данных единичных клеток. Использование платформы мультиплексной визуализации Cell DIVE позволило синхронизировать морфологический контекст с паттернами иммунной инфильтрации, идентифицируемыми с помощью моделей TOPAZ и CAT. Датасет включает критически важные клинические аннотации, такие как группы грейда (Grade Groups) и статус биохимического рецидива (BCR). Разработка Prostate-TriMod открывает новые возможности для создания ИИ-фреймворков, способных связывать гистологическую морфологию и иммунный контекст с реальными клиническими прогнозами. Этот инструмент станет важной базой для бенчмаркинга в области мультимодального обучения представлений и пространственного анализа тканей.
В статье представлен HESTIA (Histology-Enhanced Scalable cross-Resolution inTegration for spatial trAnscriptomics) — инновационный мультимодальный алгоритм, разработанный для анализа крупномасштабных данных пространственной омики. Основная проблема текущих методов заключается в огромных объемах данных и высокой разреженности транскриптомных данных при переходе к субклеточному уровню, что вызывает дефицит памяти у существующих систем. HESTIA решает эту задачу за счет оптимизации вычислений, позволяя обрабатывать массивы данных, недоступные для других алгоритмов. Исследование показало, что метод превосходит текущие аналоги по точности кластеризации и пространственной непрерывности, обеспечивая четкое разграничение структурных границ тканей. При применении алгоритма к патологическим образцам легких и колоректального рака удалось успешно картировать внутриопухолевую гетерогенность и идентифицировать специфические иммунные микроокружения. Данная разработка имеет критическое значение для прецизионной диагностики и понимания механизмов развития онкологических заболеваний на молекулярном уровне.
