В обзоре рассматриваются подходы к интеграции разнородных данных (клинические записи, изображения, омики) с помощью мультимодального ИИ для улучшения диагностики, оценки опухолей и прогноза исходов, включая ответ на иммунотерапию. Обсуждаются архитектуры глубокого обучения, стратегии слияния данных, ограничения на пути к клинической практике и перспективные направления, такие как мультимодальные фундаментальные модели и большие языковые модели.