интерпретируемость ИИ

Исследование посвящено анализу того, как именно глубокие нейронные сети предсказывают сайты сплайсинга РНК: имитируют ли они естественный биологический процесс или используют сторонние корреляции. Авторы изучили влияние мутаций, изменяющих рамку считывания трансляции (что не должно влиять на сам сплайсинг, так как эти процессы разделены во времени и пространстве), на точность популярных нейросетевых инструментов. Выявлено, что модели типа «черного ящика» значительно сильнее реагируют на мутации, нарушающие рамку считывания и создающие стоп-кодоны, чем на мутации, сохраняющие её. Это приводит к систематическому пропуску «ядовитых экзонов» (poison exons) — клинически значимых участков, где нарушение рамки считывания играет ключевую роль. В то же время «серые ящики» (grey-box), включающие специфическую биологическую структуру, демонстрируют гораздо меньшую зависимость от рамки считывания. Результаты доказывают, что широко используемые черные ящики используют информацию, недоступную естественному сплайсинговому аппарату, что ставит под вопрос их биологическую интерпретируемость и надежность в клинической практике. Исследование подчеркивает важность интеграции биологических ограничений в архитектуры ИИ для повышения достоверности предсказаний в геномике.

В исследовании представлена новая методология MaskNGly, которая использует семантические признаки, извлеченные из высокоразмерных встраиваний языковых моделей белков (pLMs), для идентификации сайтов N-гликозилирования без необходимости дообучения с учителем (zero-shot подход). Авторы демонстрируют, что коэволюционный анализ позволяет интерпретировать «черный ящик» pLMs, выявляя биологически значимые сигналы напрямую из эмбеддингов. Метод достигает производительности, сопоставимой с современными supervised-предикторами, но при этом является вычислительно эффективным и масштабируемым для омиксных исследований. Анализ протеомов показал, что канонические мотивы N-X-S/T приобретают более высокую склонность к гликозилированию по мере усложнения организма, а само гликозилирование предпочтительно происходит в структурированных, экспонированных растворителю участках белка. Мутации, изменяющие высокооцененные мотивы, чаще ассоциированы с заболеваниями, а также выявлены сигнатуры гликозилирование-опосредованного аллостеризма белка. Результаты открывают интерпретируемый и масштабируемый путь для изучения гликобиологии, используя уже обученные языковые модели без дополнительных затрат на сбор размеченных данных.

В данной редакционной статье, опубликованной в журнале npj Digital Medicine, рассматривается критический разрыв между чисто данными, основанными на ИИ моделями и их реальной клинической применимостью. Авторы анализируют 31 исследование, демонстрируя, что для успешного внедрения в персонализированную медицину необходимо интегрировать структурные предметные знания до этапа обучения моделей. Выделены три ключевых направления трансформации: привязка алгоритмов к биологическим законам для обеспечения механистической интерпретируемости, проектирование человеко-ориентированных клинических интерфейсов и масштабирование справедливых вмешательств на популяционном уровне. Подчеркивается, что эти сдвиги переводят медицинский ИИ из категории технической новинки в разряд надежной, клинически обоснованной и этически выверенной фундаментальной науки. Статья акцентирует внимание на необходимости преодоления ограничений «черного ящика» за счет интеграции медицинских знаний в архитектуру алгоритмов. Такой подход повышает доверие врачей к рекомендациям ИИ и снижает риски ошибок, связанных с отсутствием контекста. Работа служит важным руководством для исследователей, стремящихся создать не просто точные, но и безопасные, объяснимые системы поддержки принятия врачебных решений. Это способствует переходу от экспериментальных прототипов к рутинному использованию ИИ в клинической практике.

В статье представлен новый метод eQIF (eQTL prediction with isolation forests), который использует алгоритм неконтролируемого машинного обучения — изолирующие леса (isolation forests) — для интеграции предсказаний глубокой нейронной модели Enformer. Основная проблема, которую решает метод, заключается в том, что современные инструменты на основе глубокого обучения часто генерируют слишком большое количество оценок для каждого генетического варианта, что затрудняет их интерпретацию. eQIF объединяет эти разрозненные данные в единую предсказательную оценку генно-регуляторной активности для каждого распространенного генетического варианта. Исследование демонстрирует высокую эффективность метода: топ-варианты eQIF точно совпадают с эволюционно консервативными участками связывания транскрипционных факторов (TFBS) и воспроизводят информацию о мотивах. Метод успешно предсказывает как eQTL (количественные локусы признаков экспрессии), так и генно-регуляторные варианты, ассоциированные с заболеваниями по данным GWAS. Для обеспечения доступности результатов авторы предварительно вычислили предсказания для 9 431 969 распространенных вариантов и сделали их публично доступными. Это открытие значительно упрощает анализ причинно-следственных связей в некодирующих регионах генома и ускоряет поиск мишеней для терапии.

Исследование демонстрирует критическую проблему в обучении моделей искусственного интеллекта для онкологии: классификаторы могут достигать идеальной точности (AUC 1.000), используя не биологические признаки рака, а технические артефакты различий между источниками данных. Авторы проанализировали модели, обученные на опухолях из базы The Cancer Genome Atlas (TCGA) и нормальных тканях из проекта GTEx, включая табличные фундаментальные модели. Несмотря на идеальные метрики, эти модели ошибочно классифицировали 80–97% образцов прилегающей нормальной ткани как раковые, а в независимой когорте ошибка составляла 100%. Проблема заключается в том, что модель «запоминает» источник данных (лабораторию или протокол подготовки), а не паттерны заболевания. Для решения этой задачи предложена новая метрика на основе объяснений моделей (explanations), которая не требует размеченных данных. Метрика выявляет «короткие пути» (shortcuts), так как артефакты источника проявляются одинаково во всех тканях, тогда как изменения, связанные с раком, специфичны. Предложенный подход позволил выявить 87–92% моделей, использующих такие артефакты, без ложных срабатываний, и успешно переносится на новые типы моделей и данные. Результаты подчеркивают необходимость использования методов интерпретируемости ИИ для валидации медицинских алгоритмов, чтобы избежать внедрения систем, основанных на ложных корреляциях.

Авторы предлагают метод Partitioned Feature Selection (PFS) для анализа данных о депрессии, который учитывает клинические домены симптомов. Метод демонстрирует высокую точность классификации и сопоставимость с SHAP-объяснениями, обеспечивая интерпретируемость моделей машинного обучения в психиатрии.

В исследовании рассматривается применение графовых нейронных сетей (GNN) для анализа данных метагеномики кишечника у пациентов с воспалительными заболеваниями кишечника (ВЗК). Авторы использовали лонгитюдные данные 106 участников проекта HMP2/iHMP для построения индивидуальных сетей микробных ассоциаций и обучения моделей на их основе. Результаты показывают, что хотя модель Random Forest демонстрирует более высокую предсказательную способность (AUPRC ~0.59 против 0.446 у GNN), интерпретация GNN позволила выявить ключевой модуль ко-аберрантных видов отряда Bacteroidales. В отличие от традиционных подходов, этот модуль не отличался по обилию между группами, но его структурные связи несли основной предсказательный сигнал. В независимой когорте удаление этих ассоциаций снижало точность модели до уровня случайного угадывания. Исследование доказывает, что скоординированная структура ассоциаций микробиома является важным диагностическим признаком ВЗК, дополняющим анализ изменений относительного обилия таксонов. Методология демонстрирует потенциал GNN для раскрытия сложных взаимодействий в микробиоме, которые остаются скрытыми при использовании стандартных методов машинного обучения.

В исследовании, опубликованном в журнале npj Digital Medicine, представлена методология стратификации рисков для пациентов с хроническим гепатитом B, основанная на интерпретируемой инженерии признаков. Авторы разработали компактную модель машинного обучения, способную прогнозировать множественные клинические исходы в момент госпитализации пациента. Ключевым аспектом работы является использование методов интерпретируемости (interpretability-driven) для отбора и конструирования признаков, что позволяет не только повысить точность предсказаний, но и обеспечить прозрачность решений для врачей. Модель демонстрирует высокую эффективность в классификации пациентов по группам риска, что критически важно для своевременного назначения терапии и мониторинга состояния. Исследование подчеркивает важность баланса между сложностью модели и ее клинической применимостью, предлагая решение, которое можно интегрировать в рабочие процессы стационаров. Результаты показывают, что компактные модели на основе тщательно отобранных признаков могут превосходить более сложные «черные ящики» в задачах многокритериальной оценки рисков. Это открывает перспективы для внедрения ИИ-инструментов поддержки принятия решений в гепатологию и инфекционные заболевания.

В статье представлена новая методология создания интерпретируемых векторных представлений (эмбеддингов) медицинских концепций, которая интегрирует экспертные знания в процесс обучения с помощью больших языковых моделей (LLM). Авторы подчеркивают критическую важность интерпретируемости в медицинских ИИ-системах, так как «черный ящик» недопустим в клинической практике, где каждое решение должно быть обосновано. Исследование фокусируется на том, как LLM могут не только генерировать семантические векторы, но и обеспечивать прозрачность связей между медицинскими терминами, опираясь на структурированные базы знаний и экспертные правила. Методология предполагает использование LLM для извлечения контекстуальных зависимостей и их согласования с онтологиями, что позволяет создавать эмбеддинги, сохраняющие как семантическую глубину, так и логическую строгость. Ключевые результаты демонстрируют значительное улучшение качества классификации медицинских текстов и извлечения сущностей по сравнению с традиционными методами, такими как Word2Vec или стандартные BERT-модели, обученные только на общих корпусах. Значимость работы заключается в создании инструмента, который снижает риск галлюцинаций ИИ и повышает доверие врачей к автоматизированным системам поддержки принятия решений. Это исследование закладывает фундамент для более надежного внедрения NLP-технологий в электронные медицинские карты и клинические протоколы.

В данной статье представлен масштабный обзор области применения значений Шепли (Shapley values) в контексте клинических предиктивных моделей. Авторы систематизируют текущие методы интерпретируемости машинного обучения, фокусируясь на кооперативной теории игр как инструменте для объяснения вклада отдельных признаков в прогноз модели. Работа служит не только обзором, но и практическим руководством для исследователей и клиницистов, стремящихся внедрить объяснимый ИИ (XAI) в медицинскую практику. Особое внимание уделяется методологическим аспектам расчета значений Шепли, их вычислительной сложности и интерпретации результатов в условиях неопределенности. Статья подчеркивает важность прозрачности алгоритмов для построения доверия между врачами и системами поддержки принятия врачебных решений. Рассматриваются преимущества подхода перед другими методами атрибуции, такими как LIME или простые градиентные методы, особенно в случае сложных нелинейных зависимостей. Авторы выделяют ключевые вызовы, включая необходимость больших вычислительных ресурсов и риск некорректной интерпретации локальных объяснений. Работа закладывает теоретическую базу для более надежного использования черных ящиков ИИ в критически важных медицинских сценариях.

В статье представлен новый интерпретируемый фреймворк AuditPPI, предназначенный для аудита моделей предсказания белок-белковых взаимодействий (PPI), основанных на языковых моделях белков. Авторы используют разреженные автоэнкодеры (SAE) для извлечения признаков из замороженной языковой модели и преобразования их в инвариантные к порядку отпечатки пар, что позволяет переформулировать задачу предсказания PPI как проблему табличного обучения. Методология включает мультимасштабный аудит информации, поддерживающей предсказания, с использованием различных бенчмарков, включая белок-разделенные и контролирующие топологию. Ключевые результаты показывают, что хотя AuditPPI достигает конкурентоспособной предсказательной точности, стандартные бенчмарки часто опираются на контекстуальные сокращения, такие как субклеточная ко-локализация, а не на специфические биологические сигналы интерфейсов взаимодействий. Структурный анализ не выявил значительного обогащения признаков в интерфейсах после контроля за поверхностной экспозицией, что указывает на отсутствие механической достоверности у многих существующих предикторов. Работа демонстрирует, что предсказательный успех не всегда означает понимание биологического механизма, и предлагает практический инструмент для оценки того, захватывают ли модели реальные сигналы взаимодействий или используют артефакты данных. Это исследование критически важно для развития надежных ИИ-систем в структурной биологии и фармакологии, так как помогает отделить истинные биологические инсайты от статистических совпадений.

В исследовании представлена новая методология машинного обучения для предсказания чувствительности патогенов к антибиотикам у детей с респираторными инфекциями, что критически важно для борьбы с антимикробной резистентностью. Авторы разработали консенсусно-взвешенный фреймворк отбора признаков, объединяющий шесть различных агентов (Random Forest, Gradient Boosting, ANOVA F-test, Mutual Information, RFE) для выявления наиболее информативных и не избыточных клинических и микробиологических параметров. Для построения финальной предиктивной модели был применен генетический алгоритм, который отобрал три лучших классификатора (Decision Tree, XGBoost, LightGBM) для создания ансамбля с мягким голосованием. Результаты показали высокую эффективность предложенного подхода: ансамблевая модель достигла точности 0.8799, показателя F1 0.8811 и ROC-AUC 0.9490, превзойдя отдельные модели, такие как LightGBM (точность 0.8718, ROC-AUC 0.9498). Анализ интерпретируемости с помощью SHAP выявил, что ключевыми факторами являются тип антибиотика и вид бактерии, а также значимую роль играют клинические, воспалительные и средовые показатели. Методология включает строгий контроль утечки данных, балансировку выборок и кросс-валидацию, что обеспечивает статистическую надежность результатов. Разработанная система представляет собой мощный инструмент поддержки принятия врачебных решений, позволяющий персонализировать антибиотикотерапию и снижать риски неэффективного лечения. Подход демонстрирует, как сложные ансамблевые методы и многоагентный отбор признаков могут повысить как предсказательную способность, так и клиническую интерпретируемость ИИ-моделей в педиатрии.

В статье представлен новый метод глубокого обучения AGMNet (Adaptive Gated Multimodal Network), предназначенный для классификации болезни Паркинсона. Модель интегрирует данные структурной магнитно-резонансной томографии (МРТ), визуализации транспортера дофамина (DaT), а также признаки асимметрии и биомаркеры. Для обеспечения интерпретируемости решений нейросети используется метод Grad-CAM, позволяющий визуализировать области на снимках, наиболее влияющие на классификацию. Оценка производительности проводилась с помощью пятикратной перекрестной проверки и сравнения с базовыми архитектурами, такими как VGG16, VGG19, InceptionV3 и Xception. Результаты показали точность 0.8318, сбалансированную точность 0.8278, чувствительность 0.8556 и специфичность 0.8000. Площадь под ROC-кривой (AUC) составила 0.711, а коэффициент корреляции Мэтьюса (MCC) — 0.6458. Исследование демонстрирует, что адаптивное мультимодальное слияние данных улучшает интеграцию структурной, функциональной и асимметричной информации по сравнению с использованием только МРТ. Модель AGMNet показала конкурентоспособные результаты относительно существующих архитектур глубокого обучения. Веса затворов подтвердили высокую значимость функциональных данных и признаков асимметрии для точной диагностики. Предложенный подход предлагает перспективный и интерпретируемый инструмент для помощи в диагностике болезни Паркинсона на основе мультимодальных медицинских изображений.

В статье представлен новый фреймворк UniWave-2 для анализа последовательностей нуклеиновых кислот, который решает проблемы информационной разреженности и разрыва непрерывности последовательностей, характерные для традиционных методов глубокого обучения, использующих дискретное кодирование. Авторы предлагают преобразовывать биологические последовательности в сигналы волновых форм, интегрируя в схему кодирования физико-химические свойства, такие как гидрофобность, для более полного отражения структуры молекул. Для повышения разрешения волновых форм применяются преобразование Фурье и вейвлет-преобразование, что позволяет точно захватывать как локальные детали, так и глобальные периодические паттерны в данных. В основе архитектуры лежит легковесная многомасштабная модель GRU (Gated Recurrent Unit), способная взаимодействовать с функциями в разных измерениях, улавливать двунаправленные временные зависимости и учитывать пространственную позиционную информацию. Исследование демонстрирует конкурентоспособные результаты модели на множестве задач геномного анализа, подчеркивая её эффективность по сравнению с существующими подходами. Особое внимание уделено интерпретируемости: анализ важности последовательностей (ISM) показал, что волновое кодирование позволяет получать объяснимые атрибуты без необходимости использования градиентной информации, что критически важно для доверия к ИИ в медицине. Результаты работы позиционируют UniWave-2 как легкий и интерпретируемый инструмент для анализа геномных данных, что может быть применено в персонализированной медицине и диагностике генетических заболеваний.

Статья представляет SSLVNet — гибридную модель на базе самообучения и Vision Transformers для автоматической многоклассовой диагностики заболеваний сетчатки по фотографиям глазного дна. Модель достигает высокой точности (84.44%) и обеспечивает интерпретируемость предсказаний с помощью Grad-CAM, что критически важно для внедрения в клиническую практику.

В статье представлена новая архитектура на базе YOLOv11 для автоматической классификации восьми типов заболеваний сетчатки по изображениям ОКТ. Модель достигает 98% точности и обеспечивает высокую интерпретируемость за счет визуализации Grad-CAM, что делает её перспективной для поддержки скрининга.

В статье представлена новая архитектура нейронной сети MSHAN, сочетающая многомасштабную абстракцию признаков и иерархические механизмы внимания для классификации аритмий по данным ЭКГ. Модель достигла точности 96,25% на базе данных MIT-BIH, превзойдя традиционные методы, и использует визуализацию SHAP для обеспечения интерпретируемости решений, что помогает кардиологам проверять правильность предсказаний.

В статье представлен метод DualTopoDDI — интерпретируемая модель глубокого обучения на основе двойных топологических графов для предсказания взаимодействий между лекарствами (DDI). Традиционные методы часто не способны предоставить механизмы таких взаимодействий, что критично для безопасности пациентов. Авторы применили модель для прогнозирования 9,2 миллиардов потенциальных взаимодействий среди одобренных препаратов, достигнув 97,99% точности для высоконадежных предсказаний. Модель обеспечивает интерпретируемость на молекулярном уровне, выявляя ключевые субструктуры, ответственные за действие препаратов, как с атомарной, так и с связевой точек зрения. Особое внимание уделено объяснению механизмов токсичности, включая успешную расшифровку кардиотоксичности при комбинации препаратов для лечения COVID-19. Оценка на 11 бенчмарк-наборах данных показала, что DualTopoDDI превосходит существующие аналоги по производительности, обобщающей способности и интерпретируемости. Этот инструмент предоставляет критически важные инсайты для обеспечения безопасности лекарств и их дизайна.

В статье представлен пакет R и приложение Shiny ProteoScopeR, предназначенное для стандартизации и повышения воспроизводимости количественного протеомного анализа. Инструмент объединяет ключевые этапы обработки данных, такие как нормализация, обработка пропущенных значений и статистическое моделирование, в единый отслеживаемый рабочий процесс с возможностью экспорта отчётов. Особое внимание уделено интеграции внешнего искусственного интеллекта, который анализирует экспортированные данные и предлагает оптимальные настройки для утверждения исследователем, при этом все вычисления остаются в среде R. В качестве кейс-стади использовались данные DIA-NN по стекловидному телу глаза (69 образцов, 3667 белковых групп) для сравнения патологий nAMD и pmCNV. Исследователи протестировали шесть методов нормализации и семь стратегий обработки пропусков, после чего применили циклический ло-сглаживание для сравнения пяти дифференциальных рабочих процессов. Результаты показали, что алгоритмы limma и proDA выявили 54 и 37 белковых групп соответственно, из которых 31 были общими при строгих статистических критериях. Работа демонстрирует высокую чувствительность результатов к выбору аналитических методов и предлагает решение для прозрачного документирования этих решений в научных исследованиях.