безопасность ИИ

Статья представляет собой критический обзор перехода от узкоспециализированных моделей ИИ к фундаментальным моделям (foundation models) в сфере лечения диабета, охватывая такие области, как диагностика ретинопатии, прогнозирование уровня глюкозы и анализ электронных медицинских карт. Авторы выявляют серьезные пробелы в валидации, включая отсутствие проспективных испытаний и проблемы с калибровкой моделей, а также анализируют риски безопасности, такие как галлюцинации LLM и алгоритмическая несправедливость.

В статье, опубликованной в журнале npj Digital Medicine 31 октября 2026 года, представлен фундаментальный анализ механизмов принятия решений медицинскими большими языковыми моделями (LLM). Исследование фокусируется на механистической интерпретируемости, позволяющей заглянуть «внутрь» нейросетей и понять, как именно модели формируют клинические выводы. Авторы изучают вариативность в рассуждениях ИИ, выявляя паттерны, которые могут приводить к ошибкам или непоследовательности в диагностике и рекомендациях. Методология включает декомпозицию вычислительных путей в моделях для идентификации конкретных нейронов и слоев, отвечающих за медицинские концепции. Результаты показывают, что вариативность часто связана с неустойчивостью активаций в ключевых слоях внимания, что критично для безопасности применения ИИ в клинической практике. Работа подчеркивает необходимость разработки методов стабилизации рассуждений LLM для повышения их надежности в реальных медицинских сценариях. Это исследование закладывает основу для создания более прозрачных и доверенных ИИ-систем, способных не только ставить диагнозы, но и объяснять логику своих решений врачам. Значимость работы заключается в переходе от «черного ящика» к объяснимому ИИ, что является ключевым барьером для внедрения технологий в клинические протоколы.

Штат Юта значительно расширил свою программу регуляторной песочницы для искусственного интеллекта в сфере здравоохранения, добавив новые пилотные проекты и усилив механизмы контроля безопасности. В рамках обновленной программы будут протестированы решения на базе ИИ для поддержки продления рецептов, дерматологической диагностики и реабилитации после физических травм. Ключевыми участниками пилотов выступают компании August AI и Nolla Health, чьи технологии направлены на оптимизацию различных аспектов медицинской помощи. Для повышения уровня доверия и ответственности в программу были включены требования о наличии врачебного надзора за решениями ИИ, а также привлечены независимые сторонние оценщики для объективной проверки эффективности и безопасности алгоритмов. Этот шаг отражает тенденцию к более строгому, но гибкому регулированию медицинских ИИ-решений на региональном уровне в США. Программа позволяет разработчикам тестировать инновации в реальных условиях под контролем регуляторов, что способствует ускорению внедрения технологий при сохранении безопасности пациентов. Расширение списка участников и добавление новых сценариев использования демонстрируют растущий интерес штата к интеграции машинного обучения в клиническую практику. Инициатива служит моделью для других регионов, стремящихся найти баланс между технологическим прогрессом и защитой интересов пациентов.

В исследовании, опубликованном в журнале npj Digital Medicine 7 октября 2026 года, представлена инновационная методология генерации истории настоящего заболевания (HPI) для пациентов с гипертиреозом с применением мультиагентной системы на базе больших языковых моделей (LLM) и технологии поиска с дополнением (RAG). Ключевой проблемой, которую решает данная работа, является снижение уровня «позитивных фактических галлюцинаций» — ситуаций, когда ИИ генерирует правдоподобные, но неверные медицинские утверждения, что критически важно для безопасности пациентов. Авторы разработали архитектуру, в которой несколько специализированных агентов взаимодействуют для извлечения данных, проверки фактов и формирования итогового текста, используя внешние базы знаний через RAG для верификации клинических параметров. Методология позволяет существенно повысить точность и достоверность автоматически сгенерированных медицинских записей по сравнению с традиционными одноагентными подходами. Результаты исследования демонстрируют значительное улучшение качества текста и снижение количества фактических ошибок, что делает систему пригодной для интеграции в клиническую практику для автоматизации документирования. Это исследование вносит важный вклад в развитие надежных ИИ-инструментов для обработки естественного языка в медицине, особенно в контексте сложных эндокринных заболеваний. Работа подчеркивает необходимость строгого контроля за фактологической точностью при использовании генеративного ИИ в здравоохранении.

В перспективной статье, опубликованной в Nature Machine Intelligence, исследователи Леви и соавторы предлагают новый подход к пониманию внутреннего устройства больших языковых моделей (LLM), фокусируясь на так называемых «токенах рассуждения». Авторы отмечают парадоксальную ситуацию: хотя модели генерируют текстовые цепочки рассуждений, их фактическое решение задачи может отличаться от того, что следует из этого текста. Статья посвящена методологии исследования роли этих промежуточных токенов, которые интерпретируются не просто как текст, а как скрытое состояние модели, влияющее на последующие шаги. Работа направлена на разработку способов анализа того, как именно эти внутренние представления формируют итоговый вывод. Это исследование имеет значение для области объяснимого ИИ (XAI) и безопасности медицинских диагностических систем, где критически важно понимать логику принятия решений алгоритмом. Понимание природы токенов рассуждения позволяет улучшить прозрачность ИИ-ассистентов, используемых в клинической практике, обеспечивая более надежную верификацию их рекомендаций врачами. Статья закладывает теоретическую базу для будущих прикладных исследований в области доверенного искусственного интеллекта.

В статье, опубликованной в журнале npj Artificial Intelligence 7 октября 2026 года, представлена концепция и анализ атак типа «FramePoison» на системы генерации с извлечением данных (RAG), применяемые в медицинской сфере. В отличие от традиционных методов отравления данных, которые искажают сами факты или медицинские знания, предлагаемые атаки манипулируют контекстным оформлением (фреймингом) информации, что приводит к некорректным выводам генеративных моделей при сохранении фактической точности исходных документов. Исследование демонстрирует уязвимость современных медицинских RAG-систем к тонким изменениям в подаче данных, которые могут влиять на интерпретацию симптомов, диагнозов или рекомендаций по лечению. Авторы подчеркивают критическую важность устойчивости алгоритмов к таким манипуляциям, так как в медицине ошибки интерпретации контекста могут иметь прямые последствия для безопасности пациентов. Работа вносит значительный вклад в область безопасности ИИ в здравоохранении, выделяя новый вектор угроз, который требует пересмотра стандартов валидации и тестирования медицинских языковых моделей. Результаты исследования указывают на необходимость разработки новых методов защиты, фокусирующихся не только на проверке фактов, но и на анализе семантического контекста и структуры подачи информации в базах знаний.

Статья вводит понятие «самореферентной надежности» (SER) как отдельного свойства безопасности для адаптивного клинического ИИ, оценивая способность системы достоверно оценивать качество и неопределенность собственных выводов. Авторы аргументируют необходимость независимой валидации этого свойства в рамках постмаркетингового надзора, расширяя существующие принципы воспроизводимости и надежности машинного обучения.

В статье представлена концептуальная архитектура SOMA — система управления профилактическим здоровьем, предназначенная для адаптивной цифровой поддержки самоконтроля пациентов. Основная цель разработки — преодоление фрагментарности существующих потребительских инструментов, которые редко интегрируют мультимодальные данные, научные доказательства и ограничения безопасности в единую структуру. Архитектура включает пять взаимосвязанных компонентов: ядро цифрового двойника, синтезирующее вектор состояния здоровья из биологических и поведенческих данных; ядро научного интеллекта для оценки качества доказательств; реляционное ядро для коммуникации; профиль управления здоровьем пользователя и движок непрерывного обучения. Ключевым элементом является интеграция этих модулей с жесткими границами безопасности и медицинской эскалации, что позволяет формировать управляемые рекомендации, снижающие риски некорректной помощи. Исследование выводит пять проверяемых гипотез для будущей эмпирической валидации, подчеркивая, что на данный момент SOMA является теоретической моделью без подтвержденной клинической эффективности. Работа вносит вклад в организацию здравоохранения, предлагая структурированный подход к governance (управлению) цифровых медицинских продуктов, хотя и не содержит результатов внедрения или тестирования ИИ-моделей на реальных данных.

В исследовании, опубликованном в журнале Nature Machine Intelligence, Кумаран и его коллеги продемонстрировали, что большие языковые модели (LLM) при принятии решений о том, когда ответить на вопрос, а когда воздержаться от ответа, могут быть подвержены влиянию путем усиления или подавления сигналов уверенности в модели. Авторы установили причинно-следственную связь между внутренними сигналами уверенности и поведением модели, что выходит за рамки простых корреляционных наблюдений. В работе, вероятно, использовались методы вмешательства в активации модели или логиты, чтобы напрямую манипулировать уровнем уверенности и наблюдать за изменениями в решениях модели. Результаты показывают, что усиление сигналов уверенности приводит к более частым ответам, даже если они могут быть неверными, в то время как подавление уверенности увеличивает частоту воздержания от ответа, что может повысить точность, но снизить полезность. Это исследование имеет важное значение для разработки более надежных и безопасных систем ИИ в медицине, где способность модели признавать свою неуверенность критически важна для предотвращения ошибочных диагнозов и рекомендаций. Понимание механизмов уверенности может помочь в создании систем, которые лучше калибруют свои ответы и более эффективно взаимодействуют с врачами и пациентами.

Еженедельный дайджест Vademecum, посвященный применению искусственного интеллекта в здравоохранении, охватывает события с 30 августа по 5 сентября 2026 года. В обзоре представлены несколько ключевых тем: внедрение ИИ для управления финансами больниц во Владимирской области, что демонстрирует расширение использования технологий в административной сфере медицинских учреждений. Также сообщается о предложении Всемирной организации здравоохранения (ВОЗ) включить московский Центр диагностики и телемедицины в международный консорциум по развитию медицинского ИИ, что подчеркивает признание российских разработок на глобальном уровне. Дополнительно в дайджесте рассматривается запуск ИИ-поисковика медицинских публикаций на основе базы данных PubMed, который призван ускорить поиск научной информации для врачей и исследователей. Отдельное внимание уделяется анализу рисков ошибок ИИ-секретарей при обработке названий лекарственных препаратов и постановке диагнозов, что является важным аспектом безопасности внедрения технологий в клиническую практику. Материал носит обзорный характер и агрегирует наиболее значимые новости недели в области медицинского ИИ, представляя интерес для специалистов, следящих за трендами цифровизации здравоохранения.

Компании «К2 Кибербезопасность» и «Лаборатория Касперского» представили результаты совместного исследования «Безопасность ИИ в корпоративном секторе», посвященного уровню осведомленности и практикам применения методологии MLSecOps (Machine Learning Security Operations) в российских компаниях. Согласно данным, лишь 14% российских корпораций знакомы с методологией безопасной разработки и эксплуатации систем искусственного интеллекта, что свидетельствует о низком уровне зрелости процессов кибербезопасности в области ИИ. Исследование охватывало крупные предприятия из различных отраслей, включая финансовый сектор, промышленность и ритейл. Авторы отмечают, что большинство компаний внедряют ИИ-решения без должного внимания к защите моделей от атак, утечек данных и несанкционированного вмешательства. В отчете подчеркивается необходимость разработки отраслевых стандартов и регламентов, а также повышения квалификации специалистов по безопасности ИИ. Эксперты рекомендуют интегрировать MLSecOps в существующие процессы DevSecOps и проводить регулярные аудиты ИИ-систем. Полные результаты исследования доступны по запросу у организаторов.

Исследование систематически оценивает уязвимость фундаментальных ИИ-моделей для геномики к отравлению обучающих данных через бэкдор-атаки. Авторы протестировали три семейства моделей с семью масштабами параметров (от 50 миллионов до 7 миллиардов) на 18 задачах геномной классификации. Разработаны два типа триггеров длиной 48 нуклеотидов: синтетическая последовательность и биологически обоснованный триггер на основе терминальных инвертированных повторов транспозонов. Отравление всего 5% обучающих данных привело к успеху атак от 91,4% до 100% во всех тестированных моделях, при этом увеличение масштаба параметров не улучшало устойчивость. Производительность на немодифицированных последовательностях сохранилась: в 79,4% конфигураций изменение составило не более двух процентных пунктов. Предложен двухэтапный метод защиты, сочетающий скрининг чувствительности к одиночным нуклеотидным мутациям с валидацией по референсной базе данных, достигший 100% точности и медианной полноты 92,95%. Результаты подчёркивают необходимость усиленного контроля происхождения данных и посттренировочного аудита безопасности для медицинских ИИ-систем, работающих с геномными данными.

Статья посвящена актуальной проблеме внедрения больших языковых моделей (LLM) в клиническую практику. Основное внимание уделено вопросу доверия врачей к ИИ-чат-ботам и методологии оценки их безопасности и точности. Разработчики медицинских ИИ-инструментов заявляют, что существующие подходы к бенчмаркингу имеют серьёзные недостатки и не отражают реальные клинические условия. Поднимается проблема конкуренции между различными LLM за внимание медицинского сообщества. Статья исследует напряжённость между быстрым внедрением технологий и необходимостью доказательной валидации. Особый акцент сделан на том, что текущие стандарты оценки могут не соответствовать специфике медицинских задач. Материал важен для понимания барьеров на пути интеграции ИИ в здравоохранение и необходимости разработки более релевантных метрик оценки.

В Соединенных Штатах представлен новый законопроект, направленный на усиление государственного контроля над развитием технологий искусственного интеллекта. Согласно документу, министр внутренней безопасности США получит исключительное право объявлять чрезвычайную ситуацию и требовать немедленного отключения коммерческих ИИ-моделей. Это право будет реализовано в случае возникновения инцидентов, которые власти классифицируют как катастрофические для национальной безопасности. Механизм предусматривает возможность обжалования решения, однако официальные лица подчеркивают, что такие меры будут иметь приоритетный характер и вряд ли будут отменены в оперативном режиме. Данная инициатива создает важный прецедент в области регулирования ИИ, смещая баланс сил от технологических компаний в сторону государственных регуляторов. Для индустрии это означает необходимость разработки протоколов экстренного завершения работы систем и учета новых юридических рисков при развертывании масштабных моделей.

Исследование психолога Джавада Аббаси Джондани из Университета Исфахана, опубликованное в журнале American Psychologist, поднимает критический вопрос безопасности генеративного ИИ в психиатрии. Автор утверждает, что бесконтрольное использование чат-ботов пациентами с психическими расстройствами может привести к деградации их состояния. Основные риски включают откладывание обращения к квалифицированным врачам из-за ложного чувства поддержки и формирование патологической зависимости от цифровых советов. Кроме того, ИИ может непреднамеренно подтверждать и закреплять искаженные когнитивные убеждения пользователя, что усугубляет психопатологическую симптоматику. Данная работа подчеркивает необходимость строгого регулирования и клинического надзора при интеграции больших языковых моделей в терапевтические процессы.

Компания «Яндекс» объявила о получении международного сертификата ISO/IEC 42001, подтверждающего соответствие систем управления искусственным интеллектом стандартам ответственной разработки. Данная сертификация охватывает всё семейство генеративных моделей Alice AI, что является важным этапом в обеспечении безопасности и этичности ИИ-решений. Внедрение стандарта ISO/IEC 42001 подразумевает наличие строгих процессов управления рисками, оценки качества данных и минимизации предвзятости алгоритмов. Для медицинской отрасли и здравоохранения это имеет критическое значение, так как использование генеративного ИИ в клинической практике требует высочайшего уровня предсказуемости и безопасности. Получение сертификата подтверждает, что модели проходят комплексную проверку на устойчивость к атакам и корректность генерации контента. Это создает фундамент для более широкого внедрения ИИ-ассистентов в профессиональные сферы, где цена ошибки крайне высока.

В статье исследуются критические уязвимости и вызовы безопасности, возникающие при использовании мультиагентных систем на основе больших языковых моделей (LLM) в различных предметных областях. Авторы выделяют семь ключевых проблем, связанных с взаимодействием агентов, которые могут привести к компрометации данных или некорректному выполнению задач при переходе между доменами. Основное внимание уделяется рискам, возникающим в процессе обмена контекстом и инструментами между специализированными агентами. Исследование подчеркивает необходимость разработки новых протоколов безопасности и методов изоляции для предотвращения несанкционированного доступа и манипуляций в сложных ИИ-экосистемах. Результаты работы имеют важное значение для разработчиков архитектур ИИ, стремящихся к созданию надежных и безопасных автономных систем. Данная работа закладывает теоретическую основу для защиты мультиагентных сред от атак типа 'prompt injection' и междоменных утечек.

В статье рассматривается критическая проблема современного медицинского ИИ: разрыв между высокой производительностью моделей и их клинической обоснованностью. Авторы утверждают, что текущие методы объяснимого ИИ (XAI) и post-hoc интерпретации недостаточны для преодоления эпистемического разрыва между поведением алгоритма и обоснованными медицинскими заключениями. Вместо акцента на интерпретируемость, исследователи предлагают переход к модели управления на основе проверяемости (testability). Основные рекомендации включают проведение пререгистрированных эмпирических испытаний для проверки причинно-следственного соответствия и устойчивости моделей к изменениям оборудования (сканеров), локаций и подгрупп пациентов. Также предлагается концепция «Институционального ИИ», которая подразумевает обязательный аудит происхождения данных, проспективную валидацию, внешние проверки и использование состязательных (adversarial) методов оценки для больших языковых моделей (LLM). Данный подход направлен на минимизацию использования алгоритмами «коротких путей» (shortcuts) и обеспечение безопасности клинического применения.

Исследование оценивает способность пяти современных языковых моделей (включая GPT-5 и GPT-4o) решать клинические задачи, связанные с лечением болей в пояснице. Авторы выявили критические ошибки в безопасности и полноте ответов, а также доказали, что структурированный промпт-инжиниринг может значительно улучшить качество медицинских рекомендаций ИИ.