6 статей
Статья посвящена критической важности непрерывного мониторинга медицинских ИИ-систем после их развертывания. Автор рассматривает проблему деградации моделей и «дрейфа данных» (data drift), возникающих из-за изменений в клинической практике и популяциях пациентов.
В статье, опубликованной в журнале npj Digital Medicine, предлагается инновационный подход к контролю за использованием больших языковых моделей (LLM) в здравоохранении — мониторинг на основе способностей (capability-based monitoring). Авторы подчеркивают, что текущие стратегии надзора неэффективны, так как LLM являются универсальными системами, чьи внутренние возможности многократно используются в различных медицинских задачах. Вместо проверки каждой отдельной задачи, предлагается организовать мониторинг вокруг общих когнитивных и функциональных способностей моделей. Это позволит выявлять системные недостатки, редкие ошибки («long-tail errors») и эмерджентное поведение на ранних стадиях. В работе детально рассматриваются рекомендации для разработчиков ИИ, руководителей медицинских организаций, профессиональных сообществ и государственных регуляторов. Такой подход критически важен для обеспечения безопасности и надежности внедрения генеративного ИИ в клиническую практику.
Президент России Владимир Путин на совещании, посвященном развитию технологий искусственного интеллекта, обозначил приоритетную задачу по анализу рисков и угроз. Основное внимание уделено необходимости разработки моделей предотвращения проблем, которые могут возникнуть при масштабном внедрении нейросетей в чувствительные сектора экономики и общества. Глава государства подчеркнул, что ИИ будет интегрирован практически во все отрасли, включая социальную сферу и здравоохранение. Особый акцент сделан на растущем влиянии технологий на повседневную жизнь людей и общую экономическую стабильность. В рамках стратегии планируется не только внедрение инструментов ИИ, но и создание механизмов своевременного реагирования на потенциальные технологические вызовы. Данное заявление задает вектор государственного регулирования и безопасности при масштабировании ИИ-решений в критической инфраструктуре.
Компания Kilo представила платформу KiloClaw для организаций, предназначенную для решения проблемы «теневого ИИ» (Shadow AI) и бесконтрольного использования автономных агентов сотрудниками. В условиях тренда Bring Your Own AI (BYOAI) работники внедряют персональных агентов для автоматизации задач, что создает критические уязвимости и риски утечки интеллектуальной собственности через личные API-ключи. KiloClaw предоставляет централизованную панель управления, позволяющую ИТ-службам идентифицировать, отслеживать и ограничивать действия автономных агентов, не блокируя при этом продуктивность. В отличие от традиционных систем управления доступом (IAM), ориентированных на людей, решение учитывает динамическую природу агентов, которые способны самостоятельно выстраивать цепочки задач и взаимодействовать с корпоративными данными в Slack, Jira и репозиториях кода. Платформа позволяет интегрировать разрозненные инструменты в единый реестр для аудита поведения и потоков данных, предотвращая использование корпоративной информации сторонними серверами для обучения моделей.
Юта стала первым штатом США, разрешившим ИИ-системе автономно обрабатывать повторные рецепты для пациентов с хроническими заболеваниями. Исследователи из Mindgard AI обнаружили уязвимости в чат-боте компании Doctronic, однако власти штата утверждают, что текущая система работает под строгим контролем.
Мини-обзор посвящён применению больших языковых моделей в клинической практике, сравнивает общие и специализированные медицинские модели. Статья анализирует преимущества в эффективности документации и диагностических рассуждениях, а также проблемы галлюцинаций, приватности и валидности метрик оценки. Описываются перспективные направления развития, включая retrieval-augmented generation и агентные архитектуры.
