языковые модели

Статья в журнале Nature Machine Intelligence (опубликована онлайн 1 сентября 2026 года) представляет новый подход к улучшению надежности искусственного интеллекта путем использования сигналов мозга человека. Исследователи обнаружили, что выравнивание представлений (representational alignment) — метод, который ранее использовался для сравнения активности человеческого мозга и языковых моделей, — может быть применен для управления процессом обучения ИИ. В работе показано, что использование нейронных сигналов в качестве обратной связи позволяет направлять рассуждения моделей, повышая их точность и устойчивость к ошибкам. Метод основан на сопоставлении внутренних представлений модели с паттернами активности мозга, что помогает модели лучше имитировать человеческие когнитивные процессы. Эксперименты продемонстрировали значительное улучшение надежности рассуждений по сравнению с традиционными подходами. Это открывает новые перспективы для создания более интерпретируемых и безопасных систем ИИ в медицине, где точность и объяснимость критически важны. Результаты подчеркивают потенциал нейронауки в совершенствовании алгоритмов машинного обучения.

В статье представлен Karenina — открытый фреймворк, предназначенный для многомерной оценки языковых моделей и агентов в биомедицине. Авторы отмечают, что современные бенчмарки вознаграждают правильные ответы, даже если лежащие в их основе рассуждения ошибочны, что создает риски для клинического применения. Karenina преобразует экспертные знания в структурированные оценки по нескольким измерениям, охватывающим вопросы, многоходовые диалоги и автономный анализ данных. Фреймворк выходит за рамки простого скоринга, обеспечивая более глубокую проверку надежности и обоснованности решений ИИ. Это позволяет принимать более безопасные и обоснованные решения при использовании ИИ в биомедицинских задачах. Код и документация доступны как open-source, что способствует воспроизводимости и широкому внедрению. Работа адресована исследователям и разработчикам, стремящимся к более строгой и прозрачной оценке ИИ в медицине.

В статье представлен конвейер in silico, который использует условную языковую модель Finenzyme для генерации ферментных последовательностей, а затем оценивает их структурную стабильность с помощью симуляций молекулярной динамики. Симуляции 236 ферментов из четырёх классов EC показали, что 82,6% структур сохраняют стабильность, что подтверждает потенциал подхода для биомедицинских и промышленных применений.

В статье представлен PocketScope — новый вычислительный фреймворк для поиска сайтов связывания лигандов в протеоме человека без необходимости обучения. Метод использует замороженные эмбеддинги белковой языковой модели ESM-C 600M для представления аминокислотных остатков, выстилающих полости белков, и выполняет исчерпывающий поиск по принципу позднего взаимодействия MaxSim, избегая пулинга и приближенного поиска ближайших соседей. С помощью PocketScope авторы идентифицировали 153 805 полостей в 37 682 белках человеческого протеома AlphaFold и успешно восстановили задокументированные офф-таргеты лекарственных препаратов на наборе фармакологических пар. На бенчмарке ProSPECCTs метод занял первое место среди 23 методов по среднему рангу в десяти коллекциях. PocketScope представляет собой практичный инструмент для предсказания офф-таргетов в масштабе всего протеома, что важно для оценки безопасности лекарств и понимания механизмов их действия. Фреймворк доступен как открытый исходный код и веб-сервер.

Исследователи представили MAXWELL (Matrix-wise Landscape Learning) — новый метод пост-обучения для калибровки вероятностных выходов языковых моделей белков с целью прогнозирования влияния мутаций на стабильность белков. Метод позволяет генерировать мутационные ландшафты, количественно оценивающие эффекты отдельных аминокислотных замен на стабильность белка, что критически важно для белковой инженерии и разработки терапевтических препаратов. При применении к модели ProteinMPNN MAXWELL продемонстрировал результаты уровня state-of-the-art, превзойдя ThermoMPNN и другие представительные методы на курированном бенчмарке экспериментально измеренных изменений стабильности. Экспериментальная валидация включала дизайн десяти точечных мутаций в дегалогеназе DhaA, из которых семь (70%) увеличили термическую стабильность белка. Наибольшее улучшение показала мутация G171W с измеренным значением ΔT 4.91°C. Эти результаты подтверждают MAXWELL как практическую стратегию для дизайна стабилизирующих мутаций с потенциальным применением в разработке ферментных терапевтических препаратов и биотехнологии.

Исследование представляет TEDlm — новый класс языковых моделей белков, которые обучаются на сегментах структурно определенных доменов, а не на полноразмерных последовательностях. В отличие от стандартных моделей (например, ESM2), TEDlm фокусируется на очищенных сигналах фолдов, исключая линкеры и неупорядоченные области. Авторы предложили вариант TEDlm3D, использующий функцию потерь на основе контактов (C distance-guided contact loss) для супервизии карт внимания. В тестах на обнаружение удаленного гомологичного сходства (CATH S40, <40% идентичности) модель TEDlm с 650 млн параметров показала AUROC 0.28, что превосходит 3-миллиардную ESM2 (0.22), а версия TEDlm3D достигла AUROC 0.50, вплотную приблизившись к результатам структурного инструмента Foldseek (0.53). Кроме того, TEDlm демонстрирует значительное улучшение в zero-shot предсказании молекулярных функций и сохраняет высокую точность в задачах биофизических свойств. Результаты доказывают, что доменно-ориентированное предобучение позволяет создавать компактные и структурно информированные модели, эффективные для биоинформатики и разработки лекарств.

В исследовании представлен Shifu — инновационный фреймворк, предназначенный для решения проблем предсказания вторичной структуры РНК с помощью глубокого обучения. Авторы указывают на критическую проблему существующих методов: использование единых оценочных показателей скрывает локальные ошибки моделей и может свидетельствовать о простом заучивании обучающих данных. Решение состоит из трех компонентов: Shifu-Corpus, представляющего собой аудит-контролируемый датасет из 254 123 последовательностей из шести баз данных с защитой от утечек данных; системы оценки Shifu Trifecta, оценивающей модели по трем осям (точность, охват разнообразия РНК и надежность уверенности); и семейства компактных языковых моделей Shifu-LMR. Эксперименты показали, что изменение обучающего корпуса влияет на точность на 0,13, а компактная модель Shifu-LMR-Nano с 65 миллионами параметров демонстрирует лидирующие показатели точности, при этом работая на обычном ноутбуке. Разработчики открывают доступ к датасету, коду и архитектурам моделей для дальнейшего использования в биоинформатике.

В исследовании представлен инновационный подход к диагностике рассеянного склероза (РС) с использованием передовых методов машинного обучения. Авторы разработали новую декодерную модель эмбеддингов ДНК B-клеточных рецепторов (BCR), которая превосходит существующие специализированные и универсальные белковые языковые модели. В ходе работы был проведен реанализ публичных данных секвенирования РНК, в результате чего было извлечено более 11 миллионов последовательностей тяжелых цепей иммуноглобулина (IGH) из различных тканей. Разработанный классификатор на базе языковой модели способен эффективно отличать репертуары пациентов с РС от контрольных групп, включая здоровых людей, пациентов с инфекционными и другими аутоиммунными заболеваниями. Модель также успешно ранжирует известные миелин-связывающие последовательности IgG, специфичные для РС, по сравнению с контрольными образцами. Данная методология закладывает фундамент для создания высокоточных методов детекции рассеянного склероза на основе анализа BCR в крови, что имеет критическое значение для ранней диагностики и мониторинга заболевания.

В исследовании рассматривается двойственная природа вероятностного моделирования последовательностей и сжатия данных, где языковые модели используются как инструмент оценки качества генеративного моделирования ДНК. Авторы представили семейство из десяти моделей DNAGPT2 (архитектура GPT-2-small), предобученных на мультивидовом корпусе DNABERT2 с использованием одной видеокарты A40. Ключевым достижением стало достижение показателя 1.47 бит на основание (bpb) при сжатии генома человека T2T, что заняло четвертое место в бенчмарке Cobilab и превзошло все универсальные компрессоры общего назначения. Исследование выявило, что стандартная для NLP токенизация может быть неоптимальной для ДНК: словарь BPE размером в 32 токена показал лучшие результаты, чем более крупные словари. Также было обнаружено, что модели с коротким контекстом, использующие BPE, могут превосходить специализированные геномные модели с длинным контекстом из-за различий в архитектуре и данных. В завершение авторы создали карту информационной плотности генома человека, продемонстрировав статистически значимые различия в профилях информации между экзонами, интронами, межгенными участками и повторами Alu.

Исследовательская группа Yang et al. представила CrossDNA — инновационную и параметрически эффективную языковую модель, предназначенную для моделирования двуцепочечной структуры ДНК. В отличие от традиционных подходов, CrossDNA учитывает динамику взаимодействия между цепями ДНК, что позволяет более точно интерпретировать биологические функции последовательностей. Модель демонстрирует высокие показатели в стандартных бенчмарках, превосходя существующие аналоги в задачах понимания контекста генома. Ключевое практическое применение разработки заключается в интерпретации регуляторных областей генома и приоритизации не кодирующих вариантов (non-coding variants), что критически важно для генетической диагностики. Использование CrossDNA позволяет значительно повысить точность предсказания функциональных последствий мутаций, которые ранее было сложно классифицировать. Данная технология открывает новые возможности для персонализированной медицины и глубокого анализа геномных данных.

Исследование представляет ST-PARM — инновационный фреймворк для выравнивания (alignment) замороженных языковых моделей белков, предназначенный для решения задач многокритериального дизайна. Основная проблема инженерии белков заключается в конфликте свойств: улучшение одного параметра часто ведет к деградации другого. Авторы предложили использовать сглаженную скаляризацию по методу Чебышёва и модель вознаграждения, учитывающую неопределенность (uncertainty-aware), что позволяет эффективно обходить невыпуклые области Парето. В ходе тестирования на дизайне флуоресценции/стабильности GFP и стабильности/растворимости нанотел IL-6, метод ST-PARM продемонстрировал более широкое покрытие фронта Парето и лучшую точность отслеживания предпочтений по сравнению с базовыми моделями PARM и MosPro. Использование стратегий построения пар в латентном пространстве обеспечивает высокую контролируемость генерации последовательностей даже при наличии шума в оценках. Результаты исследования закладывают фундамент для создания практических инструментов генерации белков с заданными, сбалансированными свойствами для последующих лабораторных испытаний.

В исследовании представлен EvoRMD — инновационный фреймворк для прогнозирования типов модификаций РНК, который преодолевает ограничения существующих методов, рассматривающих каждый тип модификации как независимую задачу. В отличие от традиционных подходов, EvoRMD учитывает биологический контекст, интегрируя эмбеддинги последовательностей из крупномасштабной языковой модели РНК со структурированными метаданными: видом организма, органом, типом клеток и субклеточной локализацией. Модель использует облегченный механизм внимания (attention mechanism) для выделения информативных позиций в последовательности и общий многоклассовый классификатор для распределения вероятностей между 11 типами модификаций (включая Am, Cm, Um, Gm, D, pseudouridine, m1A, m5C, m5U, m6A, m7G). Архитектура позволяет учитывать специфику данных, где в одной позиции может присутствовать только одна модификация, а остальные остаются неразмеченными. Результаты демонстрируют высокую прогностическую точность и обеспечивают интерпретируемость через анализ профилей внимания и мотивов. Данная разработка имеет критическое значение для понимания механизмов посттранскрипционной регуляции экспрессии генов и может быть использована для приоритизации целей в молекулярной биологии.

Исследователи представили eSIG-Net (edgetic mutation Sequence-based Interaction Grammar Network) — инновационную последовательностную «языковую модель взаимодействий», предназначенную для прогнозирования того, как одиночные мутации изменяют белковые взаимодействия. В основе метода лежит комбинация различных эмбеддингов белковых последовательностей и специализированный модуль кодирования мутаций, учитывающий синтаксические и эволюционные аспекты. Использование контрастивного обучения позволяет модели эффективно оценивать изменения в профилях взаимодействий, вызванных мутациями. Результаты тестов показали, что eSIG-Net значительно превосходит существующие современные методы, как основанные на последовательностях, так и на структурах белков. Модель способна с высокой степенью уверенности выявлять причинно-следственные варианты мутаций и объяснять их функциональную роль в биологическом контексте. Важным преимуществом является то, что eSIG-Net работает исключительно на основе информации о последовательностях, демонстрируя высокую обобщающую способность без необходимости в сложных структурных данных.

Исследование посвящено изучению механизмов интерпретируемости предобученных геномных языковых моделей (gLM), в частности модели InstaDeeps Nucleotide Transformer v2 с 500 миллионами параметров. Авторы применили метод разреженных автоэнкодеров (SAE) ко всем 24 слоям энкодера для анализа латентных признаков. В ходе работы были построены графы знаний «последовательность-признак» для исследования пространства признаков SAE и проведено сравнение сообществ ДНК, связывающихся с цисплатином, и не связывающихся с ним с использованием центральности PageRank. Экспериментальные интервенции с использованием декодера и CNN-классификатора связывания показали асимметричные эффекты: подавляющие признаки могли полностью разрушить прогностический сигнал, в то время как признаки, связанные со связыванием, вызывали кумулятивный сдвиг предсказаний. Результаты доказывают, что представления gLM кодируют высокогранулярный синтаксис последовательностей и паттерны консервативности, ориентируясь на локальные биофизические ограничения, а не на сложные распределенные регуляторные логики. Это объясняет высокую эффективность моделей в молекулярных задачах при их относительной слабости в широком регуляторном выводе.

В данном исследовании представлен новый унифицированный бенчмарк BGCs-Bench, предназначенный для оценки эффективности геномных языковых моделей (gLM) с поддержкой длинного контекста. Основное внимание уделено анализу биосинтетических генных кластеров (BGC) через решение трех ключевых задач: предсказание биосинтетического класса, таксономическая классификация и аннотация кодирующих последовательностей. Авторы провели систематическую послойную оценку эмбеддингов, доказав, что выбор конкретных слоев модели критически влияет на точность выполнения прикладных задач. С помощью анализа logit lens для авторегрессионных моделей на базе архитектуры StripedHyena было выявлено, что ранние слои отвечают за кодирование биологически значимой информации из последовательностей ДНК, в то время как глубокие слои оптимизированы для генерации последовательностей. Результаты работы предоставляют методологическую базу для более эффективной разработки и применения специализированных ИИ-моделей в геномике и синтетической биологии.

Данная научная работа представляет собой комплексный систематический обзор современных возможностей использования больших языковых моделей (LLM) в задачах обработки медицинских текстовых данных. Исследование фокусируется на методологиях применения архитектур трансформеров для извлечения структурированной информации из неструктурированных клинических записей, электронных медицинских карт и научной литературы. Авторы анализируют эффективность различных моделей в таких ключевых задачах, как суммаризация анамнеза, классификация диагнозов и извлечение сущностей (NER). В обзоре рассматриваются как успехи в точности распознавания медицинских терминов, так и критические проблемы, включая галлюцинации моделей и вопросы конфиденциальности данных пациентов. Результаты подчеркивают потенциал интеграции ИИ в рабочие процессы врачей для автоматизации рутинного документирования. Работа служит важным ориентиром для разработчиков медицинского ПО и исследователей, стремящихся внедрить NLP-решения в клиническую практику.

Исследование представляет новый фреймворк для предсказания аффинности связывания белков (protein-protein binding affinity) исключительно на основе их последовательностей, что критически важно для оптимизации антител и разработки биопрепаратов. Авторы предложили метод метрического обучения, где две белковые последовательности проецируются в общее латентное пространство, а косинусное сходство между ними напрямую коррелирует с экспериментальной аффинностью. Модель использует эффективную тонкую настройку параметров (PEFT) языковых моделей белков. В тестах на бенчмарке PPB-Affinity модель достигла коэффициента корреляции Пирсона r = 0,89 на случайном разделении и продемонстрировала высокую обобщающую способность на эволюционно далеких белках (r = 0,61 при идентичности последовательностей <30%). На наборе данных AB-Bind метод с использованием всего 30% данных (r = 0,756, RMSE = 0,688) превзошел модели, обученные на 90% данных. Важной особенностью является интерпретируемость: анализ на уровне остатков показал, что модель фокусирует внимание на интерфейсных остатках, соответствующих экспериментально подтвержденным «горячим точкам» взаимодействия. Это открывает масштабируемый путь к дизайну терапевтических антител без необходимости получения сложных 3D-структур.

Исследователи представили HalluCodon — кастомизируемый фреймворк, использующий мультимодальные языковые модели для проектирования кодирующих последовательностей, адаптированных под конкретные виды растений. Методология основана на стратегии дизайна через «галлюцинацию», где процесс направляется двумя предиктивными модулями: CodonNAT, оценивающим естественность кодонов, и CodonEXP, прогнозирующим потенциал экспрессии. Система позволяет пользователям дообучать (fine-tune) предобученные белковые и РНК-языковые модели на собственных наборах данных. Текущая реализация включает базовые модели, обученные на кодирующих последовательностях и протеомах 15 различных видов растений. Бенчмарк-тесты подтвердили, что сгенерированные последовательности точно воспроизводят паттерны использования кодонов хозяина и обеспечивают высокие уровни экспрессии в растительных системах. Данная разработка имеет высокую значимость для синтетической биологии, молекулярного земледелия и создания трансгенных культур.

Исследователи представили IDiom — новую авторегрессионную языковую модель белка, специально разработанную для генеративного дизайна внутренне неупорядоченных областей белков (IDR). В отличие от традиционных методов, ориентированных на стабильные структуры, IDiom обучалась на массиве из 37 миллионов последовательностей неупорядоченных регионов, отобранных из базы данных AlphaFold. Использование метода аугментации данных 'fill-in-the-middle' позволяет модели генерировать последовательности как в контексте окружающих структурированных доменов, так и в виде полностью неупорядоченных белков. Ключевым достижением стало применение обучения с подкреплением (RL) с использованием модели вознаграждения за субклеточную локализацию, что позволило создавать последовательности с заданными свойствами распределения по клеточным компартментам. Модель успешно воспроизводит биологически релевантные эволюционные статистические характеристики природных IDR. Данная разработка открывает новые возможности для рационального дизайна белков, которые ранее считались недоступными для классических методов моделирования.