Исследование сравнивает эффективность девяти архитектур глубокого обучения (CNN и трансформеров) в диагностике рака молочной железы на датасете BreaKHis. Авторы внедряют строгий протокол кросс-валидации с учетом разделения по пациентам, чтобы исключить утечку данных, и приходят к выводу, что при правильной методологии различия в архитектурах моделей становятся незначительными.
Исследование представляет TB-Bench — комплексную платформу для оценки эффективности алгоритмов машинного (ML) и глубокого обучения (DL) в прогнозировании лекарственной устойчивости туберкулеза на основе данных полногеномного секвенирования (WGS). Авторы проанализировали 20 различных моделей из 8 существующих исследований, протестировав их на 14 препаратах второй линии. В ходе экспериментов на наборе данных ВОЗ (50 801 образец) было выявлено, что традиционные ML-модели, такие как XGBoost, демонстрируют более высокие показатели PRAUC (от 46% до 93%) для 10 из 14 препаратов по сравнению с глубоким обучением. При внешней валидации на 1 199 образцах было установлено, что ни один класс моделей не показал значительного превосходства над каталожными методами, что указывает на проблемы с обобщающей способностью алгоритмов. Результаты подчеркивают потенциал использования упрощенных ML-моделей в условиях ограниченных ресурсов. Исследователи опубликовали исходный код проекта для обеспечения воспроизводимости и дальнейшего развития стандартов оценки в клинической практике.
В исследовании представлен DrugPlayGround — инновационный фреймворк, разработанный для объективной оценки эффективности больших языковых моделей (LLM) в области поиска и разработки новых лекарств. Авторы подчеркивают, что, несмотря на растущий потенциал LLM для ускорения генерации гипотез и оптимизации приоритетов кандидатов, в отрасли отсутствует стандартизированная методология оценки их преимуществ и ограничений по сравнению с традиционными платформами. DrugPlayGround позволяет тестировать способность моделей генерировать точные текстовые описания физико-химических свойств препаратов, синергизма лекарств, их взаимодействий с белками, а также физиологических реакций на введение молекул. Особое внимание уделяется проверке химической и биологической логики моделей через взаимодействие с экспертами предметной области для обоснования предсказаний. Данная разработка критически важна для масштабирования и снижения стоимости процессов разработки лекарств, обеспечивая переход от общих генеративных задач к специализированному научному обоснованию на всех этапах создания препаратов.