В статье, опубликованной в Nature Machine Intelligence, исследователи Ли и Гун предлагают новую теоретическую модель для объяснения фундаментальных проблем воспроизводимости и предсказуемости результатов глубокого обучения. Они вводят понятие «фрактальной геометрии бассейнов притяжения», демонстрируя, что начальные точки, ведущие к различным локальным минимумам или решениям, переплетаются на произвольно мелких масштабах. Это означает, что увеличение точности вычислений или начальных условий дает минимальный прирост в стабильности результатов, так как система крайне чувствительна к микроскопическим изменениям. Работа фокусируется на математических основах нейронных сетей, анализируя ландшафт функции потерь и динамику оптимизации. Авторы показывают, что хаотическая природа этих процессов ограничивает возможность точного воспроизведения обученных моделей даже при идентичных гиперпараметрах. Это исследование имеет критическое значение для разработки более надежных алгоритмов обучения и методов стандартизации в ИИ. Понимание этих ограничений необходимо для внедрения ИИ в чувствительные области, где воспроизводимость является ключевым требованием. Статья закладывает теоретическую базу для будущих исследований по повышению устойчивости глубоких нейронных сетей.