В исследовании, опубликованном в журнале Nature Machine Intelligence, Кумаран и его коллеги продемонстрировали, что большие языковые модели (LLM) при принятии решений о том, когда ответить на вопрос, а когда воздержаться от ответа, могут быть подвержены влиянию путем усиления или подавления сигналов уверенности в модели. Авторы установили причинно-следственную связь между внутренними сигналами уверенности и поведением модели, что выходит за рамки простых корреляционных наблюдений. В работе, вероятно, использовались методы вмешательства в активации модели или логиты, чтобы напрямую манипулировать уровнем уверенности и наблюдать за изменениями в решениях модели. Результаты показывают, что усиление сигналов уверенности приводит к более частым ответам, даже если они могут быть неверными, в то время как подавление уверенности увеличивает частоту воздержания от ответа, что может повысить точность, но снизить полезность. Это исследование имеет важное значение для разработки более надежных и безопасных систем ИИ в медицине, где способность модели признавать свою неуверенность критически важна для предотвращения ошибочных диагнозов и рекомендаций. Понимание механизмов уверенности может помочь в создании систем, которые лучше калибруют свои ответы и более эффективно взаимодействуют с врачами и пациентами.