ИСТИНА

Ландшафты потерь активно изучались для параметрических моделей, таких как глубокие нейронные сети, предлагая теоретические и практические идеи. Однако в другом популярном типе алгоритмов машинного обучения, а именно в ансамблях деревьев решений (например, GBDT), такой анализ отсутствует из-за сложного характера процедуры обучения и отсутствия параметров для оптимизации методом градиентного спуска. Чтобы преодолеть эту проблему, мы рассматриваем задачу оптимизации весов листьев для заданного набора деревьев с помощью градиентного спуска, которая раскрывает несколько удивительных феноменов.