Аннотация:Ансамбли алгоритмов показывают хороший результат во многих задачах
машинного обучения. Среди методов построения ансамблей большую популяр-
ность имеет градиентный бустинг. Однако он сильно склонен к переобучению,
поэтому стоит проблема выбора регуляризации. Как правило для регуляриза-
ции в градиентном бустинге используют сокращение весов при базовых алгорит-
мах (shrinkage). В данной работе рассматривается еще один вариант регуляри-
зации, основанный на широко применяемой в нейронных сетях технике dropout.
Этот способ показывает сравнимые, а в некоторых случаях и более качествен-
ные результаты в сравнении с shrinkage, что подтверждается экспериментами,
приведенными в работе. Проведено сравнение обоих методов на репрезента-
тивном наборе задач прогнозирования, указаны их достоинства и недостатки.
Также предложена модификация основанной на dropout регуляризации, поз-
воляющая улучшить качество работы алгоритма. Кроме того, в работе прове-
дено сравнение двух стандартных подходов к многоклассовой классификации
в градиентном бустинге, а именно one-vs-all и мультиклассовый логистический
градиентный бустинг.