|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
Модификация dropout-регуляризации в градиентном бустингекурсовая работа (Бакалавр)
- Научный руководитель: Китов В.В.
- Автор: Николаев Сергей Владимирович
- Тип: Бакалавр
- Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
- Кафедра: Кафедра математических методов прогнозирования
- Год защиты: 2017
- Курс: 3
- Аннотация: Ансамбли алгоритмов показывают хороший результат во многих задачах машинного обучения. Среди методов построения ансамблей большую популяр- ность имеет градиентный бустинг. Однако он сильно склонен к переобучению, поэтому стоит проблема выбора регуляризации. Как правило для регуляриза- ции в градиентном бустинге используют сокращение весов при базовых алгорит- мах (shrinkage). В данной работе рассматривается еще один вариант регуляри- зации, основанный на широко применяемой в нейронных сетях технике dropout. Этот способ показывает сравнимые, а в некоторых случаях и более качествен- ные результаты в сравнении с shrinkage, что подтверждается экспериментами, приведенными в работе. Проведено сравнение обоих методов на репрезента- тивном наборе задач прогнозирования, указаны их достоинства и недостатки. Также предложена модификация основанной на dropout регуляризации, поз- воляющая улучшить качество работы алгоритма. Кроме того, в работе прове- дено сравнение двух стандартных подходов к многоклассовой классификации в градиентном бустинге, а именно one-vs-all и мультиклассовый логистический градиентный бустинг.
- Добавил в систему: Китов Виктор Владимирович