|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
Regularization Approach for Accelerating Neural Architecture Searchстатья
- Авторы: Nikulenkov M., Khamitov K., Popova N.
- Сборник: Supercomputing. RuSCDays 2022. Lecture Notes in Computer Science
- Серия: Lecture Notes in Computer Science
- Том: 13708
- Год издания: 2022
- Издательство: Springer International Publishing AG
- Местоположение издательства: Cham, Switzerland
- Первая страница: 475
- Последняя страница: 485
- Аннотация: Современные искусственные нейронные сети используют обширные топологии длястановятся применимыми к подавляющему большинству задач ML. В настоящее время такие топологии имеют огромное количество параметров, что делает ихпроще в использовании, но сложнее в обучении и модификации. При таком количествепараметры, использование полуавтоматических методов построения илиАдаптация новых моделей к актуальным задачам жизненно необходима для всей отрасли.Это делает необходимым оптимизировать такие методы, как нейронная архитектура.Поиск (NAS) для эффективного использования вычислительных ресурсов графического процессораи целый кластер. Поскольку современные инструменты NAS обычно используются для оптимизации моделей в разных областях или создания комбинации моделей изпрошлом, они должны использовать много вычислительной мощности для выполнениянекоторые процедуры оптимизации гиперпараметров. Многие методы NASвысокопараллельного характера, но все же они требуют много вычислительныхмощности и имеют огромное время сходимости. Ключ к увеличениюпроизводительность многих методов NAS повышает производительность обучения глубокой и синтезированной модели для оценки зондамодель и получить оценку для этой эпохи. значит требуетдля параллельных реализаций должны быть доступны в различных конфигурациях кластера и должны использовать как можно больше узлов, демонстрируя высокую производительность.масштабируемость. Тем не менее, простые подходы там, где решения NAS нене учитывать предыдущие результаты приводят к расточительному использованию вычислениймощность. В этой статье мы представляем новый метод, который может улучшить сходимость в методе NAS на основе NEAT, используя регуляризацию L1/L2 во времяшаг эволюции.
- Добавил в систему: Попова Нина Николаевна