Методы и масштабируемые параллельные алгоритмы для автоматического построения и оптимизации глубоких нейронных сетей на параллельных высокопроизводительных системах.НИР

Methods and scalable parallel algorithms for automatic construction and optimization of deep neural networks on parallel high-performance systems.

Соисполнители НИР

МГУ имени М.В.Ломоносова Координатор

Источник финансирования НИР

грант РФФИ

Этапы НИР

# Сроки Название
1 1 января 2020 г.-31 декабря 2020 г. Методы и масштабируемые параллельные алгоритмы для автоматического построения и оптимизации глубоких нейронных сетей на параллельных высокопроизводительных системах.
Результаты этапа: Проведено аналитическое исследование актуальных и перспективных подходов к автоматическому построению глубоких нейронных сетей с учетом возможностей их реализации на высокопроизводительных вычислительных кластерах и суперкомпьютерных системах. Определена тестовая задача и соответствующая ей база данных и выполнен сравнительный анализ имеющихся в открытом доступе методов настройки гиперпараметров нейросетевых моделей. Разработаны и численно исследованы алгоритмы обучения глубоких нейронных сетей, основанные на методах эволюционных вычислений и роевого интеллекта. Будет проведен анализ структуры предложенных алгоритмов с точки зрения их параллельной реализации, в том числе выделение и классификация основных вычислительных и коммуникационных паттернов данного семейства алгоритмов. Проведен обзор подходов к оценке эффективности глубоких нейросетей и предложен метод оценки эффективности для выполнения сравнительного анализа архитектур и методов обучения глубоких нейросетей.
2 1 января 2021 г.-31 декабря 2021 г. Методы и масштабируемые параллельные алгоритмы для автоматического построения и оптимизации глубоких нейронных сетей на параллельных высокопроизводительных системах.
Результаты этапа: Разработаны методы и проведена их прототипая реализация для автоматического построения архитектуры нейросети для заданного набора элементов нейросетевых шаблонных операций. Разработан набор тестовых и модельных задач для отладки и тестирования популяционных алгоритмов непрерывной оптимизации, включающей, в том числе, задачи машинного обучения с использованием различных архитектур искусственных нейронных сетей. Проведен анализ, классификация и визуализация разработанной системы с помощью различных методов кластерного анализа. Реализована рекомендательная система для автоматического подбора наиболее эффективных алгоритмов непрерывной оптимизации и настройки их мета-параметров под заданный класс задач оптимизации с применением методов коллаборативной фильтрации, построенных на основе моделей глубокого обучения. Разработаны метрические и генеративные методы обучения по нескольким примерам. Разработаны критерии для идентификации конфигураций задачи и метода обучения, приводящих к негативному переносу.
3 1 января 2022 г.-31 декабря 2022 г. Методы и масштабируемые параллельные алгоритмы для автоматического построения и оптимизации глубоких нейронных сетей на параллельных высокопроизводительных системах.
Результаты этапа: Будут проведены экспериментальные исследования разработанных алгоритмов и программных систем. С учетом результатов проведенных исследований будут усовершенствованы предлагаемые методы и алгоритмы. Будет дана оценка эффективности применения разрабатываемых подходов и выработаны рекомендации по их использованию для решения задач интеллектуального анализа данных. Будет разработана программная библиотека для работы с популяционными алгоритмами оптимизации с поддержкой параллельных вычислений. Библиотека будет поддерживать работу с наиболее популярными существующими алгоритмами данного класса, предоставлять средства для разработки и включения в библиотеку новых алгоритмов, включать подсистему тестирования на основе классических задач многомерной непрерывной и дискретной оптимизации, в том числе, задач машинного обучения. Разработаны методы моделирования негативного переноса. Будет проведено тестирования эффективности сформулированных в 2021 году критериев идентификации негативного переноса для ряда нейросетевых алгоритмов переноса обучения с применением указанных методов моделирования. Выполнена реализация разработанных инструментов для симуляции негативного переноса, вычисления критериев негативного переноса, а также некоторых наиболее востребованных алгоритмов переноса обучения для глубоких сетей в рамках единой программной библиотеки. Проведен анализ и выполнена разработка алгоритмов построения признакового описания исходных данных, используя схему обучения без учителя. Разработана программная библиотека методов обучения нейронных сетей устойчивых к ошибкам в разметке обучающей выборки. Проведено исследование и разработка методов редукции (прунинга) нейронной сети, выполняемых в ходе однократного обучения сети. Представлены результаты анализа применимости статистических критериев для оценки значимости весов и определения параметров, подлежащих удалению.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".