|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
Разработка и исследование методов повышения производительности суперкомпьютеров на основе миграции заданий с использованием контейнерной виртуализацииНИР
Development and research of methods for increasing the performance of supercomputers based on job migration using container virtualization
- Руководитель НИР: Поляков С.П.
- Ответственный исполнитель: Дубенская Ю.Ю.
- Участники НИР: Федотова (Петрова) Е.Ю.
- Подразделение: Лаборатория аналитических вычислений в физике высоких энергий
- Срок исполнения: 22 марта 2018 г. - 19 марта 2020 г.
- Номер договора (контракта, соглашения): 18-37-00502\18
- Номер ЦИТИС: AAAA-A18-118041790037-3
- Тип: Прикладная
- Приоритетное направление научных исследований: Развитие информационных технологий и телекоммуникаций
- ПН России: Информационно-телекоммуникационные системы
-
Рубрики ГРНТИ:
- 50.53.17 Автоматизация сбора и обработки данных научного эксперимента
-
Ключевые слова:
планирование расписания суперкомпьютеров, суперкомпьютеры, контейнерная виртуализация
supercomputer scheduling, container virtualization, supercomputers -
Описание:
Научная новизна предлагаемого проекта состоит в использовании контейнерной виртуализации и возможности миграции контейнеров для загрузки свободных вычислительных слотов суперкомпьютера. Для этого на неиспользуемые вычислительные ресурсы будут запускаться несуперкомпьютерные задачи, для которых достаточно минимального числа процессоров, выделяемого планировщиком (это может быть одно ядро процессора, один процессор или один узел кластера). Технология контейнерной виртуализации позволяет быстро запустить на простаивающем вычислительном ресурсе новую задачу, развернув все необходимое для ее работы, а по окончании минимального промежутка времени, используемого планировщиком, сохранить промежуточные результаты и вновь отправить задание в очередь. Тем самым можно практически полностью заполнить все слоты в расписании, значительно увеличивая эффективность использования вычислительных ресурсов. В настоящем проекте предлагается исследовать вопрос об эффективности предложенного подхода при использовании различных технологий контейнерной виртуализации и по результатам этих исследований разработать систему управления контейнерами для суперкомпьютеров, в задачи которой будет входить передача в очередь на исполнение подготовленных пользователями образов контейнеров, своевременное сохранение результатов работы запущенных контейнеров в новые образы и возвращение в очередь на исполнение образов, для которых работа не была завершена. Все исследования должны пройти моделирование на стенде, имитирующем работу планировщика заданий в условиях потока задач, близкого к реальному потоку.
- Добавил в систему: Боос Елена Георгиевна
Источник финансирования НИР
| грант РФФИ |
Этапы НИР
| # | Сроки | Название |
| 1 | 1 января 2018 г.-31 декабря 2018 г. | Разработка и исследование методов повышения производительности суперкомпьютеров на основе миграции заданий с использованием контейнерной виртуализации |
| Результаты этапа: 1. Моделирование работы планировщика суперкомпьютера Разработаны программы на языке Python, моделирующие работу планировщика суперкомпьютера. Для симулированной очереди заданий с распределением параметров, построенным на основе заданий, выполнявшихся на суперкомпьютере Ломоносов-1, смоделирована работа двух алгоритмов планирования: косвервативного и EASY бэкфилла. Для построенных расписаний найдена средняя загрузка вычислительных ресурсов, для второго из алгоритмов планирования также проанализировано распределение простаивающих ресурсов по времени, в течение которого они свободны. 2. Прогноз повышения эффективной загрузки суперкомпьютера при использовании предлагаемого подхода Выполнены замеры времени создания контрольных точек для Docker-контейнеров и восстановления контейнеров из контрольных точек в зависимости от занимаемой контейнером оперативной памяти. На основе полученных экспериментальных данных, а также на основе результатов моделирования работы планировщика, построена оценка средней доли вычислительных ресурсов суперкомпьютера, которая может быть эффективно использована упакованными в контейнер заданиями при использовании предлагаемого в проекте подхода. | ||
| 2 | 1 января 2019 г.-31 декабря 2019 г. | Разработка и исследование методов повышения производительности суперкомпьютеров на основе миграции заданий с использованием контейнерной виртуализации |
| Результаты этапа: | ||
Прикрепленные к НИР результаты
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".