Определение потенциала масштабируемости приложений с использованием динамических характеристик выполнения параллельных программНИР

Источник финансирования НИР

грант РФФИ

Этапы НИР

# Сроки Название
1 1 января 2013 г.-31 декабря 2013 г. Определение потенциала масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ
Результаты этапа: Выполнен аналитический обзор доступных инструментальных средств для определения динамических характеристик выполнения параллельных программ. Осуществлён выбор наиболее подходящих для целей данного исследования инструментальных средств. Для исследования динамических характеристик выполнения параллельных программ предлагается использовать подход, называемый Job Digest, созданный ранее при участии исполнителей настоящего проекта. Составлен перечень определяемых инструментальными средствами динамических характеристик выполнения параллельных программ, включающий основные характеристики, выдаваемые в отчёте Job Digest. Получено описание факторов, в наибольшей степени влияющих на масштабируемость параллельных программ на суперкомпьютерах максимального уровня производительности. Рассмотрены следующие факторы: латентность коммуникационной сети, пропускная способность коммуникационной сети, топология коммуникационной сети, использование при работе жёсткого диска, характеристики оперативной памяти, объём и характеристики кэш-памяти, разбалансированность вычислений, предел декомпозиции данных. Для каждого фактора приводятся примеры графиков, полученных с помощью выбранных инструментальных средств, иллюстрирующие то, каким образом и по каким данным рассматриваемый фактор может быть обнаружен.
2 1 января 2014 г.-31 декабря 2014 г. Определение потенциала масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ
Результаты этапа: Разработана методика исследования масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ. Методика базируется на расширенном понятии масштабируемости как свойства параллельной программы, характеризующего зависимость изменения динамических характеристик работы этой программы от изменения параметров ее запуска. Созданная методика исследования масштабируемости заключается в объединении всех доступных данных о работе параллельной программы и анализе влияния как каждого фактора, так и их совокупности, на качество выполнения параллельной программы. Методика основана на том, что рассматриваются в совокупности все динамические характеристики выполнения параллельного приложения. Таким образом, данные о масштабируемости параллельной программы становятся представимы в виде векторной функции от нескольких переменных. Аргументами такой функции являются значения изменяющихся параметров запуска, оказывающих влияние на качество выполнения программы, а значения функции представимы в виде вектора, каждый из элементов которых является значением динамической характеристики выполнения параллельной программы. К этим динамическим характеристикам нужно отнести как интегральные характеристики (время выполнения, ускорение, эффективность, производительность), так и динамические характеристики, являющиеся значением данных системы мониторинга (кэш-промахи, загрузка сетей передачи данных, значения интенсивности использования своп-памяти и т.д.). Анализ собранных таким образом данных заключается в выявлении корреляций между отдельными интегральными характеристиками качества выполнения программы и характеристиками из данных системного мониторинга. Другой частью создаваемой методики для исследования масштабируемости с использованием динамических характеристик выполнения параллельных программ является более глубокий анализ системного мониторинга по каждой отдельной динамической характеристике. Это позволяет оценить степень влияния каждого отдельного фактора на масштабируемость всей программы. Для каждого из выделенных факторов, в наибольшей степени влияющих на масштабируемость параллельных программ на суперкомпьютерах максимального уровня производительности, определен набор динамических характеристик выполнения параллельных программ, на основании которых можно делать вывод о наличии и степени влияния данного фактора. Проанализированы факторы, относящиеся к использованию коммуникационной сети (латентность коммуникационной сети, пропускная способность коммуникационной сети, топология коммуникационной сети), к использованию компонентов вычислительного узла компьютера (использование при работе жесткого диска, характеристики оперативной памяти, объем и характеристики кэш-памяти) и факторы, связанные с характеристиками используемого алгоритма или исследуемой параллельной программы (дисбаланс загрузки, предел декомпозиции данных). Результаты анализа проиллюстрированы данными, полученными с помощью систем мониторинга работы приложений, работающих на суперкомпьютерах СКИФ МГУ «Чебышев» и «Ломоносов».
3 1 января 2015 г.-31 декабря 2015 г. Определение потенциала масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ
Результаты этапа: На третьем этапе выполнения проекта исследованы возможности построения методов предсказания основных характеристик выполнения программы на сверхбольших конфигурациях целевого суперкомпьютера. Прогноз строится либо на основе теоретических оценок характеристик алгоритма, либо же на основе данных реальных вычислений. Наиболее точный прогноз масштабируемости может быть построен только при грамотном комбинировании этих источников данных. Проведена апробация всех разработанных в данном проекте методов и подходов на специально разработанных тестах, известных тестовых наборах и реальных прикладных задачах с использованием суперкомпьютера "Ломоносов", входящего в состав Суперкомпьютерного комплекса Московского университета.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".