ИСТИНА

Проект направлен на выявление особенностей в ходе выполнения суперкомпьютерных приложений с целью исследования их эффективности. Исследования базируются на анализе данных системного мониторинга: динамические и интегральные характеристики задач, а также данных от системы управления потоком задач. Комплекс работ над проектом содержит ряд взаимодополняющих направлений: 1) Систематизация причин и признаков неэффективного поведения приложений с точки зрения использования ресурсов суперкомпьютера. Выявление ключевых динамических и интегральных характеристик. Выработка рекомендаций по использованию системы мониторинга и полученных с ее помощью данных для проведения анализа эффективности приложений. 2) Исследование поведения конкретных динамических характеристик. Описание характерных признаков изменения поведения динамических характеристик из выделенного набора ключевых характеристик. 3) Разработка подхода, позволяющего в автоматическом режиме обнаруживать особенности хода выполнения суперкомпьютерных приложений из всего потока задач по результату анализа интегральных характеристик задач. Обеспечение возможности осуществления гибких выборок задач по обнаруженным особенностям. Подход должен позволять пользователям вести совместно анализ эффективности задач, запущенных в рамках одного проекта и предоставлять расширенные данные по любой из выполненных задач. Таким образом, в результате выполнения работ над проектом создается доступный каждому пользователю комплекс средств для эффективной работы по исследованию эффективности суперкомпьютерных приложений, что ведет к итоговому повышению отдачи от суперкомпьютерного центра в целом.

Итоговые результаты В результате выполнения работ над проектом разработан и апробирован подход к исследованию эффективности использования суперкомпьютерных систем, основанный на анализе данных системного мониторинга. Выделены ключевые динамические и интегральные характеристики. Выделено более 60 основных типов поведения, отвечающие типовым характерам использования соответствующих ресурсов. Рассмотрены примеры приложений, в которых динамические характеристики имели отвечающее выделенным признакам поведение, для чего использованы как синтетические тесты, так и реальные приложения пользователей. Данные исследований опубликованы на специально созданном сайте: dynamics.parallel.ru. Защищена диссертационная работа Д.А.Никитенко "Комплексный подход к исследованию причин и признаков снижения эффективности суперкомпьютерных приложений и систем на основе данных системного мониторинга" на соискание ученой степени кандидата физико-математических наук, специальность 05.13.11 "Математическое и программное обеспечение вычислительных машин, комплексов и сетей". Разработана система расстановки меток, отражающих признаки неэффективного поведения приложений, основанная на анализе интегральных характеристик приложений. Система реализована в виде системы тегов и позволяет осуществлять гибкую выборку данных по всему множеству завершенных задач, что позволяет выделить задачи с определенными особенностями поведения. Предоставляется широкий спектр характеристик по удовлетворяющим условиям запроса задачам. Результат является новым и не имеет аналогов в существующей практике крупнейших СКЦ. Результатом внедрения разработанных систем является повышение эффективности использования суперкомпьютерных центров в целом Результаты 2015 г. Разработана система обнаружения особенностей поведения суперкомпьютерных приложений, представляющих интерес с точки зрения исследования эффективности, основанная на автоматическом анализе интегральных характеристик приложений, данных СУПЗ и внешних анализаторов эффективности с поддержкой режима ручного использования. Система реализована в виде скриптов обнаружения признаков неэффективного поведения задач и системы тегов для присвоения соответствующих меток описаниям задач. Система позволяет осуществлять гибкую выборку данных по всему множеству завершенных задач, что позволяет выделить задачи с определенными особенностями поведения. Пользователю предоставляется широкий спектр характеристик по удовлетворяющим условиям запроса задачам. Для каждой задачи предоставляется возможность получить расширенные данные по ходу выполнения, включая отчеты по ранее проведенному анализу. Система ориентирована на проектную организацию работ в рамках СКЦ, что позволяет участникам проектов проводить анализ эффективности запущенных в рамках проекта задач совместно. Ключевым функционалом разработанной системы является возможность работы с характеристиками всего множества выполненных задач с гибкой фильтрацией по особенностям поведения с возможностью интеграции с данными внешних анализаторов эффективности работы суперкомпьютерных приложений.