ИСТИНА

Увеличивающиеся размеры и сложность суперкомпьютеров предъявляют все более жесткие требования к системам мониторинга, ставшим неотъемлемой частью этого класса машин. При этом цели мониторинга могут быть разными. С одной стороны, очень важная цель – отслеживание сбоев, которые могут привести к неправильной работе программ или к выходу из строя компонентов вычислительной системы. С другой стороны, усложнение архитектуры суперкомпьютеров делает крайне сложным написание эффективных программ, а значит, нужен постоянный контроль эффективности, чтобы дорогостоящие ресурсы суперкомпьютера использовались бы с должной степенью отдачи. И та, и другая задача требуют отслеживания десятков параметров с каждого вычислительного узла с периодом порядка единиц секунд, а в перспективе и долей секунды. Такие потоки информации с тысяч узлов современных систем, и с сотен тысяч и миллионов для перспективных систем, требуют новых подходов к организации систем мониторинга. В результате выполнения проекта предполагается разработать принципы построения сверхмасштабируемых систем мониторинга для суперкомпьютеров петафлопсного и экзафлопсного уровня производительности. Будет предложена архитектура варианта такой системы, разработанная с учетом указанных принципов. Основой архитектуры станет модульность для облегчения адаптации под новые вычислительные системы; децентрализация и перенос части обработки на вычислительные узлы, для разгрузки центральной части системы при создании минимальной нагрузки на узлах; возможность распределения потоков данных как по частям вычислительной системы, от которой получены данные, по типу предварительной обработки (прореживание, сравнение с порогами), по цели, с которой производится мониторинг (отслеживание отказов, контроль эффективности). На основе разработанных принципов и архитектуры планируется разработать прототип системы мониторинга и апробировать его в суперкомпьютерном комплексе Московского университета (суперкомпьютеры «Чебышев», «Ломоносов»).

В рамках работ по проекту разработаны принципы построения сверхмасштабируемых систем мониторинга для суперкомпьютеров. Эти принципы включают в себя модульность системы мониторинга во всех ее аспектах: модульность получения данных, модульность обработки данных мониторинга и модульность компонент, отвечающих за связи частей системы мониторинга между собой. Для обеспечения применимости системы мониторинга на больших вычислительных системах и обеспечения решения в рамках единого комплекса задач по отслеживанию состояния оборудования и мониторинга производительности нужно обеспечить: - возможность направлять разные потоки данных по разным путям или копии одних и тех же данных нескольким получателям; - динамическую переконфигурацию режимов работы системы мониторинга (путей передачи данных, параметров сбора данных, путей обработки данных); - возможность вычисления метрик производительности для отдельных задач во время сбора данных, без записи их на диск с последующим считыванием; - перенос части обработки данных мониторинга на вычислительные узлы. На основе указанных принципов были разработаны прототипы каркаса системы мониторинга и базовые ее компоненты. Эти компоненты были апробированы на вычислительных системах из состава суперкомпьютерного комплекса МГУ.