|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
Система динамической обработки данных системного мониторинга Aqueductкурсовая работа (Магистр)
- Научный руководитель: Жуматий С.А.
- Автор: Леменков Даниил Дмитриевич
- Тип: Магистр
- Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
- Кафедра: Кафедра суперкомпьютеров и квантовой информатики
- Год защиты: 2018
- Курс: 5
- Аннотация: Эффективное использование ресурсов системы предполагает постоянный контроль за состоянием системы. Полноценный контроль возможен только в автоматизированном или автоматическом режиме. Программное обеспечение для системного мониторинга состояния крупных систем (например, statsD[2] или collectD[1] ) позволяет собирать более 10 3 значений различных показателей в секунду с одного вычислительного узла системы. Если количество узлов более 100, то за секунду такие программные средства могут собирать более 10 5 значений различных показателей. Достаточно немного повы- сить уровень детализации при сборе статистики и количество собираемых показателей возрастает до 10 5 –10 6 . Современные системы управления базами данных, в принципе, позволяют сохранять такое количество записей, однако после нескольких дней сбора данных в таком режиме последующие запросы на извлечение данных выполняются недопустимо долго. Таким образом, хранение данных столь большого объёма в необработанном виде отрицательно сказывается на доступности и отзывчивости системы хранения. В такой ситуации ста- бильный и надёжный контроль состояния целевой системы становится невозможным. Одним из возможных решений данной проблемы является введение промежуточ- ной агрегирующей программной системы, расположенной между источником данных системного мониторинга и системой хранения. В полученной схеме плотность потока данных к системе хранения регулируемо снижается, а информативность результата аг- регации остаётся на высоком уровне. В данной работе представлен отчёт о разработанной программной системе, предна- значенной решить проблему высокой нагрузки на системы хранения данных
- Добавил в систему: Жуматий Сергей Анатольевич