Аннотация:Эффективное использование ресурсов системы предполагает постоянный контроль
за состоянием системы. Полноценный контроль возможен только в автоматизированном
или автоматическом режиме. Программное обеспечение для системного мониторинга
состояния крупных систем (например, statsD[2] или collectD[1] ) позволяет собирать
более 10 3 значений различных показателей в секунду с одного вычислительного узла
системы. Если количество узлов более 100, то за секунду такие программные средства
могут собирать более 10 5 значений различных показателей. Достаточно немного повы-
сить уровень детализации при сборе статистики и количество собираемых показателей
возрастает до 10 5 –10 6 .
Современные системы управления базами данных, в принципе, позволяют сохранять
такое количество записей, однако после нескольких дней сбора данных в таком режиме
последующие запросы на извлечение данных выполняются недопустимо долго. Таким
образом, хранение данных столь большого объёма в необработанном виде отрицательно
сказывается на доступности и отзывчивости системы хранения. В такой ситуации ста-
бильный и надёжный контроль состояния целевой системы становится невозможным.
Одним из возможных решений данной проблемы является введение промежуточ-
ной агрегирующей программной системы, расположенной между источником данных
системного мониторинга и системой хранения. В полученной схеме плотность потока
данных к системе хранения регулируемо снижается, а информативность результата аг-
регации остаётся на высоком уровне.
В данной работе представлен отчёт о разработанной программной системе, предна-
значенной решить проблему высокой нагрузки на системы хранения данных