Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментахНИР

Development and study of distributed computing systems for data processing and analysis in physical experements

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2015 г.-31 декабря 2015 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: В отчетном периоде основные работы работы были связаны с развитием распределенных информационно-вычислительных систем (РИВС). РИВС позволяют объединить в единую среду различные ресурсы такие как базы данных, суперкомпьютеры и кластеры, средства взаимодействия с пользователями. Вместе это создает предпосылки для эффективной обработки все возрастающих потоков информации — больших данных - с реальных физических установок. Конкретная задача, которая решалась в рамках указанного темы, - изучение организации взаимодействия различных веб-сервисов, которые являются основой для построения РИВС, разработки веб-сервисов и протоколов обмена запросами между ними, создание методик проектирования РИВС в целях достижения наиболее эффективных распределенных сред для обработки, анализа и моделирования потоков Больших данных. В ходе работ были получены следующие результаты: а) разработаны новые подходы к построению инфраструктуры безопасности РИВС с использованием сессионных ключей и хешей, для обеспечения безопасного взаимодействия веб-сервисов РИВС. б) обеспечена поддержка и обслуживание Tier2 ресурсного грид-центра всемирной сети обработки и анализа данных с Болшого адронного коллайдера. в) обеспечено надежное хранение, обработка и анализ данных с эксперимента CMS Большого адронного коллайдера.
2 1 января 2016 г.-31 декабря 2016 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: Разработана и развита технология распределенной обработки и анализа больших данных (Big Data) с использованием облачных технологий и грида для высокопроизводительных приложений в естественных науках. Проведена поддержка и обслуживание Tier2 ресурсного грид-центра всемирной сети обработки и анализа данных с Болшого адронного коллайдера. Обеспечено хранение, обработка и анализ данных с эксперимента TUNKA|TAIGA. Проведен анализ направлений развития современных методов унифицированного запуска прикладного ПО в области естественных наук для высокопроизводительных вычислений. С использованием веб-технологий. Обеспечена доступность ресурсного грид-центра на уровне не менее, чем 85%. Обеспечено хранение и доступ к данным по физике гамма астрономии.
3 1 января 2017 г.-31 декабря 2017 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: Была продолжена работа по развитию центра хранения и обработки данных эксперимента ТАЙГА (TAIGA - Tunka Advanced Instrument for Cosmic Ray and Gamma Astronomy), нацеленного на изучение гамма-излучения сверхвысоких энергий. Для повышения безопасности работы разработан набор инструментов для управления контейнерной виртуализацией на удаленных ресурсах. Помимо этого осуществлялась поддержка пользователей, администрирование вычислительных ресурсов и ресурсов хранения данных ресурсного центра уровня Tier-3 грид-инфраструктуры WLCG для участия в проведении моделирования событий в физике тяжелых мезонов для эксперимента LHCb, а также для хранения, обработки и анализа данных с эксперимента CMS Большого адронного коллайдера (ЦЕРН, Женева, Швейцария). В результате проведенных работ пользователи распределенной информационно вычислительной системы НИИЯФ МГУ имеют возможность наиболее удобным образом использовать в режиме удаленного доступа высокопроизводительные вычислительные ресурсы и ресурсы хранения данных для повышения эффективности своей работы. Основные результаты доложены на конференциях и опубликованы следующие работы: International Conference on Computer Simulation in Physics and beyond, Москва, Россия, 9-12 октября 2017. Доклад: Docker Container Manager: A Simple Toolkit for Isolated Work with Shared Computational, Storage, and Network Resources (Устный). Авторы: Stanislav Polyakov, Alexander Kryukov, Andrey Demichev International Conference “Mathematical Modeling and Computational Physics, 2017” (MMCP2017), Дубна, ОИЯИ, Россия, 3-7 июля 2017. Доклад: Web Platform for Sharing Modeling Software in the Field of Nonlinear Optics (Устный). Авторы: Dubenskaya J., Kryukov A., Demichev A. S.P.Polyakov, A.P.Kryukov and A.P.Demichev, YASTD: A Simple Set of CLI Tools to Manage Docker Containers, CEUR Workshop Proceedings 1787 (2017) 557-560 S.P.Polyakov, A.P.Kryukov and A.P.Demichev, Docker Container Manager: A Simple Toolkit for Isolated Work with Shared Computational, Storage, and Network Resources, Journal of Physics: Conference Series (2017) (принято в печать) Web Platform for Sharing Modeling Software in the Field of Nonlinear Optics (Устный). Авторы: Dubenskaya J., Kryukov A., Demichev A. In Proc. Of International Conference “Mathematical Modeling and Computational Physics, 2017” (MMCP2017), European Physics Journal: Web of Conferences (2018), to be published. Получено 5 свидетельств о регистрации ПО. По результатам исследований были получены следующие результаты: 1. Развернуть центр обработки данных эксперимента ТАЙГА. 2. Обеспечена устойчивая работа Tier3 цента по анализу данных экспериментов LHC. 3. Продолжен анализ данных экспериментов CMS и LHCb на Tier3 центре НИИЯФ МГУ 4. Разработана веб-платформа для расчетов параметров нелинейно-оптических явлений.
4 1 января 2018 г.-31 декабря 2018 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: В ходе выполнения работ по теме 6.2 были получены следующие основные результаты: 7. разработана архитектура распределенного хранилища данных для астрофизических экспериментов; 8. разработана программа идентификации типа частиц по данным черенковского телескопа эксперимента TAIGA методом машинного обучения; 9. разработан новый способ запуска задач МС моделирования событий в физических экспериментах на суперкомпьютерах с использованием контейнерной виртуализации; 10. предложен новый подход к решению проблемы управления распределенными хранилищами данных на основе метаданных, умных контрактов и блокчейн-технологии; 11. разработан алгоритм приведения тензорных выражений к канонической форме методом компьютерной алгебры; 12. разработаны программа приведения системы нелинейных ОДУ к нормальной форме. По результатам работ было сделано 7 докладов на российских и международных конференциях, опубликовано 5 работ в научных журналах, получено 2 свидетельства о регистрации программ.
5 1 января 2019 г.-31 декабря 2019 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: Проведены научные исследования на 2019 год: - разработка новых методов и алгоритмов по интеллектуальному анализу данных физических экспериментов; - разработка новых эффективных методов и алгоритмов, как символьных так и численных, для вычислений в физике высоких энергий и физике частиц; - развитие существующих и разработка новых методов предоставления доступа физикам к распределенным хранилищам данных физических экспериментов; - обеспечение работы вычислительного грид-кластера и хранилища данных для эксперимента TAIGA.
6 1 января 2020 г.-31 декабря 2020 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: В 2020 году по теме 6.2 НИР тематического плана НИР НИИЯФ МГУ выполнялись работы по следующим направлениям: 1. Создание распределенных хранилищ данных для астрофизических экспериментов. 2. Методы быстрой генерации модельных изображений событий в экспериментах по регистрации космических частиц. 3. Исследование способов запуска задач МС моделирования событий в физических экспериментах с использованием контейнерной виртуализации для загрузки простаивающих вычислительных слотов суперкомпьютера. 4. Исследование проблемы управления данными физических экспериментов на основе метаданных в распределенных компьютерных средах с частичным или полным отсутствием доверия между группами пользователей. 5. Исследование проблемы упрощения алгебраических выражений с индексами в компьютерной алгебре. 6. Разработка методов приведения системы нелинейных обыкновенных дифференциальных уравнений к нормальной форме. По результатам работ было сделано 9 докладов на российских и международных конференциях, опубликовано 17 работ в научных журналах, получено 1 свидетельство о регистрации программы.
7 1 января 2021 г.-31 декабря 2021 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: 1. Проведен аналитический обзор анализа современной научно-технической литературы. 2. Подготовлен список критериев эффективного анализа редких событий на основе глубокого машинного обучения. 3. Исследован выполнен выбор основных типов конволютивных сетей для для анализа несбалансированных данных и классификации редких событий. 4. Адаптированны существующие и разработаны новые методы и алгоритмы методы моделирования расширенных выборок, предложен метод генерации синтетических выборок при помощи GAN сетей. 5. Проведена оптимизации гиперпараметров и архитектуры конволютивных нейросетей для анализа несбалансированных данных.
8 1 января 2022 г.-31 декабря 2022 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: Итогом работ по теме 6.2 стали следующие результаты. 1. Проведен аналитический обзор анализа современной научно-технической литературы. 2. Исследован ряд сверточных нейросетей моделей для выделения физических параметров первичных космических частиц. 4. Адаптированны существующие и разработаны новые методы и алгоритмы методы моделирования расширенных выборок, предложен метод генерации синтетических выборок при помощи генеративно-состязательных сетей и вариационных автоэнкодеров. 5. Проведена оптимизации гиперпараметров и архитектуры сверточных нейросетевых моделей для анализа данных в эксперименте TAIGA. 6. Исследовано шестипараметрическое обобщение динамической системы Лункевича – Сибирского, найдены соотношения на параметры, при которых система интегрируема. Вычислены соответствующие первые интегралы.
9 1 января 2023 г.-31 декабря 2023 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: Был выполнен цикл работ применению сверточных нейронных сетей для идентификации первичных космических частиц по изображениям широких атмосферных ливней (ШАЛ), полученных атмосферными черенковскими те- лескопами (АЧТ). Данный метод был опробован на данных с АЧТ в экспе- римента TAIGA. Также методами генеративных нейронных сетей решалась задача генерации выборок событий (samples) как замена сложного комплек- са Монте-Карло программ CORSIKA. По результатам работы было сделано 7 докладов на международных конференциях и опубликовано 4 статьи в из- даниях, индексируемых WoS и Scopus. Было проведено исследование свойств систем дифференциальных урав- нений. В частности была показана связь между нейронными сетями и обык- новенными дифференциальными уравнениями (ОДУ). В рамках работы по теме были установлены важные свойства некоторых типов ОДУ. В частно- сти, рассмотрена возможная связь между локальной интегрируемостью ав- тономной двумерной системы ОДУ с полиномиальными правыми частями и ее глобальной интегрируемостью. По результатам работы было сделано 3 доклада на международных конференциях и опубликовано 2 статьи в изда- ниях, индексируемых WoS и Scopus и входящих в RSCI. В 2024 году планируется продолжить исследования в этих направлени- ях. В частности, будет разработана нейросетевая модель выделения гам- ма событий на протоном фоне методом, который является аналогом метода вобблинга в гамма астрономии. Также будут продолжены исследования во- просов интегрируемости систем ОДУ методом нормальных форм.
10 1 января 2024 г.-31 декабря 2024 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа:
11 1 января 2025 г.-31 декабря 2025 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".

Прикрепленные файлы


Имя Описание Имя файла Размер Добавлен