![]() |
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
Экспоненциальный рост объемов данных в современных и будущих фотометрических обзорах неба в оптическом диапазоне (таких как SDSS, DES, PanSTARRS, LSST) открывает перед астрофизиками новые горизонты исследований, однако требует применения новых подходов для их обработки и анализа, а именно технологий больших данных и облачных вычислений. В данной работе реализован астрономический конвейер (pipeline) обработки изображений включающий в себя суммирование изображений и создание фотометрического каталога. Элементы конвейера - популярные астрономические утилиты SWarp, SExtractor и PSFEx - интегрированы в общую систему обработки построенную на модели вычислений Hadoop MapReduce. В докладе оценивается масштабируемость предложенного решения массовой обработки астрономических изображений на объеме данных 1-1000Gb из фотометрического обзора неба SDSS (Stripe 82).