![]() |
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
С каждым годом техники распознавания образов показывают все большие успехи. Одновременно увеличиваются объемы, растут детальность и точность накопленных данных о морфологии рельефа земной поверхности и ее изменениях во времени. Это открывает широкие возможности для тестирования частичной автоматизации геоморфологического картографирования. Попытки классифицирования рельефа по цифровой информации предпринимаются вот уже, минимум, 50 лет. Сначала эти попытки состояли чаще всего в выделении структурных элементов земной поверхности: характерных точек, линий выпуклых и вогнутых перегибов первой и второй производных высоты по пространственным координатам, и заключенных между этими точками и линиями поверхностей. Позже появляются работы, где авторами выделяются какие-то конкретные формы (друмлины, импактные кратеры и т. д.), комплексы форм (поля песчаных дюн), геоморфологические режимы территории и прочее. Геоморфологи, не занимающиеся вплотную морфометрическим анализом рельефа, тем не менее, обычно не проявляют интерес к уже разработанным инструментам и подходам. Думается, это связано с тем, что сложившиеся подходы (особенно, в СССР и России) к созданию общих геоморфологических карт во всех масштабах требуют информации, которую не удается получить одним только морфометрическим анализом. Однако теоретический предел "машинного картографирования" - это, как минимум, выделение тех же контуров, которые может провести геоморфолог по топографической карте без привлечения данных разрезов, скважин, геофизических и других изысканий. Даже этот предел пока кажется мало достижим. Возможно, его достижение будет связано с внедрением современных методов распознавания образов - классификаций с обучением, в частности, глубоких сверточных нейронных сетей, которые уже сейчас решают задачи классификации изображений (принципиальное наличие или отсутствие объекта на изображении), их сегментации (выделения границ объекта или объектов). Сейчас, помимо широкого распространения цифровых моделей рельефа - ЦМР - средней (SRTM 1", Alos World 3D) и высокой (ArcticDEM) детальности, продолжают расти возможности мониторинга кинематики рельефа - за счет использования радарных интерферометрических снимков (Alos Palsar, Sentinel-1 и др.). Пока еще временной ряд наблюдений на большей части планеты невелик, однако, даже он позволяет с осторожностью судить о текущем характере изменения отметок высот на участках с активной морфодинамикой. В данном проекте мы предлагаем использовать комбинированную информацию о морфологии рельефа с ЦМР и о ее текущих изменениях по данным Sentinel-1A в качестве входных данных для моделей классификации с обучением. Эталоном для этих моделей послужат существующие геоморфологические карты, в том числе уже составленные коллективом ранее и предполагаемые к составлению при реализации этого проекта. Стоящая перед коллективом задача - выделение собственно форм рельефа разного типа (а не их геометрических элементов), а также закономерных сочетаний форм рельефа в пространстве и, в конечном счете, возможно, проведение геоморфологического районирования Арктики автоматическим путем.
Year by year, the image recognition techniques show great progress. At the same time, sizes, resolutions and accuracy of the spatial data on the morphology of the Earth's surface and its changes over time are increase. This opens up broad opportunities for testing partial automation of geomorphological mapping. Attempts to classify relief according to digital information have been made for at least 50 years. At first, these attempts consisted most often in isolating the structural elements of the earth's surface: characteristic points, lines of convex and concave inflection of the first and second derivatives of height in spatial coordinates, and elementary surfaces located between these points and lines. Later papers appear where the authors distinguish some specific forms (drumlins, impact craters, etc.), complexes of the forms (sand dune fields), geomorphological regimes of the territory, and so on. Geomorphologists who are not closely involved in morphometric analysis of the terrain, usually do not show interest in the already developed tools and approaches. It seems that this is due to the fact that the established approaches (especially in the USSR and Russia) to the creation of general geomorphological maps on all scales require information that cannot be obtained by morphometric analysis alone. However, the theoretical limit of "machine mapping" is, at a minimum, the digitizing of the same contours that a geomorphologist can conduct on a topographic map without using data from geological sections, holes, geophysical and other surveys. Even this limit still seems a little attainable. Perhaps its achievement will be associated with the introduction of modern pattern recognition methods - supervised classifications, and, in particular, deep convolutional neural networks (CNN) that are already solving the problem of image classification (the principal presence or absence of an object in an image), their segmentation (highlighting the boundaries of an object or objects ). Now, in addition to the wide distribution of digital elevation models - DEM - of medium (SRTM 1 ", Alos World 3D) and high (ArcticDEM) resolution, monitoring capabilities of the terrain changes continue to grow - due to the use of radar interferometric images (Alos Palsar, Sentinel-1, etc. .). While the time series of observations on most of the planet area is small, however, even it allows one to judge with caution the current nature of the change in elevations in areas with active morphodynamics. In this project we propose to use combined information on According to the Sentinel-1A data, the morphology of the terrain with the DEM and its current changes as input data for classification models with training. The existing geomorphological maps, including those already compiled by the team and planned to be compiled during the project, will serve as a benchmark. before the collective, the task is to isolate the actual forms of the relief of different types (and not their geometric elements only), as well as the natural combinations of the relief forms on the territory and, ultimately, it is possible to carry out a geomorphic zoning of the russian part of the Arctic by automatic way.
По итогам реализации проекта заявители ожидают получить результаты: 1) оценку морфометрических характеристик рельефа земной поверхности по их дискриминационной способности в отношении выделения форм рельефа различных типов. 2) оценку статистических методов классификации с обучением по их эффективности для целей геоморфологического картографирования; 3) статистическая модель или ансамбль моделей, позволяющая классифицировать рельеф арктической суши по его морфологии и текущей динамике, с частичным учетом генезиса и возраста; 4) геоморфологические карты российской части арктической суши в мелком масштабе (ориентировочно - 1 : 2 500 000), на отдельные части - в средних и крупных масштабах, полученные автоматическим путем. Все ожидаемые результаты вполне конкурентоспособны на текущем мировом уровне развития морфометрии рельефа и геоморфологического картографирования. Возможности практического использования результатов состоят в следующем. Предполагается, что по результатам проекта будет создана одна или несколько дополняющих друг друга статистических моделей, позволяющих выделять в автоматическом режиме контуры форм и комплексов форм рельефа, и создавать основу для геоморфологических карт. Такие карты используются в проектах инженерного освоения территории, при поисках полезных ископаемых, прогнозе и предупреждении чрезвычайных ситуаций и т. д. Частичная автоматизация создания геоморфологических карт (вплоть до крупного масштаба) по открытым данным сразу на значительные площади - имеет несомненный практический смысл.
Профессиональный уровень членов коллектива соответствует задачам проекта. Полевые работы в Арктике проводили Ф. А. Романенко, Ю. Р. Беляев, А. П. Вергун, А. С. Третниченко, Е. А. Мороз. Методы морфометрического анализа в работе используют все без исключения члены коллектива, из них некоторые имеют опыт разработки собственных программных инструментов и новых морфометрических характеристик для решения частных задач (Харченко С. В., Энтин А. Л.). ГИС-технологиями владеют все участники коллектива, из них активно пользуются - 7 участников (за исключением Ф. А. Романенко). Опыт построения статистических моделей распознавания образов имеют минимум трое участников коллектива (Бондарь А. И., Энтин А. Л., Харченко С. В.). Опыт создания, обработки и интерпретации батиметрических моделей рельефа субаэрального происхождения имеет Мороз Е. А. Методикой обработки интерферометрических снимков владеет Третниченко А. С. (программа SNAP, снимки Sentinel-1A и др.), освоивший эту методику при работе в Центре геоинформационных и космических технологий ООО «Газпром ВНИИГАЗ». Три человека владеют современными языками программирования (R и / или Python) для автоматизации нестандартных расчетных процедур и собственно создания моделей распознавания образов (Харченко С. В., Энтин А. Л., Бондарь А. И.). Методами картографирования профессионально владеют Энтин А. Л. и Вергун А. П., остальные участники коллектива (в особенности, Ю. Р. Беляев) - также имеют опыт составления картографических материалов, не являясь при этом профессиональными картографами.
грант РНФ |
# | Сроки | Название |
1 | 12 августа 2019 г.-31 декабря 2019 г. | Интегрированный подход к автоматическому картографированию рельефа суши по морфологическим и динамическом индикаторам (на примере российской Арктики) - 1й подэтап |
Результаты этапа: Начата подготовка наборов данных для проведения классификации с обучением рельефа российской Арктики: интерферометрических радарных снимков за последние 20 лет, каталогизация ArcticDEM и других доступных на территорию исследования ЦМР, существующих геоморфологических карт. Начато построение цифровых моделей различных морфометрических характеристик рельефа (в частности, спектральных хар-к рельефа), которые используются затем в качестве переменных в моделях автоматизации картографирования рельефа. Осуществлен аналитический обзор применения методов классификации с обучением в геоморфологическом картографировании В настоящее время идет активное развитие методов распознавания образов, в т.ч. в связи с их приложением к задачам автоматизации геоморфологического картографирования по дистанционным данным. Для дальнейшего продвижения на пути этой автоматизации обсуждения и по возможности решения требуют такие проблемы как распознавание морфологически идентичных форм разного генезиса (нужна выработка критериев и требований к исходных данным для разделения хотя бы стандартных примеров конвергентных форм рельефа), переход от морфологических к возрастным и генетическим характеристикам поверхностей, превентивный подбор оптимальной детальности данных дистанционного зондирования (не всегда наиболее детальные данные – эффективнее всего в модели, что рядом исследователей проверено экспериментально), выбор и обоснование весовых коэффициентов количественных переменных. Спектр методов, применяемых в попытках автоматизации составления геоморфологических карт, чрезвычайно разнообразен, хотя явное предпочтение пока еще отдается классификации с обучением. Чаще других применяются обобщенные линейные модели (так, для предсказания бинарного отклика используется логистическая регрессия – например, при моделировании оползневой опасности), различные виды дискриминантного анализа. Но со временем все большую популярность приобретают непараметрические методы, не опирающиеся на априорные допущения о характере связи (линейной или иной другой) исходных переменных и качественной зависимой переменной, например, «класса» форм рельефа. В последние годы появляются примеры использования методов компьютерного зрения, которые оказываются, как правило, точнее, чем методы классификации с обучением, не учитывающие взаимное расположение объектов (географический контекст), а только лишь их параметры, сведенные в таблицу. Еще более высокую точность прогноза дают гибридные модели: стандартные методы, подкреплённые методами компьютерного зрения. Осуществлена попытка классификации рельефа Большеземельской и Малоземельской Тундр на основе спектральных характеристик рельефа. Выделено 9 геоморфологических кластеров, границы которых хорошо отражают морфоструктурное районирование территории. Подана на рассмотрение статья по теме "Распознавание образов в геоморфологическом картографировании" в Известия РАН, серия Географическая. Поданы заявки на участие в конференциях EGU 2020, IV Виноградовские чтения. | ||
2 | 1 января 2020 г.-30 июня 2020 г. | Интегрированный подход к автоматическому картографированию рельефа суши по морфологическим и динамическом индикаторам (на примере российской Арктики) - 2 подэтап |
Результаты этапа: - На территорию российской Арктики начаты точечные расчеты смещений поверхности по интерферометрическим данным за 2019-2020, иными словами, установление очагов смещений поверхности без генетической их интерпретации; - Подготовлена первая версия алгоритма распознавания генетических типов рельефа на языке R, осуществляющая весь процесс, от расчета разнообразных морфометрических характеристик рельефа по ЦМР через интерфейс RSAGA, а также оригинальные авторские инструменты, там собственно классификацию ансамблем моделей и оценку репрезентативности переменных методом RandomForest; - Начато создание и каталогизация набора эталонов (т.н. "тренировочных данных"), на которых будут обучаться статистические модели предсказания принадлежности - нарезок из ЦМР и растров других, помимо абсолютной высот, морфометрических характеристик; - непосредственно, создание и тестирование различных статистических моделей в мелком (1 : 2 500 000) масштабе на территорию Кольского п-ова, Ямала. | ||
3 | 1 июля 2020 г.-31 декабря 2020 г. | Интегрированный подход к автоматическому картографированию рельефа суши по морфологическим и динамическом индикаторам (на примере российской Арктики) - 3 подэтап |
Результаты этапа: - Осуществлена адаптация используемых методов к используемым типам данных - для методов, использующих различные типа разделителей (дискриминантный анализ, метод опорных векторов) было установлено, что наиболее эффективны в процедуре классификации с обучением различных типов рельефа оказываются радиальные или полиномиальные ядра. - В единый скрипт встроена сравнительная оценку репрезентативности морфометрических переменных - для форм рельефа различных генетических групп на фоне остальной территории. Увеличен набор используемых для классификации морфометрических переменных - сейчас это 36 различных локальных (от классических до редких) и фокальных морфометрических переменных, а также 8 полимасштабных спектральных характеристик рельефа. Для территорий Кольского п-ова, Ямала, о-ва Врангеля проведена соответствующая оценка репрезентативности переменных. - Продолжается создание цифровых растровых моделей изменений отметок поверхности по данным Sentinel-1A и Sentinel-1B на территорию российской Арктики. Выделяются очаги и конкретные их конфигурации активных изменений высотных отметок - без их генетической интерпретации. Продолжается "экспертное" пополнения набора эталонов (т.н. "тренировочных данных") - фрагментов ЦМР, типичных для районов распространения рельефа разного генезиса. | ||
4 | 1 января 2021 г.-30 июня 2021 г. | Интегрированный подход к автоматическому картографированию рельефа суши по морфологическим и динамическом индикаторам (на примере российской Арктики) - 4 подэтап |
Результаты этапа: 1) Завершены и поданы в печать два обзора - по истории геоморфологического картографирования и картографической изученности Арктики и по применению методов радарной интерферометрии для поиска очагов и оценки темпов геоморфологических процессов. Оба - в журнале Геоморфология. Один из них планируется к выходу в ближайшем номере. 2) Созданная на первом этапе начальная версия алгоритма классификации форм рельефа доработана в части: А) настройки параметров классификации с обучением для усиления предсказательной способности используемых методов (в частности, значительный прирост эффективности предсказания дала предобработка переменных); Б) в нее будут встроены методы рекурсивного и генетического отбора переменных; В) будет встроена возможность получения сеток речных бассейнов как операционных единиц (по итогам первого года встроена возможность расчета зональных статистик только по квадратной сетке) и, вероятно, возможно использования произвольных пользовательских сеток - например, геологических, ландшафтных, в конце концов административных контуров; 3) Большая часть (84%) рассматриваемой территории покрыта данными об очагах и темпах вертикальных смещений поверхности в бесснежный период на период 2019 г. Рассчитаны типовые скорости и направления этих смещений вообще, а также в разрезе геоморфологического деления территории. С привлечением космоснимков будет дана интерпретация результатов в отношении типа процесса, приведшего к данным изменениям высот. Основные фиксируемые изменения отвечают очагам проявления флювиальных, мерзлотных и абразионных (в т.ч. термоабразионных процессов). 4) Пополнена до более чем 1200 семплов база "эталонов" для обучения глубоких сверточных нейронных сетей распознавать морфоструктуры и морфоскульптуры. 5) Начата разработка отдельного алгоритма применения сверточных нейронных сетей к наборам эталонов из ЦМР. 6) Показано, что наиболее универсальны в отношении классификации рельефа фокальные характеристики, отвечающие тому или иному рисунку расчленения - в частности, спектральные характеристики, индексы, отражающие морфологию днищ долин и междуречий и т.д. 7) По промежуточным итогам в профильные журналы поданы рукописи статей. | ||
5 | 1 июля 2021 г.-31 декабря 2021 г. | Интегрированный подход к автоматическому картографированию рельефа суши по морфологическим и динамическом индикаторам (на примере российской Арктики) - 5 подэтап |
Результаты этапа: 1) Завершено создание набора эталонов (т.н. "тренировочных данных"), на которых обучены статистические модели предсказания принадлежности. Для мелкомасштабных карт набор эталонов для классификации морфоструктур и типов морфоскульптуры, а также генетических типов рельефа вкупе включает около 1500 семплов, для средне- и крупномасштабных карт - немногим более 1000 семплов. 2) Начата разработка Веб-Интерфейса для пользовательского доступа к созданным моделям распознавания образов в мелком масштабе - на всю площадь российской части Арктики, в среднем и крупном - на отдельные части - Кольский п-ов, восток Таймыра, участки на Новосибирских островах и т.д. 3) Созданы карты рельефа Арктики в мелком масштабе по морфологическим и, на часть площади, морфодинамическим индикаторам, а также проведена апробация возможностей экстраполяция моделей для среднего и крупного масштаба на смежные территории - для упомянутых в п. 2 регионов. 4) Дана аналитическая оценка слабых мест подхода и перспектив его развития (статья "Распознавание образов в задачах автоматизированного картографирования рельефа суши"). На всех этапах - публикация текущих результатов проекта. | ||
6 | 1 января 2022 г.-30 июня 2022 г. | Интегрированный подход к автоматическому картографированию рельефа суши по морфологическим и динамическом индикаторам (на примере российской Арктики) - 6 подэтап |
Результаты этапа: Фактически проделанная работа включает несколько основных тематических блоков, связанных с реализацией генеральной цели проекта - создание и обнародование алгоритма автоматизированного картографирования рельефа (как стандартного морфологического, так и хроно-морфо-генетического, т.е. с отражением и возрастных, и генетических характеристик рельефа, и морфодинамического, с отображением основных очагов трансформаций земной поверхности). Для этого использовались различные методы классификации: как кластеризации (классификация без обучения, k-means и fuzzy-k-means, иерархическая кластеризация, нейронные самоорганизующиеся сети Кохонена), так и классификации с обучением (линейный и квадратический дискриминантный анализ, метод опорных векторов, деревья классификации, случайный лес, а также полносвязные реккурентные и сверточные нейронные сети). Разработана или доработана (оптимизирована) серия частных авторских алгоритмов расчета морфометрических характеристик и классификации рельефа. 1) Алгоритм расчета спектральных характеристик рельефа (оптимизирован: упрощен и ускорен). В наших работах неоднократно было показано, что характеристики текстуры расчленения оказываются гораздо более мощными предикторами рельефа различного генезиса и возраста, чем широко распространенные локальные морфометрические переменные, и вполне конкурируют по предсказательной силе с рядом фокальных и региональных не спектральных характеристик. Алгоритм опубликован на GitHub (https://github.com/sergeikharchenko/speclandata_new). В основу идеи расчета спектральных характеристик рельефа (так или иначе подход встречается в ряде работ, как англоязычных, так и русскоязычных, но нигде не формализован) заложена идея о том, что в поле высот земной поверхности хранится колебательный сигнал, отвечающий особенностям суперпозиции эндогенных (например, волнообразные деформации литосферы при латеральном сжатии) и экзогенных (например, эрозионное расчленение). Характер итогового топографического "рисунка" можно разложить на отдельные колебательные составляющие, их иерархические отношения (взаимные размеры отдельных волн, направления, углы сочленения, общие параметры самоподобия / фрактальности рельефа) будут сходны у территорий с морфологических однородным рельефом, при этом конкретные черты рельефа поверхности, например, ориентировка отдельных форм - не играют роли. В качестве базового метода декомпозиции ЦМР и выделения колебательных составляющих используется оконное двухмерное дискретное преобразование Фурье. "Оконный подход" (использование скользящего окна разных размеров с различным шагом) позволяет разыскать в рельефе наиболее выраженные волновые колебания. 2) При обработке ЦМР, полученных по результатам съемки с БПЛА, на сколько-нибудь большие по площади участки возникает проблема корегистрации отдельных фрагментов моделей высот, снятых при разной освещенности, в разные сезоны года или даже годы. При сшивке ЦМР алгоритмами , основанными на статистической подгонке двух или более матриц (статистической - т.е. при условии минимизации таких, например, метрик ошибок как среднеквадратическое отклонение двух полей высот) результат подгонки моделей теряет связность сеток тальвегов (швы окончательно не устраняются), что негативно влияет на расчет любых морфометрических характеристик, основанных на восстановлении из ЦМР сети линий тока / каналов. Нами был реализован и апробирован на нескольких участках собственных алгоритм подгонки, производящий бесшовную стыковку двух, а итеративно - и большего числа ЦМР). Предлагаемый подход базируется на поиске изолинии “нулевой ошибки” высот, по которой и происходит сшивка отдельных сцен. Поиск этой линии осуществляется как по не модифицированным моделям высот, так и при разделении их на “ведущую” и “ведомые”, последние подвергаются геометрической коррекции (https://github.com/sergeikharchenko/rhydrodemcoreg/blob/main/rhydrodemcoreg.R). 3) Создан алгоритм (https://github.com/sergeikharchenko/land_subsidence_s1) автоматического расчета современных смещений земной поверхности по высоте, базирующийся на применении метода двухпроходной радарной интерферометрии к последовательным парам космических снимков Sentinel-1A и Sentinel-1B. В качестве контроля реализована также версия, производящая в серии снимков попарный сравнения каждого снимка со всеми последующими, таким образом, используются разные интервалы рассмотрения изменений фазовой картины, часть из интервалов, наиболее короткие (между последовательными съемками) входят хронологически в более обширные. Алгоритм реализуется через интерфейс командной строки SNAP Desktop. Скрипт, который последовательно выполняет выборку необходимых снимков на интересующую территорию, производит их скачивание, осуществляет необходимые расчеты и сохраняет цифровые модели разниц отметок высот – реализован на языке R. Как вспомогательный блок в алгоритм встроена подгрузка набора данных MODIS/Terra Snow Cover 8-Day L3 Global 500m SIN Grid, позволяющего сориентироваться с временными рамками бесснежного периода для конкретного года/серии лет и выбранного участка. Восьмидневные данные позволяют отфильтровать эффекты переменное облачности на завышение измеренной площади снежного покрова. 4) Алгоритмы 1, 2 и 3 реализованы в виде веб-сервиса, на котором пользователь может указать интересующие его параметры расчета морфометрических характеристик рельефа, добавить при необходимости обучающую выборку в полигональном или точечном виде, и, в зависимости от задачи, провести либо кластеризацию, либо классификацию с обучением (адрес:: http://geomorphometry.shinyapps.io/landform_class5?_ga=2.201194670.1654610291.1652366750-1361290196.1651768775). Для всей площади исследуемого региона в мелком (1:16М), а также среднем (1:200К) и крупном (~ 1: 25000) масштабах созданы модели распознавания морфоструктур, типов морфоскульптуры и генетических комплексов рельефа. Приложение их на потенциально родственные в отношении истории развития рельефа территории может позволить автоматически создать геоморфологическую схему, которую можно как уточнять экспертным путем, так и использовать с учетом различной (известной) точности предсказания положения и границ конкретных форм рельефа. |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".