Разработка и совершенствование нейросетевых методов решения обратных задач (продолжение)НИР

Development and perfection of neural network methods of solving inverse problems (continued)

Источник финансирования НИР

грант РНФ

Этапы НИР

# Сроки Название
1 3 мая 2017 г.-31 декабря 2017 г. Разработка и совершенствование нейросетевых методов решения обратных задач (продолжение) (этап 2017 г.)
Результаты этапа: В отчётном году были достигнуты следующие основные научные результаты: 1) Произведена работа по освоению современных программных решений для проведения высокопроизводительных вычислений с использованием языка python и его библиотек. В частности, для этапа предобработки данных и математических и матричных операций использованы библиотеки numpy, scipy и scikit-learn, использующие для функций, реализованных на языке C++, библиотеку intel math kernel library (mkl), обеспечивающую эффективную работу с памятью и вычислительными потоками при работе с многоядерными CPU. Для работы с искусственными нейронными сетями (ИНС) были использованы библиотеки tensorflow и theano, а также библиотека keras в качестве их высокоуровневой обертки. Данные библиотеки позволяют использовать графические процессоры (GPU) для существенного ускорения матричных расчетов, необходимых при обучении ИНС. Помимо этого, данные библиотеки позволяют применять самые последние разработки мирового сообщества в сфере ИНС. Продемонстрировано, что использование новых технологий позволяет существенно (в 5-10 раз и более) ускорить расчёты с одновременным повышением качества решения задач. Планируется постепенный перевод всех расчетов на новую технологию. 2) Разработаны новые усовершенствованные схемы параметризации (СП) разрезов для решения обратной задачи (ОЗ) магнитотеллурического зондирования (МТЗ) (6 шт). Получены массивы данных – результаты численного решения прямой задачи МТЗ для новых усовершенствованных схем параметризации разреза (не менее 10000 примеров для каждой СП). 3) Получены результаты оценки влияния трёхмерности на решение ОЗ МТЗ и определения областей применимости 2D и 3D рассмотрения. Показано, что различия между 2D и 3D случаями являются принципиальными, и лучшие результаты показывают нейросетевые аппроксиматоры, натренированные на данных, размерность которых соответствует размерности решаемой задачи. Аналогично, сглаженная и несглаженная версии показывают разные результаты в зависимости от того, является ли изменение параметров скачкообразным или плавным. Поэтому представляется целесообразным распространить комплексный подход, разработанный в Проекте 2014, и на новые СП: вначале использовать классификатор для определения наиболее адекватной СП, затем использовать ИНС, натренированные на данных выбранной СП, для решения ОЗ. 4) Произведена оценка влияния перехода при решении ОЗ МТЗ от рассмотрения разреза в целом к перемещению окна рассмотрения задачи вдоль профиля съёмки на погрешность нейросетевого решения. Проведенный ранее анализ показал, что для определения данного конкретного параметра (электропроводности в конкретной точке Т подземного полупространства) существенную роль играют лишь ЭМ поля, измеренные на поверхности земли в пространственных точках, не слишком удалённых от проекции точки Т на поверхность земли. Это означает, что вместо того, чтобы пытаться в процессе решения ОЗ определить распределение электропроводности сразу во всех пространственных точках разреза, можно попробовать перейти к рассмотрению в значительно более узком (коротком) «окне», которое при решении ОЗ может смещаться вдоль профиля съёмки. Такой подход позволяет не только существенно снизить размерность решаемой ОЗ по выходу, но и одновременно увеличить количество примеров для обучения ИНС: при смещении окна рассмотрения вдоль профиля можно из одного примера данных, соответствующего всему разрезу, получить много примеров, соответствующих узкому окну, и дополнить ими обучающую выборку. В отчетном году на данных новой СП было показано, что второй подход позволяет снизить погрешности решения ОЗ в среднем на 3%. Количество примеров в обучающей выборке увеличивается при этом в 10-30 раз, и именно это, по-видимому, является основной причиной улучшения результатов: если сравнивать решения, полученные по разрезу в целом и по окну при равных размерах выборки, результаты оказываются сопоставимыми. Таким образом, переход к рассмотрению задачи в узком окне позволяет повысить качество решения ОЗ без увеличения объёма расчётов при решении прямой задачи для создания обучающей выборки. 5) Получены результаты совместного использования комплексного подхода к решению ОЗ МТЗ (решение задачи классификации и затем собственно решение ОЗ регрессионного типа) и дополнительных методик (добавление шума при обучении, использование комитетов ИНС, применение группового определения параметров), а также совместного использования дополнительных методик друг с другом. В процессе выполнения Проекта 2014 было продемонстрировано, что а) комплексный подход к решению ОЗ МТЗ позволяет снизить погрешность ее решения по сравнению с решением ОЗ в одну стадию с использованием наиболее общей СП, и б) при решении ОЗ МТЗ в рамках наиболее общей СП в режиме автономного определения параметров перечисленные приёмы по отдельности (переход от автономного к групповому определению параметров, использование комитетов ИНС вместо усреднения их статистических показателей, добавление шума при обучении ИНС) также приводят к снижению погрешности решения задачи. В отчётном году на данных «старых» СП и на данных модельной задачи было показано, что а) перечисленные приёмы могут быть эффективны при их использовании на обоих этапах решения комплексной задачи и б) они могут быть эффективны при их совместном использовании. Однако эффект от совместного применения приёмов, как правило, не является аддитивным – он меньше, чем сумма эффектов от их использования по отдельности. Основной вывод, который сделан на основе исследований по этому направлению – как комплексный подход, так и все перечисленные дополнительные приёмы должны войти в новую версию единого алгоритма решения многопараметрической ОЗ МТЗ, который будет сформулирован в 2018 году и использован при разработке ТЗ на программный комплекс для нейросетевого решения ОЗ МТЗ, которая запланирована в рамках выполнения проекта на 2018 год. 6) Получены результаты физических и численных экспериментов, направленных на повышение устойчивости получаемых результатов и снижения погрешности решения ОЗ ИОПК на независимых данных Наиболее интересные результаты принесли исследования по добавлению шумов разного типа в процессе обучения ИНС (эффективность этого приема была продемонстрирована в Проекте 2014 на данных ОЗ МТЗ и на модельных данных). Рассматривались следующие виды шумов: • Амплитудный шум во входных значениях обучающей выборки, соответствующий шумам многоканального детектора и другим погрешностям снятия спектров. Основной вывод – добавление такого шума при обучении ИНС повышает устойчивость нейросетевого решения к шумам такого типа во входных данных. Оптимальные результаты достигаются при совпадении качественных и количественных характеристик шума, добавляемого при обучении, с типичными характеристиками шума, содержащегося в данных, к которым затем применяется ИНС. • Шум в выходных значениях («истинных» концентрациях), соответствующий погрешностям приготовления растворов, измерения концентраций солей иономером или указания концентраций ионов на бутылках с минеральной водой, а также возможной неполной растворимости солей. Показано, что определение (измерение) «истинных» концентраций с погрешностью в пределах 10% практически не влияет на качество решения задачи. • «Сдвиг каналов» спектра – экспериментально наблюдаемый эффект смещения спектра на 1-2 канала в обе стороны, связанный, по-видимому, с геометрическими эффектами распространения сигнала в приёмной оптической системе от кюветы с образцом до детектора. Показано, что наличие случайной экспериментальной погрешности в виде сдвига каналов не влияет на результат решения ОЗ, если сеть тренируется на данных, включающих такую же погрешность. Дополнительно к запланированному рассматривалось применение группового определения параметров при решении ОЗ идентификации и определения концентраций (по аналогии с тем, как это ранее делалось для ОЗ МТЗ). Показано, что в целом хорошая устойчивость к шуму наблюдается для сложных ионов и магния; групповое или одновременное определение для большинства ионов обеспечивает меньшую погрешность решения ОЗ, чем автономное. Однако, по-видимому, «смысловая» группировка ионов по заряду или по простоте/сложности не является оптимальной; необходим поиск оптимальной группировки ионов и анализ причин полученных результатов. 7) Получен массив экспериментальных спектров КР водно-этанольных растворов и алкогольных напитков В эксперименте ставились 2 задачи: 1) определение концентрации этанола в воде по спектрам комбинационного рассеяния (КР); 2) определение концентрации вредных примесей в водке по спектрам КР. В качестве вредных примесей были выбраны метанол (основная причина отравления контрафактным алкоголем), сивушное масло и этилацетат (часто встречающиеся примеси в контрафактном и низкокачественном алкоголе). Для решения задачи 1 были получены спектры КР водных растворов этанола в диапазоне концентраций этанола 9-35% (объемных) с шагом 2%, в диапазоне 35-65% с шагом 1%, в диапазоне 65-90% с шагом 5%. Всего 49 образцов. Для решения задачи 2 метанол, сивушное масло, этилацетат растворяли в смеси этанола с водой (концентрации 35, 38, 40, 42, 45, 49, 53, 57%). Таким образом моделировались водки различной крепости. Концентрация вредных примесей варьировалась в диапазоне от 0% до концентраций летальной дозы. Всего было приготовлено 4088 образцов. Созданный массив экспериментальных данных предназначен для решения 4-х-параметрической ОЗ. Измеряемыми параметрами (для определения в ходе решения ОЗ) были концентрации сивушного масла, этилацетата, метанола и этанола. Основной массив данных составляет 81680 спектров (4084 образцов, для каждого 2 серии по 5 спектров в 2-х диапазонах). Кроме того, получен массив из 980 спектров (49 образцов, для каждого 2 серии по 5 спектров в 2-х диапазонах) для решения задачи определения концентрации этанола, а также спектры чистых веществ – дистиллированной воды, этилового, метилового, изоамилового и изопропилового спиртов, этилацетата. С учетом предварительных и контрольных измерений общий массив составляет около 83000 спектров. Для планируемой апробации разрабатываемого метода был собран набор из 163 образцов крепких алкогольных напитков разных видов и производителей. Были измерены спектры КР ряда водок и других напитков (на данный момент 70 образцов). Обучение ИНС и непосредственная разработка метода диагностики водно-этанольных растворов и алкогольных напитков планируются на следующий год выполнения данного проекта. Дополнительно в рамках настоящего Проекта была реализована и отлажена (а также использована для физических исследований) методика оптимизационного решения ОЗ по разложению спектра водно-этанольной смеси на контуры гауссовой формы с общим количеством контуров до 15. Результаты опубликованы в высокорейтинговом журнале. 8) Создан опытный образец КР-спектрометра для экспресс-анализа минеральных, технологических и сточных вод. Данная конфигурация лазерного КР-спектрометра позволяет регистрировать спектры КР в диапазоне 500-4500 см-1 (где расположены линии деформационных и валентных колебаний молекулярных групп) и флуоресценции в диапазоне 420-720 нм (практически во всем видимом диапазоне) шириной 150 нм или 300 нм в режиме параллельной регистрации спектра. Это позволяет наряду со спектрами КР исследовать спектры флуоресценции широкого круга флуоресцирующих веществ, что расширяет область применения данного спектрометра. В 2018 году планируется получить с помощью данного образца массив спектров КР многокомпонентных растворов неорганических солей и убедиться в его пригодности для решения ОЗ идентификации и определения концентраций, а также некоторых других спектроскопических ОЗ. На основании полученных результатов конструкция спектрометра при необходимости может быть доработана. В 2018 году планируется разработка ТЗ на ОКР с целью возможного серийного производства спектрометра для экспресс-анализа минеральных, технологических и сточных вод, с учётом оптимизации по соотношениям «стоимость/погрешность измерения» и «стоимость/время измерения». 9) Публикация результатов работы по проекту в рецензируемых научных изданиях и представление результатов на всероссийских и международных конференциях. В отчётном году были опубликованы 19 печатных работ по проекту, в том числе: 1 статья в журнале, индексируемом Web of Science, Scopus и РИНЦ и входящем в Q1; 1 статья в издании, индексируемом Web of Science, Scopus и РИНЦ (ещё 3 приняты к печати); 1 статья в издании, индексируемом Web of Science и Scopus; 1 тезисы в издании, индексируемом РИНЦ; 8 тезисов докладов на международных конференциях; 1 тезисы доклада на всероссийской конференции с международным участием; 3 тезисов докладов на всероссийских конференциях. Представлено 18 докладов на 12 научных мероприятиях, в том числе 2 приглашённых, 5 устных и 6 стендовых докладов на международных конференциях и семинарах, 1 устный доклад на всероссийской конференции с международным участием, 4 устных доклада на всероссийских конференциях.
2 1 января 2018 г.-31 декабря 2018 г. Разработка и совершенствование нейросетевых методов решения обратных задач (продолжение) (этап 2018 г.)
Результаты этапа: В отчётном году были достигнуты следующие конкретные научные результаты: 1) Проверка применимости подхода, связанного с дискретизацией определяемых значений при решении обратной задачи (ОЗ) магнитотеллурического зондирования (МТЗ). Когда существуют принципиальные ограничения на точность определения искомой величины, иногда применяют приём, называемый дискретизацией: считают, что искомая величина может принимать только дискретные значения из определённого ряда, а ответы алгоритма, решающего задачу (в нашем случае – нейронной сети, НС) округляются до ближайшего разрешенного дискретного значения. Было рассмотрено постепенно уменьшающееся число дискретизации множества от 32 до 2 значений квантов. Анализировалось влияние дискретизации на результирующие погрешности на тестовой выборке (независимые данные), дискретизованной и непрерывной. Было показано, что подход, связанный с дискретизацией определяемых значений при решении ОЗ МТЗ, в целом применим. Его эффективность его не слишком высока и может быть заметной в случаях, когда это обусловлено разрешающей способностью метода на рассматриваемой области или спецификой введенной априорной информации о среде (тела ищутся в определенных диапазонах удельного сопротивления). 2) Нейросетевое решение ОЗ гравиразведки. В данном Проекте рассматривался пример применения НС метода для решения условно-корректной нелинейной 3D ОЗ гравиразведки, которая заключается в определении геометрии нижней границы исследуемого геолого-геофизического объекта с известной эффективной плотностью. Было смоделировано два класса данной задачи: 1) структура укрупненной параметризации – 49 призм (7*7) со стороной основания 2 км и 2) структура с детальной параметризацией – 225 призм (15*15) со стороной основания 1 км. Полученные значения средних погрешностей определения параметров, отнесенных к диапазону их изменения, для обученных НС аппроксиматоров составили 0.5% для укрупненной и 1.83% для детальной параметризации. В рамках выполнения работ по Проекту были также реализованы дополнительные модули визуализации (3D представление призм, проекции на языке Python) и анализа корреляционных зависимостей (веб-приложение на R, использован пакет shiny). Таким образом, была продемонстрирована возможность эффективного решения ОЗ гравиразведки – аппроксимации обратного оператора результатов гравиметрической съёмки в заданном классе гравитационных моделей. 3) Нейросетевое решение ОЗ спектроскопии по определению концентрации этанола и примесей в алкогольных напитках по спектрам КР. 1. Определение оптимальных параметров тренировки НС Рассматривались многослойные персептроны (МСП) с различным количеством скрытых слоев и нейронов, а также рассматривались подходы, связанные с автономным либо с одновременным определением параметров (концентраций этанола, сивушного масла, метанола и этилацетата). 2. Определение оптимального метода отбора существенных признаков Рассматривались четыре метода отбора существенных признаков, использовавшиеся в данном Проекте ранее – на основе значений кросс-корреляции и кросс-энтропии между входными признаками и определяемыми параметрами; на основе анализа весов НС, применяемой для решения данной задачи; на основе вычисления стандартного отклонения значений данного признака. Исследовалась зависимость качества решения от способа отбора и от количества отобранных признаков. Здесь также рассматривались автономное либо одновременное определение параметров. В случае одновременного определения параметров на вход НС подавались все признаки, определённые как существенные хотя бы для одного из определяемых параметров. Для сивушного масла, метанола и этилацетата отбор существенных признаков позволяет в ряде случаев обеспечить некоторое улучшение качества решения. При этом наилучшие результаты получены при использовании кросс-энтропии в качестве критерия значимости признака. Показано, что спектроскопия КР с последующим применением НС для обработки спектров может быть успешно использована для обнаружения опасных примесей в алкогольных напитках на основе водных растворов этанола (водки и другие неокрашенные напитки). Наилучшая полученная точность определения концентраций компонентов составила: 0,25 об.%. для этанола (достаточно для практических целей); 0,19% об. для сивушного масла (меньше предельно допустимой концентрации (ПДК)); 0,35% об. для метанола и 0,29 об.% для этилацетата (в несколько раз выше, чем ПДК, но более чем на порядок меньше, чем летальная концентрация для 100 мл напитка). 3. Обучение с шумом Рассматривался неоднократно исследованный в данном Проекте прием, заключающийся в добавлении шума определенного типа в тренировочную выборку. В данном исследовании рассматривался новый тип шума, представляющий собой искажение всего спектра путем сжатия или растяжения вдоль ординаты (что соответствует изменению общей интенсивности сигнала). Было показано, что использование этого подхода действительно позволяет понизить погрешность нейросетевого решения ОЗ и повысить его устойчивость к искажениям такого типа. Например, для сетей, обученных без добавления шума, погрешность определения концентрации этанола доходила до 1,10 % об. в случае данных с максимальным уровнем шума в 20%. Для сетей, обученных с добавлением 20% шума, ошибка не превышала 0,31 % об. 4. Апробация метода на массиве спектров КР ряда водок и других напитков В отчётном году была также проведена апробация метода на массиве спектров КР ряда водок и других напитков, полученном в 2017 году. Наилучший результат продемонстрировали сети, обученные с максимальным уровнем шума в тренировочном наборе (20%); ввиду слабой зависимости результата от архитектуры сети использовались наиболее простые сети – МСП с 32 нейронами в единственном скрытом слое. Для водок результат определения концентрации этанола оказался близок к заявленному производителем на этикетке, хотя и стабильно ниже: среднее отклонение для них составило -1,9 % об. Этилацетат не был обнаружен в пределах погрешности НС ни в одном из образцов водок, а концентрация сивушных масел мало отличалась от образца к образцу и была достаточно низкой. Наибольшие концентрации вредных примесей зарегистрированы для некоторых видов самогона. В целом метод подтвердил свою работоспособность при определении концентраций как этанола, так и вредных примесей. В дальнейшем планируется для ряда образцов определить концентрации примесей хроматографическим методом и сравнить результаты работы обоих методов. 4) Получение РИД в виде зарегистрированной базы данных по направлению «спектроскопия». 22 ноября 2018 года Федеральной службой по интеллектуальной собственности и Федеральным институтом промышленной собственности (ФИПС) получен и зарегистрирован комплект документов на регистрацию базы данных «Спектры комбинационного рассеяния в многокомпонентных водных растворах солей MgSO4, Mg(NO3)2, LiCl, LiNO3, (NH4)F, (NH4)2SO4, KF, KHCO3, NaHCO3, NaCl в диапазоне концентрации каждой из них от 0 до 1 М с шагом по концентрации 0.25 М». Авторами данного РИД являются исполнители настоящего Проекта С.А.Буриков, С.А.Доленко, Т.А.Доленко, А.О.Ефиторов, И.В.Исаев, К.А.Лаптинский. 5) Создание прототипов программного обеспечения, реализующего методы, разработанные в ходе Проекта 2014 и Проекта 2017. По данному направлению в ходе реализации Проекта получены следующие результаты: • Сформулированы Технические требования на программное обеспечение (ПО), прототипы которого разработаны в ходе выполнения Проекта; • Разработаны прототипы ПО и интерфейсы к нему для решения ОЗ в среде языка Python; • Разработаны прототипы ПО и интерфейсы к нему для решения ОЗ МТЗ; • Произведена проверка возможности использования нейросетевых моделей на базе встраиваемых одноплатных компьютеров, обладающих ограниченными ресурсами памяти произвольного доступа RAM и скромными вычислительными возможностями центральных процессоров. Показано, что одноплатные компьютеры имеют хорошую перспективу не только для применения, но и для обучения НС решению ОЗ на основе измерений, проведённых портативным прибором. Прибор, укомплектованный одноплатным компьютером и специализированным нейросетевым ПО, будет способен выдавать пользователю результаты решения ОЗ косвенных измерений. 6) Разработка технического задания (ТЗ) на программный комплекс (ПК) для нейросетевого решения ОЗ МТЗ. Разработано ТЗ на ПК для двумерной интерпретации данных МТЗ и нейросетевого решения двумерной ОЗ МТЗ. Полноценная веб-серверная система ПК будет разработана на базе его локальной версии. Подобный ПК может быть востребован среди лиц и организаций, решающих задачи МТЗ на практике. Предполагается, что разработанное ТЗ впоследствии будет использовано самими Исполнителями или третьими лицами для программной реализации подобного комплекса и вывода его на рынок. 7) Испытания опытного образца КР-спектрометра для экспресс-анализа минеральных, технологических и сточных вод. Для проверки возможностей прибора был приготовлен набор растворов солей MgSO4, Mg(NO3)2, LiCl, LiNO3, NH4F, (NH4)2SO4, KHCO3, KF, NaHCO3, NaCl, всего 302 раствора. Концентрации выбирались из диапазона, использованного на этапе 2014 г. при разработке метода определения концентраций ионов. Затем были получены спектры КР этих растворов в диапазоне 560-3800 см-1 при возбуждении на длине волны 405 нм (реальное спектральное разрешение установки составляло около 100 см-1), а также при возбуждении на длине волны 532 нм (разрешение около 15 см-1). Это существенно хуже разрешения, которое использовалось при получении основной спектральной базы в 2014 г. (там оно составляло 2 см-1). Для обеспечения возможности «перекрёстного применения» НС, обученных на спектрах из основной экспериментальной базы 2014 г., к новым спектрам, полученным на других длинах волн возбуждения и с другим спектральным разрешением, была предложена и реализована специальная процедура агрегации. На преобразованной с помощью этой процедуры базе примеров 2014 года с возбуждением на 488 нм (236 агрегированных каналов, 4445 примеров) обучались НС – персептроны с 2 скрытыми слоями (240+120 нейронов). Полученные сети применялись к тестовому набору (независимым данным) из той же базы, а также к преобразованным результатам двух новых экспериментов с возбуждением на 405 и 532 нм. ОЗ по определению концентраций ионов оказывается разрешимой во всех трёх случаях. Однако ухудшение спектрального разрешения до 100 см-1 ожидаемо приводит к ухудшению результата, особенно для сложных ионов. Для адекватной оценки потенциальной погрешности определения концентраций при спектральном разрешении 15 см-1 необходимо сравнение различных процедур агрегации, но предпочтительнее всего будет запись новой базы спектров для обучения НС на том же опытном образце КР-спектрометра, на котором затем будут сниматься новые данные, к которым эти сети будут применяться. 8) Разработка ТЗ на ОКР с целью создания серийного КР-спектрометра для экспресс-анализа минеральных, технологических и сточных вод. Отметим, что тот же спектрометр может быть использован для экспресс-определения концентраций вредных примесей в алкогольных напитках. ТЗ описывает назначение прибора, принцип его действия и основные требуемые характеристики. Прибор состоит из источника возбуждающего излучения (лазера), системы регистрации (монохроматора и детектора оптического излучения), и компьютера, позволяющего управлять работой прибора, сохранять, обрабатывать и анализировать данные. В ТЗ сформулированы технические требования к элементам прибора. 9) Публикация результатов работы по проекту в рецензируемых научных изданиях и представление результатов на всероссийских и международных конференциях. В отчётном году были опубликованы 22 печатные работы по проекту, в том числе 12 статей в изданиях, индексируемых Web of Science или Scopus. Представлено 18 докладов на 11 научных мероприятиях. 10) Подведение итогов проекта за 5 лет выполнения (2014-2018). По мнению руководителя и исполнителей Проекта, завершенный пятилетний Проект можно считать весьма успешным. Опубликованы 89 научных работ, в том числе 31 – в рецензируемых научных изданиях, индексируемых в базах данных «Сеть науки» (Web of Science Core Collection) или «Скопус» (SCOPUS). Представлено 78 докладов на конференциях, в основном международных, в РФ и за её пределами. Сложился устоявшийся творческий коллектив, объединяющий специалистов из разных организаций и доказавший свою способность эффективно работать как единая команда, причём ключевые роли в этом коллективе играют молодые и весьма перспективные учёные. Совместная работа этой команды будет продолжена в направлении дальнейшего развития отечественной школы по применению методов машинного обучения для решения сложных нелинейных многопараметрических ОЗ высокой размерности.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".