Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видеоНИР

Mathematical methods and software for analysis, processing and synthesis of images and videos

Соисполнители НИР

МГУ имени М.В.Ломоносова Координатор

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2018 г.-31 декабря 2018 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1) Разработан нейросетевой алгоритм выделения областей разницы между изображениями. Алгоритм основан на модификации нейеросетевого алгоритма выделения объектов на отдельных изображениях, для случая двух изображений, исходного фона и нового изображения с внедрённым объектом. 2) Разработана технология интеграции систем расчёта освещения и визуализации с редакторами трёхмерных сцен. Данная технология ориентирована на поддержку таких функуциональных требований как быстрое обновление сцены, многопоточность, работа с контентом, не помещающимся в оперативную память, импорт и экспорт произвольных параметров, сериализация, удобная отладка и сетевой рендеринг. Дополнительно разработана технология экспорта внутренних процедурных текстур 3D редакторов, позволяющая поддержать существующие процедурные текстуры редактора в системе расчёта освещения на GPU без необходимости их реимплементации. Данная технология также позволяет осуществлять параллельный сетевой рендеринг при наличии в сцене внутренних процедурных текстур 3D редакторов без необходимости установки редактора на все вычислительные узлы (что невозможно сделать в существующих подходах). 3) Разработан алгоритм автоматической диагностики кардиологических заболеваний по структуре миокарда на изображениях МСКТ, превосходящий аналоги по точности. Алгоритм запатентован. 4) С использованием компьютерных классов факультета ВМК МГУ был проанализирован видеокодек x264 — один из самых популярных видеокодеков с открытым исходным кодом. Для данного кодека была получена база из 4352 наборов опций на 62 видеопоследовательностях. На репезентативной выборке из 83 видео была проведена серия экспериментов с помощью которых были выбраны новые наборы опций кодирования, которые работают эффективнее наборов опций по умолчанию. Данные наборы позволют, либо увеличить степень сжатия на 15.38% при том же качестве и скорости кодирования, либо увеличить скорость кодирования на 43.15% при том же качестве кодирования и степени сжатия.
2 1 января 2019 г.-31 декабря 2019 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1) Разработан новый алгоритм для подсчёта числа людей на основе выделения и сопровождения людей, работающий с отдельными кадрами. Алгоритм адаптирован для работы в распределённых системах с узким каналом связи. 2) Разработан ряд алгоритмов для повышения качества и достоверности идентификации человека по лицу в системах видеонаблюдения. 3) Разработан метод быстрого глобального освещения на основе алгоритма излучательности для больших сцен. Показано преимущество в скорости на 2 порядка по сравнению с аналогичным алгоритмом, не использующем предложенный метод. 4) Разработан новый алгоритм сегментации капилляров по видеофрагментам с микроскопа. Алгоритм позволяет строить бинарную маску капиллярной сети по видеофрагментам очень низкого качества, в частности, за счет использования новой комбинации методов для получения качественного изображения по последовательности кадров. 5) Предложен алгоритм выбора опций видеокодека, превосходящих опции кодирования по умолчанию по скорости и качеству кодирования, с использованием информации об исходной видеопоследовательности.
3 1 января 2020 г.-31 декабря 2020 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1) Усовершенствован алгоритм для сопровождения людей в системах видеонаблюдения, который позволяет повысить точность сопровождения при малой частоте кадров, что позволяет обрабатывать большее число видеопотоков на одном сервере. 2) Разработан новый алгоритм для калибровки камеры видеонаблюдения по фигурам людей в кадре. Алгоритм позволяет отобразить положение наблюдаемых в кадре людей на карту местности и проводить сопровождение в плоскости земли, а не плоскости кадра, что позволяет повысить точность сопровождения и определять положение людей на планах зданий и местности. 3) Разработан новый алгоритм для обучения легковесных сетей идентификации человека по лицу, на основе совместного обучения сетей ученика и учителя. Алгоритм позволяет существенно повысить точность идентификации для легковесных сетей. 4) Исследованы преимущества и недостатки использования технологии аппаратного ускорения трассировки лучей на основе Nvidia RTX. Создана программная система генерации наборов изображений при помощи фотореалистичного рендеринга на GPU с применением технологии Nvidia RTX для обучения алгоритмов компьютерного зрения. 5) Разработан метод ограниченного расширения GPU рендер-системы пользовательским кодом (математическими моделями) для реализации процедурных текстур в целях повышения вариативности 3D контента. 6) Разработан алгоритм сегментации изображений магнитно-резонансной томографии сердца, который позволяет использовать только одно или несколько размеченных изображений из последовательности изображений сердечного цикла за счет использования нового метода генерации псевдоразметки для остальных изображений цикла. Данный подход позволяет уменьшить количество требуемых размеченных изображений в 10-15 раз. 7) Разработан алгоритм автоматической классификации данных о вариабельности сердечного ритма, который устойчив к уменьшению разрешения временного ряда, что позволяет его использовать на данных невысокого качества, полученных с помощью портативных устройств. 8) Разработан нейросетевой метод распространения цвета в видео, учитывающий несколько подряд идущих кадров в видео как в архитектуре сети, так и на этапе ее обучения. Распространение цвета в видео в предложенном методе происходит в два этапа: распространение цвета на соседние кадры с помощью оптического потока и распространение цвета внутри кадра с исправлением ошибок компенсации с использованием нейросетевого алгоритма. Данный метод превосходит существующие аналоги по качеству распространения цвета не только на ближайшие кадры, но и на большое количество кадров вперед от исходного цветного кадра. 9) Разработан нейросетевой метод интерполяции кадров в видео с помощью компенсированных ядер свёртки. В данной работе интерполяция применяется для конвертации стереовидео в многоракурсное. Алгоритм принимает на вход исходный левый и правый ракурс, и генерирует между ними заданное число виртуальных ракурсов. Предложенный метод показал превосходство по метрикам качества PSNR и SSIM по сравнению с существующими аналогами на наборе данных Stanford Light-Field.
4 1 января 2021 г.-31 декабря 2021 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1)Разработана методика и программный инструмент для оценки точности и устойчивости нейросетевых алгоритмов сегментации медицинских изображений. 2)Разработан гибридный алгоритм на основе бустинга и нейросетей для анализа временных рядов, устойчивый к понижению частоты дискретизации. 3)Разработан алгоритм сегментации мышечной и жировой ткани на изображениях КТ и протестирован на малой выборке. 4) Разработана программная реализация основного подмножества технологии RTX, обеспечивающая работоспособность системы расчёта освещения на устройствах без аппаратной поддержки RTX. Разработанная технология обеспечивает автоматическую трансляцию С++ кода в Vulkan с возможностями использования аппаратно-ускоренной трассировки лучей. 5) Усовершенствован алгоритм сопровождения человека в видео, на основе которого разработана практически применимая система подсчёта числа людей в области интереса. Алгоритм основан на быстрых нейросетевых моделях и позволяет решать задачу в режиме реального времени, работая с отдельными ключевыми кадрами, а не всем видеопотоком. 6) Разработан новый алгоритм для оценки паталогий, свойственных при заболевании covid19, на данных компьютерной томографии. В алгоритме учтён опыт и пожелания радиологов для того, чтобы оценка качества работы алгоритма согласовывалась с восприятием врачей. 7) Доработана методология субъективного и объективного сравнительного анализа систем кодирования видео. 8) Проведён анализ недостатков метрики качества видео VMAF, разработана методика поиска уязвимостей в улучшенной версии VMAF NEG. 9) Разработаны псевдоэталонные метрики оценки качества видео. Проведено исследование качества 1000 стереоскопических видео в формате VR180.
5 1 января 2022 г.-31 декабря 2022 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: Разработан усовершенствованный транслятор/генератор кода на основе source-to-source преобразований, осуществляющий автоматический перенос алгоритмов из С++ в Vulkan на GPU. a) Разработан транслятор С++ в GLSL для поддержки специфической аппаратной функциональности GPU. b) Разработан кросс-платформенный аналог Nvidia Optix, обеспечив аппаратное ускорение трассировки лучей за счёт технологии Vulkan RTX. c) Разработана первоначальная версия рендер-системы на основе транслятора C++ в GLSL (https://github.com/Ray-Tracing-Systems/HydraCore3). По результатам подана статья на английском языке в "Proceedings of Ivannikov ISPRAS Open Conference" (https://www.isprasopen.ru/), сделан доклад и принята к публикации в сборник статья на конференции ГрафиКон-2022. Разработан гибридный алгоритм на основе бустинга и нейросетей, применимый к данным с носимых устройств с различной частотой дискретизации и позволяющий выявлять отклонения в сердечной деятельности на ранней стадии развития. По результатам работы опубликована статья на конференции 2022 the 5th International Conference on Pattern Recognition and Artificial Intelligence (PRAI). Разработан нейросетевой алгоритм обнаружения неисправности аппаратов МРТ по изображениям, превосходящий аналоги по точности. По результатам работы опубликована статья на конференции 2022 IEEE 35th International Symposium on Computer-Based Medical Systems (CBMS). Разработан алгоритм оценки перфузии легких по йодным картам, полученных методом субтракции при выполнении КТ-ангиопульмонографии. Результаты опубликованы в Сборнике тезисов Конгресса Российского Общества Рентгенологов и радиологов. В рамках данного исследования проведена разработка универсального метода поиска областей неустойчивости метрик качества видео с использованием предобработки видео, а также метода объективного измерения эффективности алгоритмов предобработки видео для задачи распознавания объектов. Для измерения качества видео созданы метрики для различных типов искажений, которые позволяют выявить нейросетевые архитектуры, наиболее подходящие для конкретных подзадач обработки видео. a) Разработан новый универсальный метод поиска областей неустойчивости метрик качества видео. b) Разработан новый метод объективного измерения эффективности алгоритмов предобработки видео для задачи распознавания объектов. с) Разработаны новые метрики для различных типов искажений видео.
6 1 января 2023 г.-31 декабря 2023 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1) Разработан метод обработки видео, повышающий оценку метрики качества VMAF на основе её дистилляции. Результаты опубликованы в издании "Препринты ИПМ им. М.В. Келдыша". 2) Разработан усовершенствованный алгоритм сегментации тканей на изображениях КТ. Результаты работы докладывались на Конгрессе Российского общества рентгенологов и радиологов и были опубликованы в Сборнике тезисов. 3) Разработаны кросс-платформенные алгоритмы трассировки лучей для CPU, мобильных и десктопных GPU. Полученное решение обладает сравнимой с мировыми лидерами в этой области (Embree, Hippie) производительностью, как по построению так и по обходу BVH дерева. Результаты опубликованы в издании "Препринты ИПМ им. М.В. Келдыша".
7 1 января 2024 г.-31 декабря 2024 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1) Разработан метод оценки подверженности изображения состязательным атакам на метрики оценки качества изображений. Разработанный метод может использоваться для создания наборов данных для обучения новых метрик оценки качества изображений более устойчивых к состязательным атакам. 2) Разработан метод предсказания нажатий пользователя в процессе интерактивного построения карты сегментации изображения. Метод позволил создать бенчмарк для оценки качества работы алгоритмов интерактивной сегментации в реальных задачах. 3)Разработан объективный метод оценки качества сжатого видео, направленный на оценку качества последующей обработки методами машинного зрения, что актуально для таких областей, как видео наблюдение. 4) Библиотека, реализующая алгоритмы трассировки лучей для моделей, заданных нейронными полями и/или облаками точек и/или функциями расстояния. Разработанная библиотека позволяет синтезировать изображения 3D сцен, содержащих разные виды моделей, например, созданные вручную полигональные сетки и полученные с помощью методов 3D реконструкции функции расстояния. 5) Демонстрационное приложение для оценки производительности разработанных алгоритмов трассировки лучей. Разработанное приложение позволило исследовать производительность различных алгоритмов трассировки лучей, в том числе на мобильных устройствах, выявить их узкие места и предложить новые модификации. 6) Разработан алгоритм выбора ракурсов для задачи реконструкции материалов. Алгоритм позволяет снизить количество изображений, необходимых для реконструкции параметров моделей материалов, и тем самым уменьшить время реконструкции от 4 до 8 раз.
8 1 января 2025 г.-31 декабря 2025 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа:
9 1 января 2026 г.-31 декабря 2026 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа:
10 1 января 2027 г.-31 декабря 2027 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".

Прикрепленные файлы

№ Имя Описание Имя файла Размер Добавлен