ИСТИНА |
Войти в систему Регистрация |
|
ИСТИНА ЦЭМИ РАН |
||
1. Задачей, на решение которой направлен реализованный проект, является изучение когнитивных процессов (КП) человека с применением технологий виртуальной реальности (ВР). Разработка и апробация сложных виртуальных сред (ВС), а также разработка методик регистрации ответов наблюдателя в этих средах позволит получить новые данные о фундаментальных закономерностях поведения человека при решении когнитивных задач. Полученные результаты позволят более эффективно использовать интеллектуальный потенциал человека при решении прикладных проблем в области психологии спорта, инновационном образовании, при создании «умных» роботов, а также в задачах развития социального интеллекта. 2. Целью реализованного проекта является анализ современной научной литературы по использованию систем ВР для исследования КП; анализ современных методов исследования КП, включающий психологические, психофизические и психофизиологические параметры регистрации; разработка и апробация программного обеспечения для создания сложных динамических ВС, а также программного обеспечения методик регистрации ответов наблюдателя в ВС; проведение экспериментальных исследований КП человека с применением систем ВР на основе разработанного и апробированного программного обеспечения.
• Подготовлен аналитический обзор современной научной и методической литературы по экспериментальным исследованиям КП, проведенных за последнее десятилетие с применением технологий ВР. Показано, что использование технологий ВР способствует эффективному развитию новых междисциплинарных направлений исследований, включая инновационное образование, когнитивную информатику, спорт высших достижений. • Проведен обзор современных методов исследования КП, включающий психологические, психофизические и психофизиологические параметры регистрации. Отмечены ограничения этих методов и выявлены методологические особенности исследований, проведенных с использованием технологий ВР. К основным достоинствам их использования следует отнести экологическую валидность ВС, возможность регистрации показателей в режиме реального времени, а также активность наблюдателя процессе решения когнитивных задач. • Проведен анализ и обоснование выбора разрабатываемой многофункциональной виртуальной среды, на основании которого обозначены основные направления экспериментальных исследований КП. Для каждого из направлений сформулированы проблемы исследования, а также дано обоснование необходимости использования технологий виртуальной реальности для их изучения. • Для выбранных направлений исследований когнитивных процессов разработано и апробировано программное обеспечение, моделирующее сложные динамические виртуальные среды. Описаны принципы работы CAVE и HMD систем виртуальной реальности, установленных на факультете психологии МГУ имени М.В.Ломоносова в рамках Программы развития МГУ. • Разработано и апробировано программное обеспечение для реализации различных методик регистрации ответов наблюдателя при выполнении когнитивных задач в условиях ВС. • Проведен анализ экспериментальных работ по эффективности решения когнитивных задач в услових виртуальной среды, моделирующей обычные и стрессовые ситуации. Показано, что применение технологий ВР позволяет получать более экологически валидные данные о КП человека, находящегося в стрессовой ситуации. • экспериментальные исследования КП на основе разработанного и апробированного на первом этапе программного обеспечения, моделирующего обычные и стрессовые виртуальные среды, проводились по нескольким направлениям: • когнитивные механизмы формирования трехмерных зрительных иллюзий, включая - исследование эффектов артикуляции в трехмерных иллюзиях светлоты. Было показано, что 1) иллюзии значительно ослабевают при внесении признаков глубины; 2) 3D артикуляция фона не влияет на выраженность иллюзии, что позволило переформулировать классическое определение артикуляции, как количество трехмерных объектов различной окраски. - изучение взаимодействия зрительных и звуковых признаков при восприятии 3D иллюзий движения, которое показало, что введение в сцену иллюзии признаков глубины приводит к уменьшению выраженности послеэффекта движения; однако, введение одновременно двух признаков разной модальности (глубины + звукового сопровождения) выявило обратный эффект – увеличение выраженности иллюзии. - исследование роли прослеживающих движений глаз в восприятии 3D иллюзий исчезновения. Результаты показали, что частота исчезновений целевых стимулов была значимо меньше в условиях, когда глаза отслеживали сонаправленно движущиеся целевые стимулы по сравнению с условием, когда глаза были фиксированы; не было обнаружено различий в частоте исчезновений для вертикального и горизонтального прослеживания, а также при уменьшении размера апертуры движущейся маски. • когнитивные процессы при нарушении вестибулярного аппарата, используя виртуальной среды, моделирующие стрессовые ситуации, включая - исследование влияния иллюзии движения собственного тела на процессы зрительного поиска. Согласно разработанной нами методике, степень нарушений функции вестибулярного аппарата может оцениваться на основе такого параметра движений глаз как различия между минимальной и максимальной величиной длительности фиксаций, наблюдаемых до и после воздействия вращающегося окружения. - исследование взаимодействия центрального и периферического поля зрения при формировании иллюзии движения собственного тела. Показано, что во время воздействия вращающегося окружения с широким полем зрения основным показателем степени нарушений является число морганий, возникающих на основе компенсаторный механизм вестибуло-окулярного рефлекса. • процессы формирования когнитивных карт (КК) пространства при помощи среды виртуального лабиринта и метода оценки КК пространства, разработанного участниками проекта. Результаты показали, что оценка общего числа комнат и дверей виртуального лабиринта производится достаточно точно. Основные ошибки при формировании КК связаны с искажениями размеров комнат, взаимного расположения комнат, а также локализации дверных проемов. • процессы пространственного зрительного внимания в 2D и 3D сценах на материале феномена «слепота к изменению». Показано, что выраженность феномена в 3D сцене повышается, что приводит к уменьшению скорости и точности поиска различного типа изменений. • Подготовлены презентационные материалы для международных и отечественных конференций, включая «Ломоносовские чтения 2013», ICP 2012 (Международный конгресс по психологии), ECVP 2012, ECVP 2013 (Европейская конференция по зрительному восприятию), ГрафиКон 2012 (Международная конференция по компьютерной графике и зрению), 10-ый Китайско-германский семинар по нейронаукам и психологии (Гамбург, Германия, 2013), Cogsci’12 (Международная конференция по когнитивной науке), Всероссийская научная конференция по экспериментальной психологии (Москва, 2012), V Съезд «Российское психологическое общество» (Москва, 2012). • На Международных молодежных научных форумах «Ломоносов 2012» и «Ломоносов 2013» представлены 9 докладов студентов и аспирантов, принимающих активное участие в НИР данного проекта. • Опубликованы 11 статей в ведущих научных журналах, а также научная монография «Психологические механизмы восприятия зрительных иллюзий». М: МАКС Пресс, 2013. • Разработана программа спецкурса «Использование систем виртуальной реальности для психологических исследований» и ее учебно-методическое обеспечение для студентов и аспирантов факультета психологии МГУ. 2) Указание основных характеристик созданной научной продукции: - анализ современных исследований КП выделяет основные актуальные направления исследований с применением технологий ВР; - анализ современных методов исследования КП позволяет выявить основные преимущества использования ВР технологий для изучения КП человека; - программное обеспечение ВС для исследований КП, является оригинальным продуктом, разработанным на основе современных языков программирования 3DVIAVirtools 4.1, C++ с использованием средств Qt, C#, Microsoft Visual Studio 2010/2012, 3D Studio Max, Google SketchUp, Gimp. 3) Описание новизны научных решений. Впервые: - проведен систематический анализ исследований КП, проведенных с применением технологий ВР; - выявлены основные методологические особенности исследований КП, выполненных в ВС; - разработано программное обеспечение, моделирующее сложные динамические виртуальные среды, в том числе и среды, симулирующие стрессовые ситуации; - разработано программное обеспечение, обеспечивающее реализацию различных методик регистрации ответов наблюдателя при выполнении когнитивных задач в ВС; - исследованы трехмерные зрительные иллюзии светлоты; - разработана методика оценки нарушений вестибулярного аппарата при использовании технологий ВР и регистрации движения глаз; - исследованы особенности нарушений формирования КК пространства в среде виртуального лабиринта; - изучены процессы пространственного зрительного внимания в 3D сценах; 4) Сопоставление с результатами аналогичных работ, определяющими мировой уровень. Программное обеспечение для моделирования виртуальных сред, созданных нами для исследования КП, сравнимо с мировыми аналогами. При его использовании реализованы оригинальные комплексные методы изучения, включающие психологические, психофизические и психофизиологические параметры регистрации ответов наблюдателя в ВС. В ряде аналогичных исследований влияния признака глубины на восприятие зрительных иллюзий было показано, что выраженность иллюзий уменьшается. Наши исследования показали как уменьшение, так и увеличение выраженности иллюзий, которые были объяснены на основе когнитивных правил интерпретации сложной трехмерной сцены. Разработана оригинальная методика оценки степени нарушения вестибулярной функции при использовании систем ВР и технологии регистрации движения глаз, не имеющая аналогов в исследованиях КП человека. Исследования распределения пространственного внимания в 3D сценах являются оригинальными и не имеющими аналогов в исследованиях по этой теме. Разработана программа спецкурса «Системы виртуальной реальности в психологических и психофизиологических исследованиях» для студентов и аспирантов факультета психологии МГУ, не имеющая аналогов в образовательных программах отечественных и западных университетов.
ФЦП: Федеральная целевая программа, «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы |
# | Сроки | Название |
1 | 18 июня 2012 г.-31 декабря 2012 г. | Разработка и апробация программного обеспечения для создания виртуальных сред на основе анализа современных исследований когнитивных процессов |
Результаты этапа: В рамках 1 этапа реализации проекта подготовлен аналитический обзор современной научной и методической литературы по теме НИР. В отчете проводится анализ экспериментальных исследований различных когнитивных процессов, проведенных за последнее десятилетие с применением технологии виртуальной реальности. Показано, что их применение позволяет проводить принципиально новые исследования когнитивных процессов человека, а также уточнять данные, полученные при помощи классических инструментариев экспериментальной психологии. Отмечено также, что использование технологий ВР способствует развитию новых междисциплинарных дисциплин, в которых происходит синтез знаний о познавательных способностях человека, наработанных в различных областях знаний. Такие новые направления психологических исследований как инновационное образование, когнитивная информатика, спорт высоких достижений, могут более эффективно развиваться в условиях сложной динамической стимуляции, которая обеспечивается в виртуальных средах. Проведен обзор современных методов исследования когнитивных процессов, включающий психологические, психофизические и психофизиологические параметры регистрации. Отмечены ограничения этих методов, связанные с теоретическими предсталениями о кратковременности протекания когнитивных процессов человека. В ходе анализа выявлены различные методологические особенности исследований, которые проводятся с использованием виртуальных технологий. К основным отличиям следует отнести возможность интеграции нескольких методик, непрерывность регистрации различных показателей в процессе решения когнитивных задач, а также активность наблюдателя при решении когнитивных задач в процессе деятельности. Проведен анализ и обоснование выбора разрабатываемой многофункциональной виртуальной среды, на основании которого были обозначены те направления экспериментальных исследований когнитивных процессов, которые будут проводиться на 2 этапе реализации проекта. Для каждого из направлений были сформулированы проблемы исследования, а также дано обоснование необходимости использования технологий виртуальной реальности для их изучения. Выбор основных напровлений исследований позволил провести разработку и апробацию программного обеспечения, моделирующего сложные динамические виртуальные среды, в том числе и виртуальные среды, симулирующие стрессовые ситуации. Были разработаны и апробированы программные продукты для исследования трехмерных зрительных иллюзий, процессов формирования когнитивных карт пространства, нарушений когнитивных процессов при дисфункции вестибулярного аппарата, пространственного внимания, а также процессов актуалгенеза зрительного образа при инверсии видимого поля. Также были рассмотрены принципы работы CAVE и HMD систем виртуальной реальности, установленных на факультете психологии МГУ имени М,В,Ломоносова в рамках Программы развития МГУ. В ходе реализации проекта было разработано и апробировано программное обеспечение для реализации различных методик регистрации ответов наблюдателя при выполнении когнитивных задач в условиях виртуальной среды. По результатам научно-исследовательских работ, проведенных в рамках проекта, были опубликованы 8 статей в ведущих научных журналах, сделано 9 докладов на международных и отечественных конференциях. На Международном молодежном научном форуме «ЛОМОНОСОВ 2012» были представлены доклады студентов и аспирантов, принимающих активное участие в научно-исследовательской работе данного проекта. | ||
2 | 1 января 2013 г.-15 ноября 2013 г. | Экспериментальные исследования когнитивных процессов на базе разработанных виртуальных средств и внедрение их результатов в образовательный процесс |
Результаты этапа: В рамках 2 этапа реализации проекта: Проведено описание различий в эффективности решения когнитивных задач в услових виртуальной среды, моделирующей обычные и стрессовые ситуации. Описаны индикаторы функциональных состояний, включая индикаторы энергетического обеспечения когнитивных процессов (работоспособности), нейрофизиологические и поведенческие индикаторы. Проанализированы экспериментальные исследования когнитивных процессов, проведенные с применением технологий ВР, моделирующих обычные и стрессовые сцены. Показано, что их применение позволяет получать более экологически валидные данные о когнитивных процессах человека, находящегося в стрессовой ситуации. Проведены экспериментальные исследования на основе разработанного и апробированного на первом этапе программного обеспечения, моделирующего сложные динамические виртуальные среды, в том числе и виртуальные среды, симулирующие стрессовые ситуации. Для проведения исследований использовалась система виртуальной реальности CAVE, установленной на факультете психологии МГУ имени М.В.Ломоносова в рамках Программы развития МГУ. Исследования проводились по нескольким направлениям. Экспериментальные исследования когнитивных механизмов формирования трехмерных зрительных иллюзий, включая - исследование эффектов артикуляции в трехмерных иллюзиях светлоты; было показано, что иллюзии значительно ослабевают при внесении признаков глубины в 3D сцену иллюзии. 3D артикуляция фона не влияет на выраженность иллюзии, что позволило переформулировать классическое определение артикуляции, как количество трехмерных объектов различной окраски. - изучение взаимодействия зрительных и звуковых признаков при восприятии 3D иллюзий движения, которое показало, что введение в 3D сцену признаков глубины приводит к уменьшению выраженности послеэффекта движения; однако, введение одновременно двух признаков разной модальности (глубины + звукового сопровождения) выявило обратный эффект – выраженность иллюзии увеличилась. - исследование роли прослеживающих движений глаз в восприятии 3D иллюзий исчезновения; результаты показали, что частота исчезновений целевых стимулов была значимо меньше в условиях, когда глаза отслеживали сонаправленно движущиеся целевые стимулы по сравнению с условием, когда они были фиксированы; не было обнаружено различий в частоте исчезновений для вертикального и горизонтального прослеживания, а также при уменьшении размера апертуры движущейся маски. Экспериментальные исследования когнитивных процессов при нарушении функции вестибулярного аппарата, включая - исследование влияния иллюзии движения собственного тела на процессы зрительного поиска; разработанная нами методика оценки нарушений функции вестибулярного аппарата позволила выявить, что степень нарушений может оцениваться на основе такого параметра движений глаз как различия между минимальной и максимальной величиной длительности фиксаций, наблюдаемых до и после воздействия вращающегося окружения. - исследование взаимодействия центрального и периферического поля зрения при формировании иллюзии движения собственного тела; выявлено, что сновным сигнальным механизмом для оценки иллюзии является компенсаторный механизм вестибуло-окулярного рефлекса; показано, что при регистрации движений глаз во время воздействия вращающегося окружения основным показателем степени нарушений является число морганий; . Экспериментальные исследования процессов формирования когнитивных карт пространства были проведены при помощи среды виртуального лабиринта и разработанного нами метода оценки аллоцентрических когнитивных карт пространства; результаты показали, что оценка общего числа комнат и дверей виртуального лабиринта производится достаточно точно; основные ошибки при формировании когнитивных карт связаны с неверным отображением взаимного расположения комнат, а также с искажениями размеров комнат и местоположении дверных проемов. Экспериментальные исследования процессов пространственного зрительного внимания в 2D и 3D сценах на материале феномена «слепота к изменению». Показано, что выраженность феномена слепоты к изменению в 2D сцене зависит от количества объектов, характера их расположения в пространстве стимула (структурированное или случайное) и типа изменения. Отмечено, что наиболее сложным типом изменения является изменение цвета. Выраженность феномена слепоты для 3D сцен приводит к уменьшению скорости и точности поиска изменений, происходящих в зрительной сцене. По результатам экспериментальных исследований были подготовлены презентационные материалы, отражающие результаты научно-исследовательской работы, для конференций «Ломоносовские чтения 2013», ECVP 2013 (Европейская конференция по зрительному восприятию), 10-го Китайско-германского семинара по нейронаукам и психологии. На Международном молодежном научном форуме «ЛОМОНОСОВ 2013» представлены 6 докладов студентов и аспирантов, принимающих активное участие в научно-исследовательской работе данного проекта. По результатам НИР, проведенных за преиод 2012-2013 г.г. опубликованы 11 статей в ведущих научных журналах, а также научная монография «Психологические механизмы восприятия зрительных иллюзий». М: МАКС Пресс, 2013. 128 с. |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".