|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
Речевые сбои и жестикуляция: отбор стимульного материала для психолингвистического и нейрофизиологического исследованийтезисы доклада
- Авторы: Смирнова К.В., Коротаев Н.А., Подлесская В.И., Федорова О.В.
- Сборник: «Слово и жест». Научная конференция, посвященная памяти Е. А. Гришиной («Гришинские чтения»). Москва, 8 февраля 2020 г. Материалы конференции. / Отв. ред. С. О. Савчук. − М.: Институт русского языка им. В. В. Виноградова РАН, 2020
- Тезисы
- Год издания: 2020
- Место издания: Институт русского языка им. В. В. Виноградова РАН Москва
- Первая страница: 35
- Последняя страница: 38
- Аннотация: Речевым сбоям и мануальной жестикуляции посвящена обширная литература — и как самостоятельным явлениям, и как взаимосвязанным феноменам (см., inter alia, Eklund 2004; Гришина 2017; Seyfeddinipur 2006). Однако до сих пор их взаимодействие не было исследовано в полной мере на нейронном уровне. В рамках нашего междисциплинарного проекта ставится цель рассмотреть эту связь в психолингвистическом и нейрофизиологическом аспектах (Федорова и др. 2019). В частности, мы планируем проверить гипотезу об упрощающей функции т.н. прагматических жестов (Kendon 2004) в контексте заполненных пауз хезитации при понимании речи. В проекте впервые совместно используются методы корпусного анализа, психолингвистического эксперимента и функционально-резонансной томографии (фМРТ). Эксперимент позволит испытуемым оценивать стимульные видеофрагменты на предмет коммуникационных затруднений. С помощью фМРТ планируется выявить зоны мозговой активации во время восприятия различных типов речевых сбоев и мануальных жестов. В качестве стимульного материала использованы отрывки аннотированных видео- и аудиозаписей мультиканального корпуса «Рассказы и разговоры о грушах» (http://multidiscourse.ru, Кибрик 2018). Обязательным техническим условием для их отбора является интервал между ключевыми событиями (сбои / сбои или жесты / жесты) не менее 2 с (Buckner 1998). Стимульные фрагменты для психолингвистического эксперимента должны включать сочетание изолированной заполненной паузы хезитации и прагматического жеста; при этом интервал до другого сбоя / жеста должен составлять не менее 1 с.В докладе представлены результаты первичного корпусного анализа для поиска фрагментов, удовлетворяющих данным требованиям. 1. Из всего многообразия сигналов речевых сбоев и затруднений (об их номенклатуре применительно к русскому языку см., inter alia, Подлесская и др. 2019, Потанина и др. 2016) были отобраны в корпусе следующие: незаполненные паузы, заполненные паузы, нефонологические удлинения звуков, обрывы слов и фраз. Эти сигналы встречаются в устном тексте как изолированно друг от друга, так и в составе кластеров, т.е. комбинированных речевых сбоев. Было обнаружено, что собственно изолированные употребления встречаются несколько реже, чем кластеры (127 против 149). Речевой сбой аннотировался как изолированный, если был отделен от другого ближайшего сбоя как минимум двумя полнозначными словами. Также было установлено, что большая часть незаполненных пауз присоединяется к другим изолированным сбоям (всего — 169 случаев) в их начале или конце. Такие последовательности квалифицировались как промежуточный класс «квазикластеров». 2. При учете ограничения для томографического исследования (интервал между сбоями не менее 2 с) существенная часть сбоев была отброшена: из 445 размеченных сбоев подходящими для включения в стимульные фрагменты оказались только 154. Таким образом, характерная для естественного устного дискурса тенденция к группировке речевых сбоев в известной степени затрудняет их нейрофизиологический анализ. 3. Еще заметнее проблема кластеризации проявилась при поиске фрагментов для психолингвистического эксперимента. Из фрагментов, где присутствуют прагматические жесты (392), первичный анализ не выявил отрывков, в которых прагматический жест пересекался бы только с заполненной паузой, но не соседствовал со сбоями / движениями других типов. Степень внутри- и межканальной кластеризации тут настолько высока, что для решения поставленной задачи, по-видимому, придется ослабить требования, предъявляемые к стимульному материалу. Таким образом, базовой тенденцией, выявленной в процессе первичного корпусного анализа, оказалась тенденция к объединению речевых сбоев и прагматических жестов в кластеры и прочие тесно связанные временны́е последовательности — как на уровне одного канала (вокального, мануального), так и при комбинированном учете мультиканального поведения. С одной стороны, этот результат затрудняет экспериментальный анализ «чистых» случаев, с другой стороны, отражает важные для теоретического осмысления свойства естественной мультиканальной коммуникации.
- Добавил в систему: Федорова Ольга Викторовна