|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ЦЭМИ РАН |
||
СИНХРОНИЗАЦИЯ ПРОСОДИИ И ЖЕСТОВ ПО ВРЕМЕНИ И НАПРАВЛЕНИЮтезисы доклада
- Автор: Николаева Юлия Владимировна
- Сборник: Язык-Музыка-Жест: информационные перекрестки (LMGIC-2022). Сборник материалов международной научной конференции, Санкт-Петербург, 18–20 апреля 2024 г. / под ред. П. М. Эйсмонт, Т. Е. Алексеевой-Ниловой
- Тезисы
- Год издания: 2024
- Место издания: ООО «Издательство Скифия-принт» Санкт-Петербург
- Первая страница: 56
- Последняя страница: 58
- Аннотация: В процессе коммуникации собеседники задействуют все доступные им возможностив процессе передачи и расшифровки сообщения. Из психологии в лингвистику пришло понятие модальности; для лингвистов особенно интересны визуальная и кинетическая модальность как набор специфических средств для передачи и получения информации, которые участвуют в ситуации общения лицом к лицу. Далее, в лингвистике эти модальности были разделены на каналы [Кибрик, 2018а], к аудиальной модальности при этом относятся вербальныйканал (непосредственно использование языковых средств) и просодический (просодическиесредства, включающие высотные, временны́е и скоростные признаки голоса, а также неречевые звуки), а к визуальной (или визуально-кинетической, учитывая обе стороны — получениеи передачу сигнала) — жесты рук, головы, корпуса, мимические движения, направления взгляда и некоторые другие (такие как проксемический канал — расстояние между собеседниками,и движения ног). Среди кинетических каналов основную роль в речевой коммуникации играет мануальный, или жесты рук [Крейдлин, 2002; McNeill, 1992; Kendon, 2004]. Достаточно хорошо изучена взаимосвязь просодического и вербального канала, с одной стороны [см., напр.,Янко, 2008; Кодзасов, 2022], и мануального и вербального — с другой [Гришина, 2017; Mülleret al., 2013]. При этом взаимодействие просодического и мануального каналов остается на периферии лингвистики; то, что известно, касается главным образом синхронизации просодиии жестов по времени [см., в частности, Valbonesi et al., 2002; Loehr, 2004; Федорова и др., 2016].Основной тезис состоит в том, что есть тенденция к синхронизации по времени слога в выделенном слове (носителе фразового акцента) и жеста, сопровождающего соответствующуюсинтагму или даже, точнее, пиковой точки этого жеста.Также высказывались наблюдения о синхронизации направления движения тона и жеста:можно отметить работы Д. Болинджера [Bolinger, 1983] о тенденции к совпадению направления в интонации и жесте и Х. Балог и Д. Брентари [Balog, Brentari, 2008] о совпадении направления движения жеста и тона у детей.В данном исследовании была сделана попытка проверить на корпусном материале гипотезу о координации направления в просодии и жестах рук. Для этого были использованы видеозаписи корпуса «Рассказы и разговоры о грушах» [Кибрик, 2018б]. Гипотеза исследованиясостояла в следующем: в случаях, когда мануальный жест попадает на акцентированное словов ЭДЕ (элементарной просодической единице — дискурсивной единице, приблизительно соответствующей клаузе, определяемой на основании просодических критериев), направлениедвижения тона и жеста будут скоординированы.Всего в трех монологах (04N, 22N и 23N) встретилось 410 жестов, которые можно было сопоставить с ЭДЕ или ее частью, из них для 388 было указано направление движения тона в со-57ответствующем фрагменте (остальные 22 — фальстарты или фрагменты ЭДЕ, когда на частис акцентоносителем был другой жест). При этом движение тона в большинстве случаев былонаправлено вверх (которое в общем случае связано с передачей дискурсивной незавершенности,что ожидаемо в монологе), а большинство жестов было направлено вниз (возможно, это связанос тем, что жесты любых типов могут сочетаться с такими, которые называются «жестовое ударение» или «биты» и в прототипическом случае направлены вниз [см. Литвиненко и др., 2017].Именно эта пара признаков (движение тона вверх, а руки — вниз) чаще всего встречалась вместе. Таким образом, основная гипотеза не подтвердилась. Были также рассмотреныотдельные типы жестов и разные способы синхронизации жестов и акцентуированного словаи слога, однако общая тенденция оставалась прежней.Однако есть одна группа мультимодальных единиц, когда направление движения рукии тона совпадало. Если рассмотреть случаи повторов жеста на соседних ЭДЕ (обычно такиецепочки повторов состояли из 2–3 жестов), можно заметить следующую тенденцию: к концу цепочки уменьшается вероятность рассогласования жеста и акцентоносителя по времени, но последние жесты в цепочке уже в большинстве случаев будут синхронизированы понаправлению с движением тона. Всего в изученном корпусе встретилось 68 повторяющихсяжестов, из них 29 были конечными в цепочке. По всей видимости, это можно объяснить нестолько механизмами, отвечающими за синхронизацию направления тона и жеста, сколькообщедискурсивными закономерностями для просодии: движение тона вниз на конечной ЭДЕв эпизоде, что можно сопоставить с точкой на письме (см. [Кибрик, 2008]), и тем фактом, чтов большинстве жестов рука движется вниз. С другой стороны, факт временнóй рассинхронизации жестов и речи в конце цепочки требует дальнейшего рассмотрения с привлечениемдополнительного материала.
- Добавил в систему: Николаева Юлия Владимировна