Лингвистический эксперимент на платформе Яндекс. Толока: оценка исследовательских возможностей

Герасимова, А.А.; Лютикова, Е.А.

Авторы: Герасимова А.А., Лютикова Е.А.
Журнал: Zeitschrift für Slavische Philologie
Том: 78
Номер: 1
Год издания: 2022
Издательство: Universitaetsverlag Winter GmbH
Местоположение издательства: Germany
Первая страница: 175
Последняя страница: 206
Аннотация: The paper aims at analyzing online recruitment for linguistic experiments via Yandex.Toloka crowdsourcing platform in comparison to data collection via social media postings. In particular, we recruit respondents to complete the same acceptability judgment experiment on negative pronoun position in Russian subject control infinitive clause. We use the results from the combined sample as control and investigate how well the two samples reflect the findings.The demographics of the two samples differ slightly with Yandex.Toloka sample being more diverse in terms of educational background and place of origin. However, the employment relations result in a higher number of outliers in comparison to respondents who provide responses voluntarily. The experimental results show that the negative pronoun is licensed in the base position and necessarily moved to a preverbal position. The significant results across the two samples were almost indistinguishable, however, the difference was found in judgments coherence of a sample. Using resampling simulations, we evaluated the statistical power for the two samples and found that for Yandex.Toloka a larger sample size is required to achieve the 100% rate of statistical detectability. Finally, we analyzed the respondents’ individual consistency with regard to the combined sample results and with regard to their own responses. The data shows that the distribution of different groups of respondents is the same for the two samples with the majority of speakers being moderately consistent. We conclude that the power issues that arise within Yandex.Toloka can be solved by increasing the number of participants.Целью статьи является анализ онлайн-рекрутинга для лингвистических экспериментов через краудсорсинговую платформу Яндекс.Толока в сравнении со сбором данных через публикации в социальных сетях. В частности, мы набираем респондентов для проведения такого же эксперимента по оценке приемлемости положения отрицательного местоимения в русской инфинитивной клаузе с субъектным контролем. Мы используем результаты объединенной выборки в качестве контрольных и исследуем, насколько хорошо эти две выборки отражают результаты. Демографические данные двух выборок немного различаются, причем выборка Яндекс.Толоки более разнообразна с точки зрения образования и происхождения респондентов. Однако наличие договорных отношений между исследователем и респондентом приводит к большему количеству выбросов по сравнению с респондентами, дающими ответы добровольно. Результаты экспериментов показывают, что отрицательное местоимение лицензируются в базовой позиции и обязательно передвигаются в дпредглагольную позицию. Значимые результаты по двум выборкам были почти неразличимы, однако разница была обнаружена в согласованности суждений респондентов. Используя метод симуляции выборок, мы оценили статистическую мощность для двух выборок и обнаружили, что для Яндекс.Толоки требуется больший размер выборки для достижения 100% степени статистической обнаружимости различия. Наконец, мы проанализировали индивидуальную последовательность респондентов в отношении результатов объединенной выборки и в отношении их собственных ответов. Данные показывают, что распределение разных групп респондентов одинаково для двух выборок, при этом большинство говорящих являются умеренно последовательными. Мы делаем вывод, что проблемы с мощностью эксперимента, возникающие в Яндекс.Толоке, можно решить за счет увеличения количества участников.
Добавил в систему: Лютикова Екатерина Анатольевна

	ИСТИНА	Войти в систему Регистрация
	ИСТИНА ЦЭМИ РАН
	Главная Поиск Статистика О проекте Помощь

ИСТИНА

ИСТИНА ЦЭМИ РАН

Лингвистический эксперимент на платформе Яндекс. Толока: оценка исследовательских возможностейстатья

Прикрепленные файлы