Проблема ненадёжности данных, собранных на Amazon Mechanical Turk

Доктор Вадим Аксельрод из Университета Бар-Илан провёл исследование, которое показало, что данные, собранные на платформе Amazon Mechanical Turk (MTurk), часто ненадёжны. Эта платформа используется для выполнения заданий за деньги и популярна среди учёных.

Учёные решили проверить, насколько точно участники MTurk отвечают на вопросы. Они использовали одинаковые вопросы в анкетах и ловушки для внимания, чтобы понять, насколько внимательны люди. Результаты показали, что большинство участников не были внимательны и давали непоследовательные ответы, даже если у них был высокий рейтинг.

Доктор Аксельрод отметил, что такие участники не могли правильно ответить на сложные вопросы, значит, их ответы на основные вопросы могли быть случайными. Однако есть группа более опытных и надёжных работников, которых Amazon отбирает за хорошую работу. Их данные оказались качественными.

Учёные рекомендуют использовать этих опытных работников для будущих исследований, так как они дают более точные результаты. Доктор Аксельрод подчеркнул, что надёжные данные важны для науки, и исследователи должны быть осторожны при использовании общей выборки MTurk.