Удалите ботов из данных вашего опроса

Краткое содержание:
Научитесь выявлять и фильтровать ответы опросных ботов перед анализом, чтобы фальшивые данные не исказили ваши результаты.

Если вы распространяете опросы через открытые каналы, такие как социальные сети, онлайн-сообщества или общедоступные ссылки, есть большая вероятность, что некоторые из ваших ответов не исходят от реальных участников. Вместо этого они могут исходить от ботов-опросов, которые становятся все более распространенной проблемой для исследователей.

Если ответы ботов останутся в вашем окончательном наборе данных, они могут исказить ваши выводы и привести вас к неверным выводам, поскольку они просто не отражают потребности и мнения реальных людей. По этой причине проверка ботов должна быть стандартной частью очистки данных опросов. Однако ответы роботов-опросов иногда бывает трудно обнаружить, поскольку для неподготовленного глаза они могут выглядеть совершенно нормальными.

Что такое опросные боты?

Опросные боты — это автоматизированные программы или люди, использующие инструменты автоматизации, которые заполняют опросы мошенническими ответами.

Боты варьируются по сложности: от грубых сценариев, которые выбирают случайные ответы, до инструментов с помощью искусственного интеллекта, которые генерируют правдоподобный открытый текст и адаптируются к логике вопросов. Многие могут пройти базовые проверки качества, такие как вопросы для проверки вниманиякоторые просят респондентов выбрать конкретный ответ, чтобы подтвердить, что они внимательны и не являются автоматизированной программой (например, «Пожалуйста, выберите «Полностью согласен» для этого вопроса»).

Риск столкнуться с ответами ботов увеличивается, когда речь идет о денежном стимулировании. Даже скромные стимулы — такие как подарочная карта на 5 долларов или участие в лотерее — могут привлечь ботов, предназначенных для прохождения опросов исключительно за вознаграждение. Однако любой опрос, распространяемый по открытому каналу, независимо от стимула, все равно может быть доступен для опросных ботов.

Общие признаки ответов ботов

Скрининг ботов включает в себя поиск закономерностей во всем наборе данных, которые позволяют предположить, что ответ мог прийти не от реального участника. Различные типы вопросов опроса и метаданные могут выявить разные признаки того, что ответ может быть не искренним.

Несмотря на то, что существует несколько общих признаков активности ботов, одна подозрительная деталь не означает автоматически, что ответ является мошенническим. Вместо этого используйте следующие признаки, чтобы определить ответы, которые заслуживают более тщательного рассмотрения.

Сроки завершения

Данные о времени — один из самых быстрых способов выявить подозрительные реакции. Большинство платформ для проведения опросов автоматически фиксируют общее время завершения. Ищите чрезвычайно быстрое или очень равномерное время завершения.

Чрезвычайно быстрое завершение

Опрос, занимающий у человека 8–10 минут, не должен выполняться за 30 секунд. Все, что намного ниже медианы, проверенной пилотными проектами, является подозрительным.

Единые сроки завершения

Если сотни ответов приходят почти ровно за 5 минут (плюс-минус несколько секунд), такая кластеризация — это не то, как ведут себя люди. Реальные участники сильно различаются: кто-то бегло просматривает, кто-то читает внимательно, кого-то перебивают. Плотный кластер почти одинакового времени завершения предполагает, что сценарий автоматически отправляет ответы с заданной скоростью.

Десятки ответов пришли последовательно и имели время завершения почти ровно 5 минут (плюс-минус несколько секунд), что указывает на активность ботов.

Открытые ответы

Хотя опросы в первую очередь представляют собой количественный метод, в них обычно включают хотя бы один открытый вопрос, даже если это просто «Есть ли у вас какие-либо дополнительные мысли или комментарии, которыми вы могли бы поделиться?». Эти вопросы — одни из самых мощных инструментов обнаружения ботов. потому что боту гораздо сложнее дать правдоподобный ответ в виде произвольного текста, чем выбрать случайный вариант с несколькими вариантами ответов.

Просматривая открытые ответы, обратите внимание на:

Очень длинные, общие ответы: Бот, которого спрашивают: «Почему вы выбрали этот рейтинг качества обслуживания клиентов?» может вернуть три банальных абзаца о важности качества обслуживания клиентов, даже не упомянув ничего конкретного.
Равномерная длина ответа: Если большая партия открытых ответов примерно одинаковой длины — скажем, все они состоят ровно из одного предложения или все колеблются в пределах 40 слов — это неестественно. Реальные респонденты сильно различаются по тому, как много они пишут. Постоянная длина многих ответов предполагает, что бот использует шаблон или инструмент генерации текста с фиксированными настройками вывода.
Необычно отполированное письмо: Реальные ответы на опросы часто бывают запутанными. Они могут включать опечатки, фрагменты предложений, неофициальные знаки препинания или стенографию, особенно когда участники отвечают на мобильных устройствах. Большой набор ответов, грамматически безупречных и отточенных, должен вызвать подозрения.
Отличительный тон AI. Ответы, написанные ИИ, обычно бывают беглыми и хорошо организованными, но крайне расплывчатыми. Они могут звучать четко, даже не говоря ничего конкретного о реальном опыте респондента. Ищите ответы, которые могут относиться практически к любому продукту или ситуации, а не к конкретному, о котором спрашиваете в вашем опросе.

IP-адреса

Большинство платформ для опросов автоматически фиксируют IP-адреса. Несколько ответов с одного и того же IP в течение короткого окна может указывать на то, что один оператор бота неоднократно отправляет ответы. Однако обратите внимание, что общие сети (такие как университетские кампусы, корпоративные офисы или домашние Wi-Fi) также могут создавать законные дубликаты.

Адреса электронной почты

Если в вашем опросе собираются адреса электронной почты (например, для распределения поощрений или последующего интервью), это может выявить шаблоны ботов. Искать:

Повторяющиеся адреса электронной почты: Хотя вполне возможно, что реальный участник случайно отправил свой ответ более одного раза, повторяющиеся электронные письма также могут указывать на поведение бота, особенно когда они появляются рядом с другими подозрительными сигналами.
Строки нечетных адресов подряд. Случайные комбинации букв и цифр (h7fq2w@gmail.com, x9klm3p@gmail.com), поступающие одна за другой, указывают на одноразовые генераторы электронной почты, используемые операторами ботов.

Рандомизированный порядок вопросов

Если в вашем опросе порядок вопросов рандомизирован, ботам часто сложно угнаться за контекстом. Ищите ответы, в которых ответ на один вопрос явно относится к другому вопросу. Например, респондент, которого спросили о «последнем приложении, которое вы использовали», вместо этого может дать ответ, который явно касается «вашей любимой функции», потому что бот извлек из набора заранее написанных ответов и сопоставил его с неправильным вопросом. Такого рода несоответствие легче всего обнаружить в открытых ответах в рандомизированных блоках.

Ключевые моменты при оценке ответов ботов

Рассмотренные выше признаки могут помочь вам заметить подозрительные реакции, но их не следует рассматривать как механический контрольный список, который необходимо пройти. Решение о том, какие ответы удалить из окончательного набора данных, требует тщательного анализа общих закономерностей.

Имейте в виду следующее:

Ни один признак не является окончательным. Быстрое время завершения может понравиться опытному пользователю. Дубликат IP-адреса может принадлежать двум людям в одной домашней сети. Грамматически совершенный открытый ответ может быть от человека, который пишет внимательно. Оцените каждый ответ по нескольким показателям, прежде чем удалять его.
Чтобы быть ботом, ответ не обязательно должен иметь все признаки. Двух или трех сходящихся сигналов — например, быстрого завершения и дублирования IP-адресов — обычно достаточно, чтобы пометить ответ бота на удаление.
Ответы ботов, как правило, приходят партиями, а не по одному. Обнаружив один подозрительный ответ, просканируйте окружающие его ответы (например, ответы, отправленные в аналогичный период времени). Если в вашем опросе присутствуют ответы ботов, вы часто обнаружите группу подозрительных ответов, имеющих схожие закономерности.
Разные партии ботов могут выглядеть по-разному. Не думайте, что все ответы ботов будут следовать одному и тому же шаблону. Один пакет может содержать ответы, заполненные ровно за пять минут, каждый из которых содержит открытый ответ из одного предложения. Другая партия может включать 30-секундные дополнения с длинными общими абзацами, созданными искусственным интеллектом.
Боты быстро совершенствуются. Поведение ботов меняется по мере того, как инструменты генеративного искусственного интеллекта и автоматизации становятся более доступными. Признаки, которые работали шесть месяцев назад, могут не уловить ботов, которые появляются сегодня, а сегодняшние сигналы могут пропустить ботов следующего квартала. Будьте внимательны к новым моделям.

Всегда документируйте свои решения

После того, как вы решите, какие ответы бота удалить, всегда документируйте свои решения. Ведите учет того, сколько ответов было помечено, сколько удалено и какие признаки привели к каждому решению. Эта документация защищает целостность вашего анализа. Это также помогает заинтересованным сторонам понять, что окончательный размер выборки отражает целенаправленный процесс контроля качества.

Заключение

Боты-опросы представляют собой распространенный риск при проведении онлайн-опросов, особенно когда набор персонала происходит через открытые каналы или предлагаются стимулы. Если оставить их в наборе данных, ответы ботов могут исказить закономерности в данных и привести к тому, что команды неправильно истолкуют то, что думают или чувствуют реальные пользователи. Прежде чем анализировать результаты опроса, исследователи должны проверить данные на наличие подозрительных закономерностей, задокументировать свои решения по проверке ботов и удалить ответы, которые содержат убедительные доказательства активности ботов. Этот процесс помогает гарантировать, что окончательный набор данных отражает опыт, отношение и поведение реальных участников.

Источник