Когда Яндекс.Метрика поделилась планами обновить систему определения роботов, команда сервиса получила массу вопросов и не смогла оставить их без внимания. Алексей Тощаков, руководитель группы антифрода Яндекса, рассказывает, как работают и чем отличаются алгоритмы определения роботов в Поиске, Директе и Метрике.
Антифрод — это комплекс мер для определения мошенничества в сети и борьбы с ним. Учитывая специфику сервисов Яндекса, важная задача Антифрода — бороться с разными видами роботов. Чтобы определять их и защищать пользователей, у Яндекса есть надежные механизмы:
- Антифрод Поиска
- Антифрод Директа
- Система определения роботов Метрики
Все три системы работают на основе алгоритмов машинного обучения, которые используют поведенческие факторы и технические сигналы. Но между ними есть и различия, которые связаны со специфическими задачами каждой системы.
Как работает Антифрод Поиска
Антифрод Поиска — это система фильтрации трафика для борьбы с манипуляцией поисковой выдачей Яндекса.
Ключевая задача Антифрода Поиска — исключить влияние накруток на результаты поиска, чтобы пользователи Яндекса находили в выдаче релевантные ответы на свои запросы. Для этого необходимо высоко ранжировать наиболее качественные сайты — которые отвечают на вопросы пользователей и безопасны для них. И понижать в поиске сайты, которые пытаются обмануть алгоритмы или размещают неприемлемый или опасный контент (например, вредоносное ПО).
Чтобы исключить манипуляции поисковой выдачей, Антифрод Поиска использует жесткие алгоритмы фильтрации. Каждый месяц система обнаруживает множество новых попыток накрутки поисковой выдачи. Чтобы оперативно их вычислять, мы применяем двухступенчатую систему очистки трафика: онлайн-фильтрацию в режиме реального времени и дополнительную офлайн-очистку.
На этапе онлайн-фильтрации мы отсеиваем потенциально вредоносный трафик. Например, ботов, которые накручивают поведенческие факторы, копируют контент и другие программы, которые вредят сайтам и поиску. На этапе офлайн-очистки мы проводим дополнительный анализ по еще большему количеству факторов, которые позволяют отслеживать более сложные типы фрода.
Как работает Антифрод Яндекс.Директа
Антифрод Директа — это система фильтрации фрода для обеспечения качества рекламного трафика.
Яндекс.Директ ориентируется на своих партнеров — рекламодателей и владельцев площадок — и стремится обеспечить качественный трафик для всех. Задача Антифрода сервиса — отсеивать некачественные клики и трафик, влияющие на рекламу в Директе.
Антифрод Директа отфильтровывает четыре типа некачественного трафика:
- Склики, или кликфрод — накрутка кликов с целью потратить бюджет рекламодателя.
- Скрутка — накрутка показов, чтобы испортить CTR конкурентов или с другой целью.
- Накрутка конверсий — мошенничество с целью скрутить бюджеты рекламодателей, которые используют стратегии с оплатой за конверсии.
- Повторные и случайные клики – хотя это не мошеннический трафик, это тоже важная часть работы Антифрода Директа.
Во всех случаях именно механизмы Антифрода определяют, что произошло и какие действия учитывать в статистике.
Как и в Поиске, в Директе работает двухступенчатая система очистки трафика. Хотя принцип работы алгоритмов близок, в их основе лежит разный набор факторов.
Онлайн-фильтрация фрода в Директе оценивает факторы, актуальные для рекламы. Помимо сиюминутных признаков, таких как время суток, сезон, география клика, учитываются события до клика и паттерны поведения, типичные для людей и роботов.
Задача офлайн-доочистки трафика в Директе — выявить более сложные и неочевидные сценарии фрода. Для этого система выделяет в статистике отклонения от типичного поведения пользователей.
Как работает система определения роботов в Метрике
Система определения роботов в Метрике — механизм, который позволяет пользователям Метрики работать с аналитикой сайта на основе максимально точных данных.
Метрика постоянно работает над улучшением механизмов, которые отделяют визиты роботов от людей. Недавно мы анонсировали большое обновление системы определения роботов. Подробнее о нем в блоге Метрики.
В отличие от Антифрода Поиска и Антифрода Директа, система определения роботов в Метрике использует только онлайн-очистку трафика. Сервис не меняет полученные данные и отображает их в режиме реального времени. Иначе Метрика не смогла бы моментально выдавать пользователям данные для работы с аналитикой.
Такой подход позволяет маркетологам и владельцам сайтов корректно оценивать посещаемость, вовлеченность пользователей и принимать решения на основе максимально чистого трафика.
Как увидеть роботов в аналитике
По сути, Метрика — это единственное место, где вы можете отследить роботный трафик. Поиск и Директ не учитывают роботов, так как они исказили бы выдачу и ухудшили результаты рекламы. Метрика же — аналитический сервис и должна предоставлять пользователям наиболее полные данные о том, что происходит с их сайтом. Поэтому мы даем выбор — анализировать данные с учетом роботных визитов или без них.
Важно понимать, что обновление системы определения роботов коснется только системы в Метрике и никак не повлияет на поисковую выдачу. Поэтому любые роботные всплески в Метрике, Вебмастере или Вордстате не следует связывать с ранжированием.
