Накрутка ПФ и A/B-эксперименты Яндекса: как не попасть в тестовую группу

Мало кто из тех, кто крутит ПФ, знает, что Яндекс постоянно проводит на своих пользователях A/B-эксперименты — тестирует новые версии алгоритмов, интерфейсов и, что важнее всего для нас, антифрода. Часть пользователей попадает в экспериментальные группы, где поиск работает не так, как для всех остальных. И если ваши боты массово попадают в такую тестовую группу, где обкатывается новый детектор накрутки, они могут спалиться раньше и надёжнее, чем в основной выдаче. Разберём, что такое A/B-эксперименты Яндекса, как они влияют на накрутку и как снизить риск.

Тема примыкает к материалам про нейросетевой антифрод и алгоритмы антифрода — здесь про то, как Яндекс их тестирует.

Что такое A/B-эксперименты Яндекса

Как любая крупная IT-компания, Яндекс не выкатывает изменения сразу на всех. Новые алгоритмы ранжирования, интерфейсы выдачи, а также методы антифрода сначала тестируются на части аудитории — это и есть A/B-тестирование (сплит-тестирование). Механика такая: пользователей делят на группы, одной показывают текущую версию (контроль), другой — новую (эксперимент), и сравнивают метрики. Если новая версия лучше — её раскатывают на всех.

Для накрутки важен один тип таких экспериментов — тесты новых детекторов накрутки. Прежде чем внедрить новый способ ловли ботов на всю выдачу, Яндекс обкатывает его на экспериментальной группе. И трафик, попавший в эту группу, проверяется более строгими или просто другими правилами, чем основной.

Яндекс тестирует новые ловушки для ботов на части пользователей, прежде чем включить их для всех. Попасть массой ботов в такую тестовую группу — значит проверить свою накрутку самым свежим детектором раньше времени.

Как это влияет на накрутку

Ранний контакт с новым детектором

Если значительная часть ваших ботов попадает в экспериментальную группу, где тестируется свежий антифрод, они столкнутся с ним раньше, чем он раскатается на всех. То, что прекрасно работало в основной выдаче, в тестовой группе может уже отсекаться. Это как случайно зайти на минное поле, которое ещё не обозначено на общей карте.

Искажённая картина результата

Эксперименты могут временно искажать то, что вы видите: позиции «скачут» не потому, что накрутка плоха, а потому, что часть замеров пришлась на экспериментальную выдачу с другими правилами. Это усложняет диагностику — легко принять эффект эксперимента за проблему накрутки.

Непредсказуемость

Попадание в группы обычно псевдослучайно (по кукам, идентификаторам). Вы не управляете тем, в какую группу попадёт конкретный визит. Это добавляет фактор неопределённости, который невозможно полностью контролировать.

Можно ли не попасть в тестовую группу?

Честный ответ: полностью управлять попаданием в эксперименты нельзя — это внутренний механизм Яндекса. Но есть подходы, снижающие риск и его последствия:

Естественное распределение профилей

Поскольку в группы делят по идентификаторам, важно, чтобы ваши профили были максимально «разными» и естественно распределёнными — тогда они разойдутся по группам как живая аудитория, а не соберутся аномальной массой в одной. Это тот же принцип разнообразия, что и в борьбе с кластеризацией по отпечаткам.

Запас прочности по качеству

Лучшая защита от «раннего контакта с новым детектором» — делать накрутку настолько чистой, чтобы она проходила не только текущий, но и более строгий антифрод. Если ваши боты неотличимы от людей по всем слоям (отпечатки, поведение, сеть), они переживут и экспериментальные детекторы. Запас прочности важнее попыток «увернуться» от эксперимента.

Мониторинг аномалий

Если вы замечаете необъяснимые скачки в поведении трафика или позиций, стоит учитывать, что часть из них может быть связана с экспериментами Яндекса, а не с вашей накруткой. Не делайте резких выводов по краткосрочным колебаниям — смотрите усреднённую динамику.

Постепенность и умеренность

Умеренные, естественно распределённые объёмы менее заметны в любой группе, чем массовые всплески. Это возвращает нас к принципу безопасных лимитов из статьи про суточный лимит.

Таблица: обычная выдача против экспериментальной

Почему это аргумент в пользу качества, а не хитрости

Главный практический вывод из темы экспериментов: невозможно перехитрить систему, обойдя её тесты — попадание в группы вне вашего контроля. Единственная рабочая стратегия — делать накрутку с таким запасом качества, чтобы она проходила и текущий, и завтрашний, более строгий антифрод. Это ровно то, к чему сводится весь наш цикл: не искать «дырку», которую завтра закроют, а имитировать живого пользователя настолько точно, что боты неотличимы от людей при любых правилах проверки.

Дешёвая накрутка, заточенная под текущие правила, особенно уязвима к экспериментам: она проходит сегодняшний антифрод, но валится, как только попадает в группу с завтрашним. Качественная накрутка с запасом прочности переживает эксперименты, потому что не эксплуатирует конкретную лазейку, а моделирует реального человека. Это связано с логикой гонки вооружений из статьи про нейросетевых ботов.

Разбор кейса: скачок, который списали на накрутку

Клиент запаниковал: позиции, которые стабильно росли, внезапно «просели» на несколько дней, а потом так же внезапно вернулись. Первая мысль — накрутку спалили. Диагностика показала иное: качество трафика было в порядке (низкая роботность, человеческое поведение), фильтра не было, а просадка носила краткосрочный и обратимый характер — типичный признак попадания части замеров в экспериментальную выдачу Яндекса, где на тот момент, вероятно, тестировались изменения.

Мы рекомендовали не делать резких движений (не наращивать резко объём в панике, не менять всё сразу) и переждать. Позиции стабилизировались сами. Вывод: краткосрочные необъяснимые колебания могут быть эхом экспериментов Яндекса, а не провалом накрутки, и паниковать, ломая налаженную работу, — худшее, что можно сделать. Смотреть нужно на усреднённую динамику, а не на дневные скачки.

Почему нельзя вычислить эксперимент и «переждать» его точечно

Возникает соблазн: раз эксперименты искажают картину, может, научиться их вычислять и на это время «замораживать» накрутку? На практике это не работает и вот почему. Во-первых, деление на группы происходит на стороне Яндекса по внутренним признакам, которые вам не видны, — вы не можете достоверно узнать, попал ли конкретный визит в эксперимент. Во-вторых, эксперименты идут практически постоянно и параллельно (тестируется много всего сразу), так что «периода без экспериментов», который можно поймать, попросту не существует. В-третьих, попытки подстроиться под предполагаемые эксперименты вносят хаос в стабильную работу — вы начинаете дёргать настройки на основе догадок, что вредит больше, чем сами эксперименты.

Единственно верная стратегия — не бороться с экспериментами, а быть к ним устойчивым. Стабильная, качественная, естественно распределённая накрутка проходит любые группы, потому что не эксплуатирует конкретную уязвимость, а моделирует живого пользователя, которого никакой детектор не должен отсеивать. Это как здоровье: вместо того чтобы угадывать, где подхватишь вирус, вы поддерживаете иммунитет, который справляется с любым. Запас качества — это и есть «иммунитет» накрутки к экспериментам.

Связь с общей философией цикла

Тема экспериментов хорошо иллюстрирует главную мысль всего нашего цикла статей: накрутка, построенная на имитации живого пользователя, устойчива, а накрутка, построенная на обходе конкретных правил, хрупка. Эксперименты, апдейты алгоритмов, новые детекторы — всё это меняет «конкретные правила», и накрутка-под-правила ломается при каждом изменении. А накрутка, которая честно моделирует человека по всем слоям (отпечатки, поведение, сеть, гео, куки, история), переживает изменения, потому что живой пользователь остаётся валидным при любых правилах. Именно поэтому мы так подробно разбирали каждый слой: цель не «обойти сегодняшний антифрод», а стать неотличимым от человека — тогда любые эксперименты и апдейты вам не страшны.

Чек-лист устойчивости к экспериментам

1. Профили максимально разнообразны и естественно распределены (не аномальная масса).
2. Накрутка сделана с запасом качества — проходит более строгий антифрод, а не только текущий.
3. Не эксплуатируется конкретная «лазейка», а моделируется живой пользователь.
4. Объёмы умеренные и постепенные, без массовых всплесков.
5. Краткосрочные колебания не вызывают паники — оценивается усреднённая динамика.
6. Резкие изменения в работе не вносятся из-за дневных скачков позиций.

Частые вопросы

Можно ли определить, что мой трафик попал в эксперимент? Напрямую — нет, Яндекс не сообщает о группах. Косвенно на это могут указывать краткосрочные необъяснимые колебания при в целом чистом и качественном трафике. Но уверенно отделить эксперимент от других причин сложно, поэтому важнее общая устойчивость.

Стоит ли что-то менять, если подозреваю попадание в эксперимент? Резких изменений вносить не стоит — можно сломать работающую схему из-за временного явления. Правильнее переждать, наблюдая усреднённую динамику. Если просадка стойкая и подтверждается ростом роботности или фильтром — тогда это уже другая причина, и её диагностируют по списку из статьи о том, почему накрутка не работает.

Делает ли это накрутку бессмысленной? Нет. Эксперименты — часть непредсказуемости, с которой живёт любое SEO. Качественная накрутка с запасом прочности устойчива к ним. Бессмысленной становится дешёвая накрутка под текущие правила, которую эксперименты вскрывают первой.

Вывод

A/B-эксперименты Яндекса — скрытый фактор, о котором почти не говорят: поисковик постоянно тестирует новые алгоритмы и детекторы накрутки на части аудитории, и попадание ботов в такую экспериментальную группу может вскрыть их раньше, чем новый антифрод раскатается на всех. Управлять попаданием в группы нельзя — это внутренний механизм Яндекса. Поэтому единственная рабочая защита — не хитрость, а качество: делать накрутку с запасом прочности, чтобы она проходила и завтрашний, более строгий детектор, а профили распределялись естественно, как живая аудитория. А краткосрочные необъяснимые колебания стоит воспринимать спокойно — часто это эхо экспериментов, а не провал, и паниковать, ломая налаженную работу, не нужно.

Больше о поведенческом продвижении и других услугах — на главной странице ProfSEO24.