Шаг и вилка: почему ставку нельзя менять каждый час
Клики можно считать по часам. Заказы — нет: их на порядок меньше, и час для них слишком короткий срок, чтобы о чём-то говорить.
Если менять ставку каждый час, каждое значение получит по несколько заказов или ни одного. Разница между такими рядами — это шум, а не разница между ставками. Именно поэтому круг измеряется днями, а не часами.
Откуда берётся шаг
Шаг должен быть больше, чем случайный разброс, иначе тест сравнивает шум с шумом. И меньше, чем расстояние между «дёшево» и «дорого», иначе он проскочит нужное значение и вы узнаете только, что одна крайность хуже другой.
Как выбрать вилку, если данных ещё нет
Нижняя граница — та ставка, при которой показы ещё есть. Опустите её так, чтобы показов стало вдвое меньше обычного, и это дно. Верхняя — та, выше которой расход растёт, а заказов не прибавляется; обычно она обнаруживается на первом же круге сверху.
Между ними имеет смысл ставить от трёх до шести значений. Два — это не тест, а сравнение двух точек, и любая из них может оказаться случайной. Больше шести — срок, за который поменяется сам рынок, и ранние круги станет не с чем сравнивать.
Что портит тест сильнее всего
- Правки в карточке товара посреди теста: цена, картинка, название.
- Одновременное изменение расписания показов.
- Добавление минус-фраз в те же дни.
- Смена остатка на складе — товар, которого нет, не заказывают ни при какой ставке.
Всё это меняет отдачу, а тест припишет изменение ставке. Если что-то из списка случилось — круг придётся повторить.