@stas3572

Какая точность и принцип работы класса для сплит-тестирования phpA-B?

Добрый день!
Есть необходимость попробовать класс для сплит-тестирования phpA-B.

Посмотрел, к сожалению не нашел отзывов и толковых описаний результатов работы с данным классом, ищу тех кто работал с ним, для ответа на вопрос: на сколько точное получается деление при двух-вариантном сплит-тестировании? Если я правильно понял, разбивка происходит рандомом:
...	
	srand((double)microtime() * 1000003);
	$this->current_variation_key = array_rand($this->variations);
	$this->current_variation = $this->variations[$this->current_variation_key]['name'];
...

Тесты будут проходить периодически, но малым сроком (не спрашивайте почему, такова необходимость/условия) и поэтому важна точность разбивки пополам. Стоит применять в данном случае этот класс или лучше хранить значение последнего выданного варианта (А/Б) и при отсутствии куки у посетителя менять его на противоположный, получая таким образом точную очередность вариантов (с погрешностью в 1, в зависимости от конца периода и четного/нечетного последнего пользователя)?
GoogleAnalytics тоже не предлагать, интересует конкретно серверный вариант тестирования.
  • Вопрос задан
  • 2489 просмотров
Решения вопроса 1
DmitriyEntelis
@DmitriyEntelis
Думаю за деньги
С учетом теории вероятности - распределение в первом случае может быть не совсем 50/50.
Но тут Вам надо четко понимать 2 очень важные вещи:
1) При сплит-тестах, надо мерять не количество целевых действий, а конверсию в процентах.
Т.е к примеру случай A был показан 2000 раз, сделано 20 покупок, конверсия 1%.
случай B был показан 1000 раз, сделано 15 покупок, конверсия 1,5%.
Т.е случай B на 50% лучше случая A.
2) Любые сплит-тесты имеют смысл на большой выборке. Подробнее можно почитать в гугле или liraltd.com/raschet-dlinyi-vyiborki-dlya-testirovaniya
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы