если гоните до тысячи посетителей на каждую тестируемую подписную, потому что сто процентов трафик не однородный и поэтому конверсия может сильно меняться
ну сделали выпуск в рассылке с сылкой на тестируемые страницы, пошли эти тыщи, ну дык перед ссылкой тизер был, которой поясняет чего ждать после клику, с чего трафик то неоднородыный? где "сто процентов"?
интерепретацию теста делает экспериментатор, а сторонние наблюдатели довольствуся выводом, ибо они не знают все нюансы эсперимента.
тогда можно было бы заменить зависимость, мол равномерно ваша конверсия росла или резко колебалось, и сделать вывод - достаточно ли для теста этого кол-ва уникумов или нет!
Есть формула, по которой считается размер выборки для получения статистически заначимого результата. А по ходу эксперимента, смотря на скачки какого-то показателя, решать увеличить или уменьшить выборку -- это мутно.
Когда планируете эксперимент, вы решаете на какой выборке работаете. Приминительно к трафику: источник, размер, интенсивность, характеристики аудитории.
Если трафик будет "сто процентов неоднородный", то нужная выборка из него нарезается.
up. В данном случае тестировалась "красная стрелка", т.е. элемент дизайна, визуальный элемент, который имхо не шибко влияет смысл. сомневаюсь, что результаты сильно изменятся при увеличении выборки.
Другое дело: 95% это мало чтобы дать однозначный ответ. разница межуд вариантами незначительна, т.е. есть стрелка или нет -- на подписки это не влияет.
Сообщение отредактировал Билли Бонс: 21 Октябрь 2015 - 07:04