Перейти к содержимому

Фотография

Калькулятор достоверности А/Б сплит тестов

сплит тестирование аб тесты конверсия увеличение продаж

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 33

#1 Роман Кротов

Роман Кротов

    Свой человек

  • Киберсанты
  • PipPipPipPipPip
  • 954 сообщений
153
Очень хороший
  • Пол:Мужчина

Отправлено 16 Октябрь 2015 - 05:33

Для тех кто интересуется повышением конверсии на своих продающих сайтах я сделал очень простой и удобный онлайн калькулятор достоверности проведения сплит тестов: http://krotovroman.ru/ab/

d66a152ba314.png

Вот подробный видеоурок о том как его использовать:

Делитесь своими результатами экспериментов!

 

P.S. А вот статья для программистов о том как проводить сплит тест в яндекс метрике: http://krotovroman.r...it-test-metrika


Сообщение отредактировал Роман Кротов: 16 Октябрь 2015 - 05:35

  • 1

Сделаю чат-бота на заказ. Vk, Viber, Telegram, Facebook. Быстро и качественно.

ЗАКАЗАТЬ БОТА 


На правах рекламы

#2 Роман Кротов

Роман Кротов

    Свой человек

  • Киберсанты
  • PipPipPipPipPip
  • 954 сообщений
153
Очень хороший
  • Пол:Мужчина

Отправлено 17 Октябрь 2015 - 05:35

Интересные результаты А/Б теста. 
Теперь я уверен на 98,52% что стрелка в форме подписки ухудшает конверсию на 37,72%!

Так то господа!

I4FcodvFwD0.jpg

_cv7XQyceIg.jpg

-3oO6WqBsmY.jpg


Сообщение отредактировал Роман Кротов: 17 Октябрь 2015 - 05:46

  • 0

Сделаю чат-бота на заказ. Vk, Viber, Telegram, Facebook. Быстро и качественно.

ЗАКАЗАТЬ БОТА 


#3 Демьянченко Феликс

Демьянченко Феликс

    Коммерсант

  • Клиент Info-DVD.Ru
  • PipPipPipPip
  • 228 сообщений
84
Очень хороший
  • Страна, Город:
    Краснодар
  • Пол:Мужчина

Отправлено 20 Октябрь 2015 - 12:06

Теперь я уверен на 98,52%
на какую плотность трафика тестировал?
  • 0

#4 Роман Кротов

Роман Кротов

    Свой человек

  • Киберсанты
  • PipPipPipPipPip
  • 954 сообщений
153
Очень хороший
  • Пол:Мужчина

Отправлено 20 Октябрь 2015 - 17:10

Демьянченко Феликсплотность?


  • 0

Сделаю чат-бота на заказ. Vk, Viber, Telegram, Facebook. Быстро и качественно.

ЗАКАЗАТЬ БОТА 


#5 Билли Бонс

Билли Бонс

    Реклама Инфопродуктов в Гугле (пишите в личку)

  • Киберсанты
  • PipPipPipPipPip
  • 5 173 сообщений
3 236
Очень хороший
  • Пол:Мужчина

Отправлено 20 Октябрь 2015 - 20:52

ммм ... а мой калькулятор показывает вместо 98,52% всег 95

 

[attachment=21449:Безымянный.png]


  • 0
*** Как грести трафик из AdWords ещё -- ещё и ещё -- http://billibons.ru -- Nik Билли Бонс Зарегистрирован!

#6 Демьянченко Феликс

Демьянченко Феликс

    Коммерсант

  • Клиент Info-DVD.Ru
  • PipPipPipPip
  • 228 сообщений
84
Очень хороший
  • Страна, Город:
    Краснодар
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 05:55

плотность?

 

Сейчас заново пробежался по посту и увидел, что есть картинка, где кол-во трафика обозначено как 722 и 737, а про плотность трафика я спрашивал как раз вот про эти данные, мол сколько было прогнано в А/Б тест трафика в единицу времени...могу сказать с уверенностью, что если вы прогоните 10 тыс. или 100 тыс. трафика, то картина значительно поменяется и может быть даже в корне до наоборот...

 

ЗЫ: Было бы не плохо следить в динамике как меняются показатели конверсии на каждой сотне трафика, если гоните до тысячи посетителей на каждую тестируемую подписную, потому что сто процентов трафик  не однородный и поэтому конверсия может сильно меняться (резко скакать, колебаться), тогда можно было бы заменить зависимость, мол равномерно ваша конверсия росла  или резко колебалось, и сделать вывод  - достаточно ли для теста этого кол-ва уникумов или нет!


  • 0

#7 Билли Бонс

Билли Бонс

    Реклама Инфопродуктов в Гугле (пишите в личку)

  • Киберсанты
  • PipPipPipPipPip
  • 5 173 сообщений
3 236
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 06:11

могу сказать с уверенностью, что если вы прогоните 10 тыс. или 100 тыс. трафика, то картина значительно поменяется и может быть даже в корне до наоборот...

На чём уверенность держиться?


  • 0
*** Как грести трафик из AdWords ещё -- ещё и ещё -- http://billibons.ru -- Nik Билли Бонс Зарегистрирован!

#8 Демьянченко Феликс

Демьянченко Феликс

    Коммерсант

  • Клиент Info-DVD.Ru
  • PipPipPipPip
  • 228 сообщений
84
Очень хороший
  • Страна, Город:
    Краснодар
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 06:14

На прогонах от 10тыс трафика в страницу для снятия конверсий


  • 0

#9 Билли Бонс

Билли Бонс

    Реклама Инфопродуктов в Гугле (пишите в личку)

  • Киберсанты
  • PipPipPipPipPip
  • 5 173 сообщений
3 236
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 06:42

если гоните до тысячи посетителей на каждую тестируемую подписную, потому что сто процентов трафик не однородный и поэтому конверсия может сильно меняться

ну сделали выпуск в рассылке с сылкой на тестируемые страницы, пошли эти тыщи, ну дык перед ссылкой тизер был, которой поясняет чего ждать после клику, с чего трафик то неоднородыный? где "сто процентов"?
 
интерепретацию теста делает экспериментатор, а сторонние наблюдатели довольствуся выводом, ибо они не знают все нюансы эсперимента.

 

тогда можно было бы заменить зависимость, мол равномерно ваша конверсия росла или резко колебалось, и сделать вывод - достаточно ли для теста этого кол-ва уникумов или нет!

Есть формула, по которой считается размер выборки для получения статистически заначимого результата. А по ходу эксперимента, смотря на скачки какого-то показателя, решать увеличить или уменьшить выборку -- это мутно.
 
Когда планируете эксперимент, вы решаете на какой выборке работаете. Приминительно к трафику: источник, размер, интенсивность, характеристики аудитории.
 
Если трафик будет "сто процентов неоднородный", то нужная выборка из него нарезается.


up. В данном случае тестировалась "красная стрелка", т.е. элемент дизайна, визуальный элемент, который имхо не шибко влияет смысл. сомневаюсь, что результаты сильно изменятся при увеличении выборки.

Другое дело: 95% это мало чтобы дать однозначный ответ. разница межуд вариантами незначительна, т.е. есть стрелка или нет -- на подписки это не влияет.

Сообщение отредактировал Билли Бонс: 21 Октябрь 2015 - 07:04

  • 0
*** Как грести трафик из AdWords ещё -- ещё и ещё -- http://billibons.ru -- Nik Билли Бонс Зарегистрирован!

#10 Демьянченко Феликс

Демьянченко Феликс

    Коммерсант

  • Клиент Info-DVD.Ru
  • PipPipPipPip
  • 228 сообщений
84
Очень хороший
  • Страна, Город:
    Краснодар
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:00

с чего трафик то неоднородыный?
 а  с чего он однородный? исходя из вашего примера с рассылкой, то в рассылке и бабки и дедки и юноши  и девушки и ...др.сидят, абсолютно перемешанная аудитория по многим признакам и то что эта аудитория кликает по определенному превью - это ни о чем не говорит, в чем ее однородность заключается? если бы это была бы фокус группа подобранная по нужным признакам ...поэтому делая тест не на однородный трафик, чтобы  быть уверенным в своих выводах, для того чтобы эти данные правильно использовать в своем бизнесе,  лучше сделать тест на большое число кликов, чем больше, тем лучше (условно стремящееся к бесконечности :) ) или хотя бы детально изучить зависимость конверсий во всей ее динамике, никто ж не оспаривает выводы Романа,  просто идет обмен информацией, глядишь в разговоре родится какая-то новая истина по поводу определенного теста или в целом А/Б тестирования ;)

 

интерепретацию теста делает экспериментатор, а сторонние наблюдатели довольствуся выводом, ибо они не знают все нюансы эсперимента.
согласен, а кто в этом спорит :)
  • 0

#11 Билли Бонс

Билли Бонс

    Реклама Инфопродуктов в Гугле (пишите в личку)

  • Киберсанты
  • PipPipPipPipPip
  • 5 173 сообщений
3 236
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:14

а с чего он однородный? исходя из вашего примера с рассылкой, то в рассылке и бабки и дедки и юноши и девушки и ...др.сидят, абсолютно перемешанная аудитория по многим признакам

да, много признаков, разные люди, но эти признаки для меня малозначимы.

Важно то, что они мои подписчики! Это отделяет их от всех остальных людей на планете))
Это: люди меня знают, я им интресен, они прошли отбор при подписке и тд. и тп.

Второе. Мало людей ВОТ ПРОСТО ТАК кликают по ссылкам. Есть конечно индивидуумы и ситуации...
Если следовать вашей логике (то, что превью роли не играет), то платны трафик из поиска -- это толпа бестолковых, кликают даже не читая объявки. Это же не так.

Пояснялка к ссылке имеет значение. Ещё Кен Эвой говаривал про умонастрой прешедшего по ссылке. В плане умоностроя выборка как раз однородная.

В общем в моём примере именно та фокус-группа, о который говорите. И трафик там десятитысяный.

Сообщение отредактировал Билли Бонс: 21 Октябрь 2015 - 07:16

  • 0
*** Как грести трафик из AdWords ещё -- ещё и ещё -- http://billibons.ru -- Nik Билли Бонс Зарегистрирован!

#12 Роман Кротов

Роман Кротов

    Свой человек

  • Киберсанты
  • PipPipPipPipPip
  • 954 сообщений
153
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:21

Демьянченко Феликс, по большим обьемам трафика согласен - чем больше тем точнее результат. Но у меня не хватит терпения ждать пока нагонится 10 000 уников :biggrin: . У меня не такой большой поток трафика пока что. Поэтому во всех экспериментах которые я буду публиковать я ограничусь 1000 человек на каждый вариант.

Если на такой относительно маленькой выборке разница заметна - то можно говорить уже о какой то достоверности.

Если же разница получается десятые или сотые доли процента - то тут конечно нужно больше трафика. Кстати в новом эксперименте я как раз такие результаты пока получаю. Через неделю сюда запостю.

 

 

Можно до бесконечности увеличивать точность - все дело лишь в перфекционизме.

 

Ребят, если вы будете учитывать прям все все все факторы которые могут повлиять на результаты теста - вы во первых свихнетесь, во вторых у вас не будет времени делать бизнес. Можно кучу книг по этой теме написать рассуждая  на тему плотности трафика и достоверности А/Б экспериментов.

Я уже писал об этом на блоге.

Абсолютно однородного трафика не существует. Это как "идеальный сферический конь в вакууме".

Вам придется создать супер лабораторию, вырастить сотни тысяч клонов, посадить их в абсолютно одинаковые комнаты, с одинаковыми компьютерами и т.д. :biggrin:  :biggrin:

И то найдутся бесконечно много факторов которые будут влиять на точность результата.


  • 0

Сделаю чат-бота на заказ. Vk, Viber, Telegram, Facebook. Быстро и качественно.

ЗАКАЗАТЬ БОТА 


#13 Демьянченко Феликс

Демьянченко Феликс

    Коммерсант

  • Клиент Info-DVD.Ru
  • PipPipPipPip
  • 228 сообщений
84
Очень хороший
  • Страна, Город:
    Краснодар
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:22

В общем в моём примере именно та фокус-группа, о который говорите. И трафик там десятитысяный.
значит у вас все хорошо с вашими экспериментами и их результаты приближены к истине, рад за вас :) так как это позволяет уверенней и с повышенной результативностью действовать в своем бизнесе!
  • 0

#14 Билли Бонс

Билли Бонс

    Реклама Инфопродуктов в Гугле (пишите в личку)

  • Киберсанты
  • PipPipPipPipPip
  • 5 173 сообщений
3 236
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:25

или хотя бы детально изучить зависимость конверсий во всей ее динамике,

тут ка бы тоже все формаизовано.
У производственником есть метод контрольных карт.
Суть: за 30 дней считаем среднее, если сегодняшний замер отклоняется от расчётного на несколь сигм, то ... произошёл СБОЙ!
Именно сбой, нештатная ситуация. Другими словами, не ставится под сомнение среднее значение.

Применительно к нашим делам. Вы сделали тридцать замеров. И если в 31-ый конверсия резко отклонилась, это не означает, что конвертация по данным 30-ти замеро неверна.
Это говорит, что сейчас что-то идёт не так. А среднюю конерсию вы можете использовать для принятия решения!
  • 0
*** Как грести трафик из AdWords ещё -- ещё и ещё -- http://billibons.ru -- Nik Билли Бонс Зарегистрирован!

#15 Роман Кротов

Роман Кротов

    Свой человек

  • Киберсанты
  • PipPipPipPipPip
  • 954 сообщений
153
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:27

ммм ... а мой калькулятор показывает вместо 98,52% всег 95
а можно ссылку на ваш калькулятор? он онлайн калькулятор?
  • 0

Сделаю чат-бота на заказ. Vk, Viber, Telegram, Facebook. Быстро и качественно.

ЗАКАЗАТЬ БОТА 


#16 Билли Бонс

Билли Бонс

    Реклама Инфопродуктов в Гугле (пишите в личку)

  • Киберсанты
  • PipPipPipPipPip
  • 5 173 сообщений
3 236
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:33

http://www.teasley.net/calculator.html
  • 1
*** Как грести трафик из AdWords ещё -- ещё и ещё -- http://billibons.ru -- Nik Билли Бонс Зарегистрирован!

#17 Демьянченко Феликс

Демьянченко Феликс

    Коммерсант

  • Клиент Info-DVD.Ru
  • PipPipPipPip
  • 228 сообщений
84
Очень хороший
  • Страна, Город:
    Краснодар
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:45

Абсолютно однородного трафика не существует
соответственно, так как идеал - это не достижимая величина :)

 

Суть экспериментов лично для меня заключается в том, чтобы получив те или иные данные результативности, использовать их масштабируя, то или иное действие, поэтому от их истины зависит судьба крайне не малых денег, тестирую в основном кардинальные вещи (так как кнопочки, цвета и подобное не считаю нужным тестировать, так как реально на это нет ресурсов), например, в реалии одна продающая одного и того же товара дает конверсию на продажи 4%, а другая  12%, поэтому выявив такую точную зависимость решается судьба вложенных денег в рекламу, а выявить такую закономерность не всегда достаточно, просто пролив трафика по тысячи на ленд.. если есть возможность организовывать много трафика за короткий срок, то самое простое, конечно, просто пролить много трафика и выявить где выше конверсия и использовать страницу с самым лучшем результатом, если такой возможности нет, то лучше промониторить всю динамику конверсий на всем залитие трафа..


среднюю конерсию вы можете использовать для принятия решения
только на достаточном трафике! так как применять среднюю конверсию из 10 лидов нет смысла :) так же и сотней...
  • 0

#18 Билли Бонс

Билли Бонс

    Реклама Инфопродуктов в Гугле (пишите в личку)

  • Киберсанты
  • PipPipPipPipPip
  • 5 173 сообщений
3 236
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:50

только на достаточном трафике!

Речть-то была про другое. Резкие изменеия, которые вы предлагаете фиксировать, не идут в анализ.
  • 0
*** Как грести трафик из AdWords ещё -- ещё и ещё -- http://billibons.ru -- Nik Билли Бонс Зарегистрирован!

#19 Демьянченко Феликс

Демьянченко Феликс

    Коммерсант

  • Клиент Info-DVD.Ru
  • PipPipPipPip
  • 228 сообщений
84
Очень хороший
  • Страна, Город:
    Краснодар
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 07:58

Вы сделали тридцать замеров. И если в 31-ый конверсия резко отклонилась
это что касательно единичного частного случая, но конверсии может болтать как корабль в шторм на волнах и лучше это знать прежде чем опираться на среднее значение полученное в своем эксперименте, так как он может быть недостаточным, а весь полученный самый эффективный результат может вытянуться за какие-то несколько порций трафика,  а если ср.конверсия устаканена и идет ровненько в  не зависимо от поступаемого трафика, то вот что оно и нужно, можно легко брать данные и пользоваться...

Речть-то была про другое
:) возможно, только это можно применить ко всему разговору, что речь то была про другое :) так как каждый на своей волне, каждый слышит, то что слышит :) в силу своего понимания этой сущности в целом...
  • 0

#20 Билли Бонс

Билли Бонс

    Реклама Инфопродуктов в Гугле (пишите в личку)

  • Киберсанты
  • PipPipPipPipPip
  • 5 173 сообщений
3 236
Очень хороший
  • Пол:Мужчина

Отправлено 21 Октябрь 2015 - 08:01


самое простое, конечно, просто пролить много трафика и выявить где выше конверсия

Вы поймите, точность замера зависит от количества трафика, но после определённого момента результат теста кардинально не изменится.
Хороший вариант о себе даст знать достаточно быстро, а невнятные гипотезы объёмом трафика не выправишь.

Применительно к вашему подходу. Я уже выше написал.
Надо делать тест на *ограниченной* выборке. Выбирать действительно хороший вариант, т.е. с вероятностью 97% ивыше.
Затем лить трафик и замерять отклонения.
Если есть резкое изменение, то надо останавливать трафик и разбираться, что и где изменилось.

Замеры и разбирательства к сплит-тестированию не имеют отношения.
  • 0
*** Как грести трафик из AdWords ещё -- ещё и ещё -- http://billibons.ru -- Nik Билли Бонс Зарегистрирован!





Темы с аналогичным тегами сплит тестирование, аб тесты, конверсия, увеличение продаж

Количество пользователей, читающих эту тему: 1

0 пользователей, 1 гостей, 0 скрытых пользователей