Наш первый А/Б тест

Недавно мы решили, что пора уже начать вводить А/Б тесты на сайты. (решили после того, как один из клиентов предложил поменять цвет кнопки, ибо наша была не сильно заметная)

По этому, первым сайтом был избран наш любимый новогодний Santa4.me

Перед тем как начать А/Б тестирование, мы взялись за изучение вообще что это такое и с чем его едят.

Нашли несколько подходов, а также несколько вариантов как считать и когда останавливать А/Б тестирование..

Думаю все знают о чистом и банальном: Берем что-либо, и равномерно скидываем людей на разные странички/элементы и прочее.

Но, нам повезло. Один из сотрудников начал серьезно изучать А/Б начитался много умных статей и даже сделал доклад на 3 часа о разном А/Б тестировании и методах реализации.

Остановились мы на Гугловском методе (именно гугл по идеи его придумал, ибо статья о методе была подписана «Гугл тим», да и ссылку на статью давал сам Гугль)

Основная мысль, которую хотел донести Гугль — не нужно убивать клиентов сразу плохим решением (ведь заведомо одно из решений хуже другого), нужно постоянно в по мере поступления данных изменять % заходов на ту или другую страницу или показывать тот или другой элемент.

Как это работает?
Давайте сразу на примере
В нашем проекте Санты — мы сразу на главной странице раз
1) Мы изменили цвет кнопки на 3 разных (красный, зеленый, оранжевый)
2) С первой минуты шанс у всех был равный 33.33%..
3) каждых 10 заходов мы смотрели на какую кнопку больше нажимают и той начали повышать % вхождения (допустим первые 10 человек посмотрели сайт, и 3 из 3 на красном нажали, другие не нажали на эту кнопку — красную подняли в рейтинге и в результате процент был примерно 45%, 27.5%, 27.5% и тд)…

В результате таких действий мы сразу лучший вариант начинаем показывать большему количеству людей…то есть плохой вариант показывается реже )) а значит мы меньше теряем клиентов!!

а/б тест

сначала мы сразу увидели какая кнопка лучше, но на всяк случай оставили еще на день тестироваться… и тут началось….

как видно с графика… люди по разному реагируют на ту или другую кнопку… одна вырастало, потом падала, вырастало другая…
(кстати по мнению гугла так и должно быть :))) )

Жаль для кнопок мы пока и не определились какую оставить.. так и дальше кнопка меняет свой цвет… Но этот опыт показал, что

1) действительно маленькое изменение не всегда важно
2) нужно тестировать кардинальные результаты (допустим совсем разные страницы и тд)

Наш первый А/Б тест: 7 комментариев

  1. Не каждый сможет провести качественное А/Б тестирование. Это мало того изменение в коде, так еще и динамическое изменение с отслеживанием. Вещь не такая уж и элементарная для большинства.

    1. ну это да))) просто убийственное разделение 50/50 мне всегда казалось не верным…

      попробуем сделать позже более агресивное А/Б с разными лендингами например… тогда будет результат думаю интереснее )

  2. Тихоня зеленый начал побеждать?
    В данную минуту, он больше кликабельный?

    1. Да, если смотреть на график, то сейчас зеленый лидирует по % нажатий… поэтому он и начал расти

  3. Самое главное забыл до любопытного читателя блога донести!
    Нужно тестировать (по-возможности) ны БОЛьШОМ количестве запросов/тестов/показов.

    > каждых 10 заходов мы смотрели
    Как минимум, два нолика не потеряли?

    P.S. Подумалось, я один такой умный?

    1. каждый 10-тый заход изменяеться пропорция :))) на графике видно — сейчас уже более 15тыс тестов))) снизу по Х — количество тестов

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *