A/B testing

12 November 2021 09:05

10 ошибок в A/B-тестировании мобильных приложений

Подробный разбор самых частых ошибок при проведении экспериментов — с примерами и рекомендациями по устранению. Полезно изучить перед запуском A/B-тестов в продукте.

Бонусом в статье делятся новым сервисом для проведения A/B-тестов именно в мобильных приложениях: proba.ai.

via @ABtesting

A/B testing

25 October 2021 09:00

​​Как сделать причинно-следственный вывод по методу Массачусетского технологического института.

via @ABtesting

A/B testing

08 October 2021 10:02

​​Калькулятор размера выборки A/B-теста в Tableau для неравного деления аудитории.

@BigQuery

A/B testing

14 September 2021 10:07

​​Гибкая open-source платформа для А/B-тестирования:
https://github.com/growthbook/growthbook

via @ABtesting

A/B testing

27 August 2021 18:24

Хорошая идея для футболки. #пятничное @ABtesting

A/B testing

11 August 2021 10:28

​​Хорошая статья о чувствительности метрик от специалистов Microsoft.

via @ABtesting

A/B testing

19 July 2021 10:05

​​Еще одна хорошая статья о байесовских A/B-тестах. В этот раз о способах реализации и масштабировании от специалистов Wix.com.

via @ABtesting

A/B testing

24 June 2021 10:07

​​Python’s Fitter library - библиотека позволяет выбрать параметры распределения, которые наилучшим образом отражают предэкспериментальные данные.

via @ABtesting

A/B testing

10 June 2021 12:33

​​О расстановке приоритетов в экспериментах:
https://davidleemannheim.medium.com/how-do-you-prioritize-experiments-b97bd9d1c8ae

via @ABtesting

A/B testing

29 May 2021 11:59

​​Шпаргалка по параметрическим и непараметрическим критериям проверки статистических гипотез:

https://rstudio-pubs-static.s3.amazonaws.com/340931_720cbfff44814347b2d39c06d174e531.html

via @ABtesting

A/B testing

09 November 2021 11:23

​​Книга по байесовской оптимизации от Roman Garnett. Это драфт от автора, официально книга выйдет в 2022 году.

via @ABtesting

A/B testing

08 October 2021 14:04

​​​​Статья о том, как у Facebook повышали качество A/B-тестов.

via @ABtesting

A/B testing

29 September 2021 14:04

​​“История одного обмана” или “Требования к распределению в t-тесте”. О том, как работает t-критерий (критерий Стьюдента).

via @ABtesting

A/B testing

10 September 2021 09:25

A/B-тесты с метриками-отношениями и при чём здесь внутрипользовательские корреляции:

https://www.youtube.com/watch?v=ObzlKVCiBqI

via @ABtesting

A/B testing

27 August 2021 09:05

​​Как ускорить A/B-тестирование с помощью прокси-метрик. Метод разработан LinkedIn для приблизительного определения долгосрочных показателей.

via @ABtesting

A/B testing

23 July 2021 09:04

​​Causal Inference from Observational Data, или как провести А/В-тест без А/В-теста.

via @ABtesting

A/B testing

29 June 2021 10:07

​​Что такое байесовское A/B-тестирование и когда его следует использовать?

via @ABtesting

A/B testing

14 June 2021 09:04

​​Хорошая статья о том, как выжимать максимум пользы из результатов экспериментов.

via @ABtesting

A/B testing

07 June 2021 11:27

Неплохой бесплатный курс по по A/B-тестированиям. Без сильного технического фарша и примеров кода, но раскрывающий основные важные моменты:
— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских
— Как рассчитывается статистическая значимость и почему её расчёт важен в ходе оценки результатов A/B-тестирования
— Чем отличается статистическая мощность от статистической значимости
— Как правильно сделать сплит трафика
— Почему важно правильно аттрибуцировать конверсию при маркетинговых экспериментах
— Сравнение подходов тестирования на клиенте (client-side) и на сервере (server-side)
— Как анализировать и интерпретировать A/B-тесты

https://www.dynamicyield.com/course/testing-and-optimization/

A/B testing

27 May 2021 12:01

​​Как проводят эксперименты в Facebook.
AX - платформа для проведения адаптивных экспериментов.

Видео | GitHub

via @ABtesting