Аналитика / A/B-тесты

Относительный uplift (относительный прирост)

Относительный uplift (относительный прирост): формула \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\% помогает требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверк...

Опубликовано: Обновлено:

Формула

$$\text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\%$$
Диаграмма Сравнение относительных uplift-метрик

Две колонки показывают рост/падение относительно контроля.

Полезно для быстрого бизнес-объяснения результата эксперимента.

Обозначения

$\text{uplift}_{\%}$
относительный прирост конверсии в процентах, \%
$\hat p_A$
конверсия контрольной группы, доля
$\hat p_B$
конверсия тестовой группы, доля

Условия применения

  • Коэффициент считается только после проверки валидности сравнения между группами.
  • Значения для расчета согласованы по смыслу: \text{uplift}_{\%} — относительный прирост конверсии в процентах (\%); \hat p_A — конверсия контрольной группы (доля).
  • Единицы, период наблюдения, лист таблицы или расчетная схема выбраны до подстановки.

Ограничения

  • Формула относится к области A/B-тестов и продуктовой статистики и не заменяет выбор модели.
  • Если данные взяты из разных источников или периодов, результат нельзя сравнивать напрямую.
  • Округление промежуточных строк допустимо только после проверки единиц и масштаба.

Подробное объяснение

Смысл страницы «Относительный uplift (относительный прирост)» — требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. Формула \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\% нужна не сама по себе, а как короткая модель из области A/B-тестов и продуктовой статистики. Перед вычислением проверяют условие: Коэффициент считается только после проверки валидности сравнения между группами. Обозначения читают до арифметики: \text{uplift}_{\%} — относительный прирост конверсии в процентах (\%); \hat p_A — конверсия контрольной группы (доля); \hat p_B — конверсия тестовой группы (доля). Похожую величину с другой базой не берут автоматически. Такой шаг особенно важен в материалах, где рядом стоят близкие формулы. Рабочая ситуация: в эксперименте вариант A получил 4 800 посетителей и 384 целевых действия, а вариант B — 5 100 посетителей и 438 действий. Достаточно одной подстановки и проверки. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют \text{uplift}_{\%} — относительный прирост конверсии в процентах (\%). После получения результата его сверяют с ограничениями. Знак, единица и порядок величины должны соответствовать исходной модели. Если проверка не проходит, исправляют не финальную строку, а выбор данных.

Как пользоваться формулой

  1. Сформулируйте, что именно нужно найти, и выберите запись \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\%.
  2. Выпишите исходные величины: \text{uplift}_{\%} — относительный прирост конверсии в процентах (\%); \hat p_A — конверсия контрольной группы (доля); \hat p_B — конверсия тестовой группы (доля).
  3. Проверьте единицы, период, диапазон таблицы или геометрическую схему.
  4. Подставьте значения без раннего округления.
  5. Сверьте знак, масштаб и поведение результата при изменении главного параметра.

Историческая справка

История записи «Относительный uplift (относительный прирост)» связана с практикой A/B-тестов и продуктовой статистики. Такие формулы закреплялись потому, что помогали требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В учебниках и справочниках постепенно стабилизировались обозначения: \text{uplift}_{\%} — относительный прирост конверсии в процентах (\%); \hat p_A — конверсия контрольной группы (доля). Современная форма \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\% ценна тем, что дает короткий путь от условия к проверяемому результату. Для этой страницы историческая справка полезна еще и как защита от неверной аналогии: Коэффициент считается только после проверки валидности сравнения между группами. В разных источниках могут меняться буквы, порядок записи и единицы, но расчетная потребность остается прежней: сначала выбрать модель, затем проверить данные и только потом считать. Исторический блок здесь нужен не для украшения, а для понимания модели и ее границ.

Историческая линия формулы

У записи «Относительный uplift (относительный прирост)» нет одного бытового автора. Контекст — развитие A/B-тестов и продуктовой статистики. Также важны учебные курсы и рабочие методики. Формула \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\% здесь дана как современная расчетная запись. Имена из источников уточняют историю метода, но не заменяют условия применения.

Пример

Пример: в отчете по рассылке фиксируют отправленные сообщения, открытия и покупки за один и тот же период, не смешивая повторные события. Цель для «Относительный uplift (относительный прирост)» — требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. Расчет начинают с вопроса, а не с поиска похожей формулы. Рабочие величины: \text{uplift}_{\%} — относительный прирост конверсии в процентах (\%); \hat p_A — конверсия контрольной группы (доля); \hat p_B — конверсия тестовой группы (доля). Дальше данные подставляют в \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\% без смены модели по ходу решения. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют \text{uplift}_{\%} — относительный прирост конверсии в процентах (\%). В конце меняют один ключевой параметр мысленно. Направление изменения должно совпасть со смыслом задачи.

Частая ошибка

В «Относительный uplift (относительный прирост)» ошибка часто появляется до арифметики. Сверьте обозначения: \text{uplift}_{\%} — относительный прирост конверсии в процентах (\%); \hat p_A — конверсия контрольной группы (доля); \hat p_B — конверсия тестовой группы (доля). Нельзя менять метрику после просмотра результата, смешивать пользователей и сессии, включать повторные конверсии без правила дедупликации и сравнивать группы с разным окном наблюдения. Если ответ выглядит правдоподобно, проверьте его источник. Порядок простой: символ, значение, единица, источник, подстановка, округление.

Практика

Задачи с решением

Проверить исходные данные

Условие. Для «Относительный uplift (относительный прирост)» заданы величины из условия. Нужно требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента.

Решение. Составляем таблицу символов, значений, единиц и источников. Убираем данные, которые относятся к другой модели.

Ответ. К расчету оставлены только согласованные исходные величины.

Выполнить подстановку

Условие. Данные согласованы, требуется применить \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\%.

Решение. Подставляем значения, сохраняем промежуточную точность и отдельно проверяем единицу результата.

Ответ. Ответ принимается только после проверки знака, масштаба и смысла.

Дополнительные источники

  • OpenIntro Statistics, главы по сравнению двух пропорций
  • NIST/SEMATECH e-Handbook of Statistical Methods, two-sample tests for proportions
  • Kohavi, Tang, Xu. Trustworthy Online Controlled Experiments, Cambridge University Press, 2020
  • Ron Kohavi et al. Online Controlled Experiments at Large Scale, KDD 2013
  • NIST/SEMATECH e-Handbook of Statistical Methods: proportions and confidence intervals

Связанные формулы

Аналитика

Conversion rate (конверсия)

$\hat{p}=\frac{X}{n}$

Conversion rate (конверсия): формула \hat{p}=\frac{X}{n} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Абсолютный uplift (разница конверсий)

$\Delta = \hat p_B-\hat p_A$

Абсолютный uplift (разница конверсий): формула \Delta = \hat p_B-\hat p_A помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Z-статистика для двух долей

$z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$

Z-статистика для двух долей: формула z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Доверительный интервал разницы конверсий

$(\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}$

Доверительный интервал разницы конверсий: формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.