Все формулы РФ

Аналитика / A/B-тесты

Стандартная ошибка доли

Стандартная ошибка доли: формула SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}} помогает требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Опубликовано: Обновлено:

АналитикаA/B-тестыЕсть историческая справкаАнализ данных

Формула

$$SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}$$
Диаграмма SE как ширина разброса оценки доли

На графике видно, что при росте n ошибка падает, а значение p близкое к 0.5 дает максимальную дисперсию.

Малый SE — более надежная оценка конверсии.

Обозначения

$SE(\hat p)$
стандартная ошибка оценки доли, доля
$\hat p$
оценка доли в группе, доля
$n$
размер выборки группы, шт.

Условия применения

  • Используется для биномиальных данных при независимых наблюдениях.
  • Значения для расчета согласованы по смыслу: SE(\hat p) — стандартная ошибка оценки доли (доля); \hat p — оценка доли в группе (доля).
  • Единицы, период наблюдения, лист таблицы или расчетная схема выбраны до подстановки.

Ограничения

  • Формула относится к области A/B-тестов и продуктовой статистики и не заменяет выбор модели.
  • Если данные взяты из разных источников или периодов, результат нельзя сравнивать напрямую.
  • Округление промежуточных строк допустимо только после проверки единиц и масштаба.

Подробное объяснение

Смысл страницы «Стандартная ошибка доли» — требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. Формула SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}} нужна не сама по себе, а как короткая модель из области A/B-тестов и продуктовой статистики. Перед вычислением проверяют условие: Используется для биномиальных данных при независимых наблюдениях. Обозначения читают до арифметики: SE(\hat p) — стандартная ошибка оценки доли (доля); \hat p — оценка доли в группе (доля); n — размер выборки группы (шт.). Похожую величину с другой базой не берут автоматически. Такой шаг особенно важен в материалах, где рядом стоят близкие формулы. Рабочая ситуация: в тесте новой формы регистрации считают только уникальных пользователей: 320 успехов из 4 000 в контроле и 369 из 4 100 в варианте. Достаточно одной подстановки и проверки. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют SE(\hat p) — стандартная ошибка оценки доли (доля). После получения результата его сверяют с ограничениями. Знак, единица и порядок величины должны соответствовать исходной модели. Если проверка не проходит, исправляют не финальную строку, а выбор данных.

Как пользоваться формулой

  1. Сформулируйте, что именно нужно найти, и выберите запись SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}.
  2. Выпишите исходные величины: SE(\hat p) — стандартная ошибка оценки доли (доля); \hat p — оценка доли в группе (доля); n — размер выборки группы (шт.).
  3. Проверьте единицы, период, диапазон таблицы или геометрическую схему.
  4. Подставьте значения без раннего округления.
  5. Сверьте знак, масштаб и поведение результата при изменении главного параметра.

Историческая справка

История записи «Стандартная ошибка доли» связана с практикой A/B-тестов и продуктовой статистики. Такие формулы закреплялись потому, что помогали требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В учебниках и справочниках постепенно стабилизировались обозначения: SE(\hat p) — стандартная ошибка оценки доли (доля); \hat p — оценка доли в группе (доля). Современная форма SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}} ценна тем, что дает короткий путь от условия к проверяемому результату. Для этой страницы историческая справка полезна еще и как защита от неверной аналогии: Используется для биномиальных данных при независимых наблюдениях. В разных источниках могут меняться буквы, порядок записи и единицы, но расчетная потребность остается прежней: сначала выбрать модель, затем проверить данные и только потом считать. Исторический блок здесь нужен не для украшения, а для понимания модели и ее границ.

Историческая линия формулы

У записи «Стандартная ошибка доли» нет одного бытового автора. Контекст — развитие A/B-тестов и продуктовой статистики. Также важны учебные курсы и рабочие методики. Формула SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}} здесь дана как современная расчетная запись. Имена из источников уточняют историю метода, но не заменяют условия применения.

Пример

Пример: в эксперименте вариант A получил 4 800 посетителей и 384 целевых действия, а вариант B — 5 100 посетителей и 438 действий. Цель для «Стандартная ошибка доли» — требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. Сначала делают мини-таблицу параметров и отмечают источник каждого числа. Рабочие величины: SE(\hat p) — стандартная ошибка оценки доли (доля); \hat p — оценка доли в группе (доля); n — размер выборки группы (шт.). Дальше данные подставляют в SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}} без смены модели по ходу решения. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют SE(\hat p) — стандартная ошибка оценки доли (доля). В конце меняют один ключевой параметр мысленно. Направление изменения должно совпасть со смыслом задачи.

Частая ошибка

В «Стандартная ошибка доли» ошибка часто появляется до арифметики. Сверьте обозначения: SE(\hat p) — стандартная ошибка оценки доли (доля); \hat p — оценка доли в группе (доля); n — размер выборки группы (шт.). Нельзя менять метрику после просмотра результата, смешивать пользователей и сессии, включать повторные конверсии без правила дедупликации и сравнивать группы с разным окном наблюдения. Если ответ выглядит правдоподобно, проверьте его источник. Порядок простой: символ, значение, единица, источник, подстановка, округление.

Практика

Задачи с решением

Проверить исходные данные

Условие. Для «Стандартная ошибка доли» заданы величины из условия. Нужно требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента.

Решение. Составляем таблицу символов, значений, единиц и источников. Убираем данные, которые относятся к другой модели.

Ответ. К расчету оставлены только согласованные исходные величины.

Выполнить подстановку

Условие. Данные согласованы, требуется применить SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}.

Решение. Подставляем значения, сохраняем промежуточную точность и отдельно проверяем единицу результата.

Ответ. Ответ принимается только после проверки знака, масштаба и смысла.

Дополнительные источники

  • OpenIntro Statistics, chapters on sampling variability
  • NIST/SEMATECH e-Handbook of Statistical Methods, statistics of proportions
  • Kohavi, Tang, Xu. Trustworthy Online Controlled Experiments, Cambridge University Press, 2020
  • Ron Kohavi et al. Online Controlled Experiments at Large Scale, KDD 2013
  • NIST/SEMATECH e-Handbook of Statistical Methods: proportions and confidence intervals

Связанные формулы

Аналитика

Conversion rate (конверсия)

$\hat{p}=\frac{X}{n}$

Conversion rate (конверсия): формула \hat{p}=\frac{X}{n} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Z-статистика для двух долей

$z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$

Z-статистика для двух долей: формула z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Доверительный интервал разницы конверсий

$(\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}$

Доверительный интервал разницы конверсий: формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.