Statistical Power

1. Збільшить імовірність помітити ефект від експериментального варіанту, якщо той існує.
   Коли статистична потужність низька, можна не виявити ефект, навіть якщо він існує. Як наслідок — помилково негативні результати та прийняті даремні рішення.‍
2. Допоможе визначити необхідний розмір вибірки.
   В залежності від бажаної статистичної потужності, кількість учасників експерименту буде варіюватися.‍
3. Надає можливість порівнювати результати різних досліджень між собою, навіть якщо вони використовували різні методи збору та аналізу даних, чи досліджували інші групи людей.
4. Підвищує надійність дослідження, оскільки робить його результати більш надійними через об'єктивну оцінку того, наскільки велика ймовірність не помітити реально існуючий ефект в результаті експерименту.

За цим всім лежить комплексна математика, однак можна просто скористатися калькулятором розміру вибірок.

В ньому всього кілька важливих параметрів:

1. Baseline
   ‍Яке початкове значення параметру, вплив на який будемо шукати. Зазвичай, це якась конверсія, що хочемо покращити.‍
2. Minimum Detectable Effect
   ‍Який вплив на параметр, в результаті експерименту, ми очікуємо, чи вже отримали? На скільки відсоткових пунктів або відсотків має змінитися цей параметр.‍
3. Statistical power 1−β
   ‍З якою імовірністю очікуваний ефект можна буде відслідкувати статистично. Авжеж, припускаючи, що такий ефект існує. Для більшої надійності = 95%, але мінімум 80%.‍
4. Significance level α
   ‍З якою імовірністю можна розраховувати, що експеримент помилково відслідкує ефект, навіть якщо ми очікуємо, що його не існує. Зазвичай = 5%.
   

Точно вище 80%. А краще, для більшої надійності, 95%.

Що більший відсоток, то менша ймовірність помилково НЕ виявити ефект від експериментального варіанту, хоча той існує.

Вірно й зворотне — статистична потужність нижче 80% не дозволить виявити позитивний ефект від варіанту навіть коли той справді існує.

Варто зазначити, що статистична значущість експерименту ніколи не наближається до 100%, невелика погрішність буде присутня завжди.

Ці два важливі поняття в статистиці часто плутають.

Статистична потужність описує ймовірність того, що експериментальний варіант переможе, якщо вірна гіпотеза про те, що він переможе. Іншими словами — це рівень впевненості в тому, що експеримент виявить ефект, якщо той існує.

В свою чергу, статистична значимість описує ймовірність того, що переможе експериментальний варіант, навіть якщо вірна гіпотеза про те, що він не може перемогти. Іншими словами — це рівень впевненості в тому, що отримані результати експерименту не випадкові.

Для перевірки якості проведених A/B та MV-тестів важливо враховувати обидва ці фактори.

Щоб поліпшити впевненість в результатах експерименту, можна:

1. Збільшити розмір вибірки. Це дасть більше даних для обробки та підвищить надійність результатів експерименту.
2. Використовувати більш чутливі способи вимірювання.
   Наприклад, факторний аналіз може бути більш потужним, ніж t-тест для пошуку впливу декількох факторів на змінну.
   Зменшити помилку вимірювання. Наприклад, підсилити автоматично зібрані дані з Google Analytics відправкою серверних івентів.