Калькулятор A/B тестів для оголошень: значущість і розмір вибірки

Два питання, один калькулятор

Кожен тест реклами ставить два питання, у цьому порядку. Перед запуском: скільки відвідувачів потрібно, щоб виявити різницю, яка мене цікавить? Після завершення: розрив між A і B справжній, чи це могла бути випадковість? Використовуйте дві вкладки вище саме в цьому порядку. Саме попередній розрахунок розміру вибірки надає сенсу відповіді на друге питання.

“Відвідувачами” можуть бути відвідувачі цільової сторінки, кліки за посиланням чи будь-хто інший, хто отримав однаковий шанс сконвертуватися, доки обидві версії рахуються однаково. “Конверсії” — це люди, які зробили те, що ви тестуєте.

Як працює тест значущості

Калькулятор виконує z-тест для двох пропорцій, тест для великих вибірок для порівняння двох коефіцієнтів, описаний у NIST/SEMATECH e-Handbook of Statistical Methods:

• Об’єднаний коефіцієнт p = (конверсії A + конверсії B) ÷ (відвідувачі A + відвідувачі B).
• z = (коефіцієнт B − коефіцієнт A) ÷ √(p × (1 − p) × (1/відвідувачі A + 1/відвідувачі B)).
• Двостороннє p-значення = 2 × (1 − Φ(|z|)), де Φ — стандартний нормальний розподіл.
• Інтервал для різниці — це (коефіцієнт B − коефіцієнт A) ± z × √(коефіцієнт A × (1 − коефіцієнт A) ÷ відвідувачі A + коефіцієнт B × (1 − коефіцієнт B) ÷ відвідувачі B). Діапазон приросту ділить це на коефіцієнт A, вважаючи коефіцієнт A відомим, тому це наближення.

Приклад розрахунку. Версія A отримує 200 конверсій з 10 000 відвідувачів (2,00%). Версія B отримує 245 з 10 000 (2,45%), відносний приріст 22,5%. Об’єднаний коефіцієнт — 445 ÷ 20 000 = 2,225%, стандартна похибка — 0,209 відсоткового пункту, а z = 0,45 ÷ 0,209 = 2,157. Двостороннє p-значення — 0,031, нижче за 0,05, тому з довірою 95% перемагає B. 95% інтервал для різниці — від +0,04 до +0,86 відсоткового пункту: B краща, але справжній приріст може бути будь-де від приблизно 2% до 43%.

Тест є наближенням, яке потребує достатньо даних. Довідник NIST дає один критерій: щонайменше 5 успіхів і 5 невдач. Калькулятор утримується від вердикту й каже поки недостатньо даних, доки кожна версія не матиме 5 конверсій і 5 неконверсій. За меншої кількості NIST вказує на точний тест для малих вибірок, але для тесту реклами практична відповідь — продовжувати його виконувати.

Як розраховується розмір вибірки

Для двостороннього тесту відвідувачів на версію:

n = (z_1−α/2 × √(2 × p̄ × (1 − p̄)) + z_1−β × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)²

Тут p₁ — ваш поточний показник, p₂ — цей показник із застосованим приростом, а p̄ — їхнє середнє. Це нормальна апроксимація без поправки на неперервність, і вона має таку саму форму, як формула розміру вибірки для однієї частки в довіднику NIST, з доданою другою групою. За 95% рівня довіри z_1−α/2 дорівнює 1.959964, а за 80% потужності z_1−β дорівнює 0.841621.

Приклад розрахунку. Коефіцієнт конверсії 2%, і ви хочете вловити приріст 20%, тобто 2.0% проти 2.4%. Середній показник — 2.2%. Верхній рядок: 1.959964 × 0.2074 + 0.841621 × 0.2074 = 0.5811, у квадраті це 0.3377, а поділивши на 0.004², отримаємо 21 109 відвідувачів на кожну версію, 42 218 загалом. За 3 000 відвідувачів на день це 15 днів.

Найбільше важить приріст, який ви хочете виявити. На тому самому показнику 2% приріст 30% потребує 9 798 на версію, а приріст 10% — 80 682. Зменшення приросту вдвічі приблизно вчетверо збільшує трафік, бо різниця стоїть у квадраті в знаменнику формули.

Чому дострокова зупинка роздуває кількість хибнопозитивних результатів

Рівень довіри 95% означає, що коли A і B насправді конвертують однаково, один тест із фіксованим розміром вибірки все одно оголошує переможця приблизно у 5% випадків. Ці 5% справджуються лише тоді, коли ви дивитеся один раз, у кінці.

Перевіряти результат щодня та зупинятися першого разу, коли він показує значущість, — це вже інша процедура. Показники коливаються, поки надходять дані, і кожен перегляд — це ще один шанс для випадкової різниці перетнути межу. Зупиніться на першому перетині — і ви обрали найвдаліший момент, тож справжня частка хибнопозитивних результатів виявляється вищою за 5% і зростає тим більше, чим частіше ви дивитеся. Значення p на екрані не знає, що ви підглядали, тож воно все одно показує так, ніби ви дивилися один раз.

Виправлення нудне, але працює: визначте розмір вибірки до початку тесту, дайте йому досягти цього розміру й прочитайте результат один раз. Заглянути посередині, щоб перевірити, чи нічого не зламалося, — це нормально. Зупинятися, бо цифра виглядає добре, — ні.

Що Meta та Google Ads кажуть про тривалість тесту

• Найкращі практики A/B-тестування Meta рекомендують тести тривалістю щонайменше 7 днів, зазначають, що коротші тести можуть давати непереконливі результати, і обмежують A/B-тести 30 днями. Та сама сторінка радить проводити тест довше, якщо клієнти зазвичай конвертують довше ніж за 7 днів.
• Meta зазвичай пропонує оцінену потужність 80% або вище — це потужність за замовчуванням тут. Результати A/B у Meta показують відсоток довіри, і 65% або вище вважається переможним результатом для A/B-тесту. Ця цифра походить із власного методу Meta й не є тим самим, що рівень довіри на цій сторінці, тож вони не збігатимуться.
• Meta також радить не тестувати неформально, вмикаючи й вимикаючи групи оголошень, бо аудиторії можуть перетинатися, і рекомендує однаковий бюджет для обох версій.
• Google Ads рекомендує давати експерименту працювати 2–3 тижні, за замовчуванням показує 80% довірчий інтервал з іншими рівнями на запит і позначає значущі результати синьою зірочкою. Його статистичний метод використовує jackknife-ресемплінг по 20 сегментах на кожну групу, тож його інтервали теж не точно збігатимуться з z-тестом.

Чого цей калькулятор не робить

• Він порівнює дві версії. За трьох або більше кожне додаткове порівняння — це ще один шанс на хибного переможця, і простий тест тут цього не враховує.
• Він тестує коефіцієнти конверсії, а не дохід на відвідувача чи вартість замовлення, для яких потрібен інший тест.
• Це не послідовний тест. Він припускає, що ви читаєте результат один раз, за запланованого розміру вибірки.
• Він не може сказати, чи був ваш розподіл чесним. Якщо одна версія отримала іншу аудиторію, бюджет чи час доби, жодна формула цього не виправить.

Весь метод в одному місці, з тим, що кажуть Meta та Google Ads, і що робити, коли математика каже 43 дні: скільки часу проводити A/B-тест оголошень.

Якщо ви не хочете рахувати вручну

Hermoso — це маркетинг на автопілоті. Запитайте в нього, що масштабувати, призупинити й тестувати далі, і він прочитає кожну під'єднану рекламну платформу, винесе кампанії з надто малою кількістю даних в окрему категорію замість того, щоб їх оцінювати, і дасть кожному запропонованому тесту гіпотезу, одну річ, яку треба змінити, метрику, що визначає результат, бюджет і тривалість. Він також створює варіанти зображень і відео у вашому стилі для тестування та будує кампанії на ваших рекламних акаунтах, створені призупиненими. Він працює у вебдодатку або всередині Claude, ChatGPT і Cursor через свій MCP-сервер. Щойно тест має переможця, безкоштовний калькулятор ROAS підкаже, чи він ще й прибутковий.

Безкоштовні інструменти: · Калькулятор ROAS · Перевірка довжини рекламного тексту

Поширені запитання

Як дізнатися, чи мій A/B тест оголошення статистично значущий?

Введіть відвідувачів і конверсії для обох версій. Калькулятор виконує z-тест для двох часток і дає двостороннє p-значення. За 95% довіри p-значення нижче 0,05 означає, що розрив навряд чи випадковий. Для 200 з 10 000 проти 245 з 10 000 p дорівнює 0,031, тож B перемагає.

Скільки відвідувачів потрібно A/B тесту?

Це залежить від вашої частоти конверсії й найменшого приросту, який ви хочете виявити. За частоти конверсії 2% виявлення приросту 20% з 95% довірою і 80% потужністю потребує 21 109 відвідувачів на версію. Приріст 10% потребує 80 682.

Чому калькулятор каже, що даних поки недостатньо?

z-тест це наближення для великих вибірок. Калькулятор чекає, доки кожна версія не матиме принаймні 5 конверсій і 5 неконверсій, один із критеріїв, наведених у NIST e-Handbook, перш ніж дати висновок.

Чи можу я зупинити тест, щойно він виглядає значущим?

Ні, якщо ви хочете, щоб рівень довіри означав те, що він каже. Повторні перевірки й зупинка на першому значущому показнику дають випадковості більше можливостей перетнути межу, тож реальна частота хибнопозитивних результатів виявляється вищою за обрану. Спершу встановіть розмір вибірки й прочитайте результат один раз.

Як довго має тривати A/B тест Meta?

Meta рекомендує щонайменше 7 днів, зазначає, що коротші тести можуть бути непереконливими, і дозволяє до 30 днів. Google Ads рекомендує 2–3 тижні для експериментів. Скористайтеся вкладкою розміру вибірки з вашим денним трафіком, щоб побачити, скільки часу потрібно вашому тесту.

Чи надсилається кудись те, що я вводжу?

Ні. Обчислення виконуються у вашому браузері. Немає мережевого запиту, що передає те, що ви вводите, і нічого не зберігається.