A/B-тестирование: что это и как провести сплит-тест на сайте
Что такое A/B-тестирование и как провести сплит-тест: постановка гипотез, подключение метрик, расчёт выборки и значимости (p-value), этапы, ошибки и инструменты.
Что такое A/B-тестирование
A/B-тестирование (сплит-тест) — это эксперимент, в котором трафик делится на две однородные группы: одна видит исходную версию (A), другая — изменённую (B). По заранее выбранной метрике сравнивают эффективность: клики, заявки, покупки, CTR, время на странице и т. д.
- Формулируется гипотеза: какое точечное изменение улучшит результат.
- Выбирается основная метрика (конверсия, клик по CTA и т. п.).
- Подключаются аналитика и система сплит-раздачи.
- Запускается тест и собираются данные (обычно 10–14 дней).
- Проверяется статистическая значимость, внедряются изменения.
Важно: в одном тесте меняйте только один параметр. Если нужно проверить несколько вариантов одного параметра — используйте A/B/n-тест.
Что можно тестировать
- Кнопки: текст, размер, цвет, расположение, стиль.
- Заголовки и подзаголовки, лид-абзацы, офферы.
- Формы: количество полей, подсказки, тексты ошибок, положение.
- Макет страницы, порядок блоков, навигацию.
- Изображения и видео, формат и размер.
- Объём текста и микро-копирайтинг.
- Элементы доверия: отзывы, бейджи, гарантии.
Кому пригодится проведение A/B-тестов
Веб-мастерам, администраторам сайтов, SEO-специалистам, аналитикам, UX-писателям, UX-исследователям, маркетологам. Спецнавыки не обязательны, но базовая аналитика и понимание интерфейсов значительно упрощают корректный запуск эксперимента.
Зачем проводить A/B-тестирование
- Улучшение юзабилити: упрощение сценариев, повышение понятности интерфейса.
- Персонализация: тексты на странице, кнопках, формах и уведомлениях.
- Рост конверсии: улучшение CTA, форм подписки/заказа, ключевых блоков.
- Адаптация к аудитории: обновление офферов под новые ожидания.
- Снижение отказов и рост вовлечённости.
- Снижение рисков: часть трафика остаётся на старой версии.
Когда A/B-тест уместен
Нужны стабильный трафик, регулярные конверсии и корректно настроенная аналитика. Для новых сайтов имеет смысл сначала накопить данные и провести качественные исследования (интервью, коридорные тесты).
Этапы A/B-тестирования
1) Построение гипотезы
Анализируйте воронки, карты кликов/скролла, записи сессий; дополняйте качественными инсайтами (интервью, пятисекундный тест). Формулируйте чётко: «Если упростим форму на 2 поля, конверсия вырастет на X%».
Нулевая (H0): разницы между A и B нет. Альтернативная (H1): разница есть. Задача — попытаться опровергнуть H0.
Значимость и p-value: если p-value < 0.05, разница считается статистически значимой.
2) Подключение метрик и инструментов
- Аналитика: GA4, Яндекс Метрика.
- Тег-менеджер: Google Tag Manager.
- Платформы экспериментов: VWO, Optimizely, AB Tasty, Convert.com, GrowthBook, Split.io.
- Калькуляторы: DriveBack, Evan Miller, CXL AB Test Calculator.
Настройте длительность, долю трафика (например, 50/50), минимальный размер выборки и MDE; следите за равномерностью трафика по устройствам/каналам.
3) Проведение теста
- Ориентир длительности — 10–14 дней, но ключевое — собрать нужную выборку и дождаться значимости.
- Не останавливайте тест рано из-за «временного лидера».
- Проверяйте работоспособность форм и событий.
4) Анализ результатов
- Проверьте статистическую значимость и доверительные интервалы.
- Смотрите guardrail-метрики: отказ, время, доход на пользователя.
- Внедряйте победителя и планируйте следующую итерацию.
5) Проверка дополнительных показателей
Убедитесь, что изменения не ухудшили скорость загрузки, стабильность интерфейса, средний чек и возвратность.
Инструменты и сервисы для A/B-тестов
- Платформы: VWO, Optimizely, AB Tasty, Convert.com, GrowthBook, Split.io.
- Аналитика: Google Analytics 4, Яндекс Метрика, AppMetrica (для приложений).
- Тег-менеджеры: Google Tag Manager, Tealium, Segment.
- Калькуляторы: DriveBack, Evan Miller, CXL.
- Поведенческий анализ: Hotjar, Clarity, карты кликов Метрики.
Чек-лист запуска A/B-теста
- Цель и primary metric определены; guardrail-метрики выбраны.
- Гипотеза и MDE зафиксированы.
- Размер выборки и длительность рассчитаны.
- Цели/события валидированы (при необходимости A/A-тест).
- Равномерный сплит трафика по устройствам/каналам.
- Критерии остановки: значимость, мощность, время.
- Тест выдержан без ранней остановки; варианты работоспособны.
- Победитель внедрён, эффекты проверены.
FAQ
Сколько длится A/B-тест?
Пока не собрана требуемая выборка и не достигнута значимость. Часто 10–14 дней, но ориентируйтесь на данные, а не на календарь.
Можно ли тестировать сразу несколько элементов?
В одном тесте — только один параметр. Для нескольких вариантов одного параметра используйте A/B/n; для комплексных изменений — последовательные эксперименты.
Что делать, если p-value > 0.05?
Данных недостаточно или разницы нет. Увеличьте выборку, продлите тест, уточните MDE или протестируйте более заметное изменение.