CRO как дисциплина, а не набор приёмов
Оптимизация конверсии часто сводится в разговоре к списку приёмов: убрать поля формы, добавить таймер, поменять цвет кнопки. Приёмы существуют, но они не являются CRO — это гипотезы, каждая из которых верна лишь в части контекстов.
CRO — процесс, который отвечает на два вопроса: какие изменения проверять первыми и как отличить реальный эффект от случайного колебания. Ценность накапливается не в отдельном выигравшем тесте, а в базе знаний о том, что работает на конкретной аудитории.
Разница видна на горизонте года. Команда без процесса внедрила двадцать «лучших практик» и не знает, какие из них помогли, а какие навредили. Команда с процессом провела двадцать тестов, выиграла в пяти, проиграла в семи, получила восемь нейтральных — и точно знает, какие пять изменений остались в продакшене и сколько они приносят.
Цикл CRO
1. Данные → где и сколько теряется (абсолютные числа, не проценты)
2. Гипотеза → «Изменение X для аудитории Y повысит метрику Z, потому что…»
3. Приоритизация → ICE или PIE: что даёт больше эффекта на единицу усилий
4. Эксперимент → A/B-тест с рассчитанной выборкой и фиксированной датой
5. Решение → раскатать / откатить / переформулировать
6. База знаний → вывод фиксируется независимо от исхода
Шестой шаг пропускают чаще всего, и именно он превращает набор тестов в дисциплину. Проигравший тест — не потраченный трафик, а знание: аудитория не реагирует на этот рычаг, и следующие двадцать гипотез можно строить в другой плоскости.
Формат гипотезы. Гипотеза без обоснования непроверяема. Рабочая формулировка содержит четыре элемента: что меняем, для кого, какую метрику ожидаем сдвинуть и на каком наблюдении основано ожидание.
Перенос блока со сроками доставки выше цены на карточке товара повысит конверсию в добавление в корзину для мобильного трафика, потому что в записях сессий видно, что пользователи скроллят к блоку доставки до принятия решения, а в обращениях в поддержку срок доставки — вопрос номер один.
Где брать гипотезы
| Источник | Что даёт | Ограничение |
|---|---|---|
| Анализ воронки | Количественная картина потерь по шагам | Показывает «где», но не «почему» |
| Запись сессий | Наблюдаемое поведение конкретных пользователей | Легко переоценить единичный случай |
| Тепловая карта | Распределение внимания и кликов | Агрегирует разные намерения в одну картинку |
| Опросы на сайте | Причины отказа словами пользователя | Отвечают не самые типичные посетители |
| Обращения в поддержку | Реальные барьеры, дошедшие до жалобы | Смещение в сторону уже вовлечённых |
| Внутренний поиск | Спрос, который сайт не удовлетворяет | Требует чистки запросов |
| Анализ конкурентов | Идеи и ориентиры | Их решения не проверены на вашей аудитории |
Количественные и качественные источники работают в паре. Воронка отвечает на вопрос, где искать, качественные данные — что именно предположить. Гипотеза, построенная только на записях сессий, рискует чинить проблему, которая касается доли процента трафика.
Приоритизация: ICE и PIE
| Фреймворк | Оси | Когда удобнее |
|---|---|---|
| ICE | Impact, Confidence, Ease | Малая команда, быстрые итерации |
| PIE | Potential, Importance, Ease | Много страниц с разным трафиком |
Каждая ось оценивается от 1 до 10, итог — среднее. Точность оценок здесь вторична: смысл процедуры не в цифре, а в вынужденном обсуждении. Когда один участник ставит Impact 9, а другой 3, выясняется, что они по-разному понимают саму гипотезу.
Добавьте к оценке фильтр по трафику. Гипотеза на странице, где за месяц проходит несколько тысяч визитов, физически не может дать статистически значимый результат в разумный срок при реалистичном размере эффекта. Такие изменения либо внедряются без теста как очевидные улучшения, либо откладываются.
Ошибки, которые обесценивают результат
| Ошибка | В чём проявляется | Что делать |
|---|---|---|
| Подглядывание | Тест останавливают, когда цифры впервые выглядят хорошо | Фиксировать дату окончания и размер выборки заранее |
| Недостаточная выборка | Тест «не показал разницы» при заведомо малом трафике | Считать MDE до старта; нет мощности — нет теста |
| Оптимизация микроконверсии | Клики по кнопке выросли, выручка не изменилась | Держать первичной метрикой выручку на посетителя |
| Много изменений в одном варианте | Вариант выиграл, но непонятно за счёт чего | Разделять на отдельные тесты, если позволяет трафик |
| Локальный максимум | Серия мелких улучшений упёрлась в потолок | Периодически тестировать радикальные варианты |
| Игнорирование сегментов | Средний результат нейтрален | Смотреть разрезы, но как источник гипотез, а не как вывод |
| Отсутствие фиксации | Через полгода никто не помнит, что тестировали | Вести реестр тестов с гипотезой, метрикой и исходом |
Два пункта заслуживают отдельного пояснения.
Микроконверсии. Микроконверсия — полезный диагностический сигнал и опасная целевая метрика. Агрессивный попап поднимает подписки и снижает выручку; убранный фильтр ускоряет переход к карточке и увеличивает возвраты. Первичная метрика должна быть максимально близка к деньгам, микроконверсии — вспомогательными.
Разрезы по сегментам. Если проверить результат в двадцати сегментах, один-два покажут «значимое» отличие просто из-за случайности. Найденный в разрезе эффект — гипотеза для следующего теста, а не готовое решение к внедрению. Формально подтверждается он только отдельным экспериментом, спланированным под этот сегмент.
CRO и персонализация
CRO ищет единственный вариант, который лучше работает для всей аудитории. Это правильная стартовая позиция, но у неё есть предел: если один сегмент выигрывает от варианта A, а другой от варианта B, общий тест покажет ничью, и оба потенциальных прироста будут потеряны.
| Подход | Логика | Что раскатывается |
|---|---|---|
| Классический CRO | Найти лучший вариант для всех | Один победивший вариант |
| Персонализация | Разный вариант для разных сегментов | Правило выбора варианта |
Практический вывод: нейтральный результат теста — не всегда «идея не работает». Стоит проверить, нет ли расхождения между новыми и вернувшимися посетителями, мобильным и десктопным трафиком, платными и органическими источниками. Если расхождение устойчиво и объяснимо — это заявка на персонализацию, которую нужно подтвердить отдельным экспериментом.
Чек-лист запуска эксперимента
- Гипотеза записана в формате «изменение → аудитория → метрика → обоснование».
- Первичная метрика одна и максимально близка к выручке; вторичные зафиксированы для контроля побочных эффектов.
- Рассчитаны MDE и размер выборки, из них — ориентировочная длительность.
- Дата окончания зафиксирована до старта и не сдвигается по ходу.
- Проверена корректность разделения трафика — доли групп соответствуют заданным.
- Тест покрывает полные недельные циклы, а не только будни.
- Результат интерпретирован через аплифт с доверительным интервалом, а не через точечное значение.
- Вывод занесён в реестр независимо от исхода — включая проигравшие и нейтральные тесты.
- Для долгосрочных изменений оставлена holdout-группа — она отвечает на вопрос, работает ли эффект спустя квартал.