Performance креативы: фреймворк A/B тестирования

Спроектируй фреймворк A/B тестирования креативов.

Канал: {{channel}} Цель: {{objective}}

Принцип: "тестировать креативы" ≠ "запустить 10 объявлений и посмотреть какое лучше". Это гипотезы-driven процесс где каждый тест отвечает на конкретный вопрос.

Этап 0. Что НЕ работает

Распространённые ошибки:

• ❌ "Запустим 20 креативов, alg выберет" — да, но ты не узнаешь почему
• ❌ Тестируешь сразу image, copy, hook — не знаешь что повлияло
• ❌ Останавливаешь через 2 дня по 100 показам — статистики нет
• ❌ "Выиграл" по CTR — но CPA хуже. Wrong metric
• ❌ Меняешь audience и креатив одновременно — confounding

Этап 1. Иерархия теста

Тестируй сверху вниз. Низкое влияние тестировать когда high-impact выкачан.

1. Big idea / angle      ← 5-10× impact
2. Hook (первые 1-3 сек) ← 2-5× impact
3. Format (video/static) ← 1.5-3× impact
4. Length                ← 1.2-2× impact
5. CTA copy              ← 1.1-1.5× impact
6. Button colour         ← 1.01× impact (не трать время)

Не тестируй "кнопку blue vs green" пока не оптимизирован angle.

Этап 2. Структура гипотезы

Каждый тест — это гипотеза, не "интересно посмотрим":

Hypothesis:
  Если [изменение], то [метрика] [направление]
  потому что [причина]

Example:
  Если показать customer'a "до/после" вместо product shot,
  то CTR вырастет на 20%+
  потому что social proof работает сильнее для cold audience

Без гипотезы → не учишься → каждый тест начинаешь заново.

Этап 3. Дизайн теста

Контроль и варианты

Control (A):  текущий best-performing креатив (champion)
Variant (B):  меняется ОДИН элемент по гипотезе

Если хочешь тестить 2 переменных — это 2 теста, не 4 группы

Holdout vs split test

Audience и budget

• Одна audience для control и variant (не "USA vs UK")
• Одинаковый bid / budget — отдай alg распределение
• Одинаковая placement (feed vs stories — разные миры)

Этап 4. Sample size

Не останавливай "когда чувствуется победа". Считай.

Минимум:
- 100+ конверсий per variant
- 7+ дней (учесть weekday эффект)
- Statistical significance p < 0.05

Используй калькулятор (Optimizely, AB Tasty, evanmiller.org).

Грубо:

• Если базовая CVR 2% и хочешь детектировать +20% эффект → нужно 4000+ кликов per variant
• Если CTR 1% → нужно 30 000+ impressions per variant

Меньше — статистики нет, "победа" может быть случайной.

Этап 5. Правильная метрика

Тестируй на цель, не на промежуточные:

Креатив с лучшим CTR может иметь худший CPA — это часто. Не верь промежуточным.

Этап 6. Calendar тестирования

Спринт = 2-4 недели. В нём:

Неделя 1:
  Launch — 2-4 теста параллельно (разные гипотезы)
  Daily monitoring (но не trigger'и решения)

Неделя 2:
  Continue — собираешь данные
  Заметки о initial trends (не решения)

Неделя 3:
  Закрытие тестов которые достигли significance
  Documentation winnings / learnings

Неделя 4:
  Champion update (winners становятся новым control)
  Plan next sprint

3-4 теста в спринт. Больше — не успеваешь.

Этап 7. Learning loop

Каждый тест → одна из 4 категорий:

1. Wins — implement, новый champion
2. Losses — что узнали, документируй (не повторяй)
3. Inconclusive — мало данных или мало эффекта, kill
4. Negative — variant хуже, важная информация

Learning log:

Test 12 — Hook angle (контр-интуитив vs прямой)
  Hypothesis: "Stop doing X" перебьёт "Best way to X" на 15%+
  Result: -3% CTR (не значимо), +18% CVR (значимо)
  Decision: implement counter-intuitive hook
  Learning: hook strength измеряется не CTR, а downstream

После 20-30 тестов — у тебя реальная creative strategy, не "что-то крутится".

Этап 8. Creative production rate

Хороший cadence:

• 5-10 новых креативов в месяц (для среднего scale)
• 20-30 (для крупного scale)
• Каждый креатив должен быть либо new champion candidate, либо test variant

Если 1 креатив в месяц — нет данных тестировать. Если 50 в месяц без гипотез — спрей-молись.

Анти-паттерны

• ❌ "Этот креатив выглядит круто" — нерелевантно если не работает
• ❌ Останавливать тест через 24 часа
• ❌ Меняешь audience посреди теста — реset
• ❌ Test внутри campaign где есть optimisation — alg сам выберет winner до того как ты соберёшь данные
• ❌ Без champion (control) — не с чем сравнивать
• ❌ Тестишь "красную кнопку vs синюю" в первый месяц — wrong level

Структура отчёта по тесту

Test #N: [название]

Hypothesis:
[если X, то Y потому что Z]

Setup:
- Channel:
- Audience:
- Budget:
- Duration:
- Variants A, B (визуал):

Results:
| Metric | A | B | Lift | p-value |
|---|---|---|---|---|
| Impressions | N | N | | |
| CTR | x% | y% | +Z% | 0.0X |
| CPA | $A | $B | -C% | 0.0X |

Verdict: [Win / Loss / Inconclusive]

Decision:
[Implement / Reject / Iterate]

Learning:
[что узнали, применимо к будущим тестам]

В конце дай

• Backlog 10-20 гипотез отсортированных по impact
• Спринт-план на месяц
• Sample size calculation per тест
• Шаблон learning log
• Метрики и decision-criteria