Что это
A/B-тест — эксперимент, в котором часть посетителей видит вариант A, часть — вариант B, а вы сравниваете, какой из них чаще приводит к нужному действию. Отличается один элемент — заголовок, кнопка, порядок блоков, — остальное одинаково, чтобы разница в результате объяснялась именно им.
Что нужно, чтобы тест был честным
Три условия: посетители распределяются между вариантами случайно; тест идёт одновременно для обоих, а не «в январе показывали A, в феврале B» — за месяц могло измениться что угодно ещё; и трафика достаточно, чтобы разница не была случайным совпадением. Без последнего условия результат теста на нескольких десятках визитов ничего не доказывает, сколько бы вы его ни хотели.
Почему это важно вам
A/B-тест — способ решать спор «какой заголовок лучше» не мнением, а данными. Для школы с небольшим потоком трафика ценность честного вывода ограничена: пока визитов на странице мало, тест копится месяцами — и часто дешевле довериться опыту и здравому смыслу, чем ждать статистической значимости на малых числах.