Проведение пилота требует согласования с соответствующими категорийными менеджерами сетей. После согласования ведется работа по корректному дизайну теста, запуск теста и пост-анализ.

Есть два варианта развития событий. В первом сценарии поставщик обращается к нам до проведения теста. Мы ведем проект «под ключ», а именно: подбираем тестовые и контрольные группы магазинов, даем рекомендации по длительности периода проведения пилота для обеспечения статической значимости, по завершении теста предоставляем отчет, на основе которого поставщик принимает дальнейшие решения. Во втором варианте поставщик обращается к нам в течение или уже по завершении самой активности. В данном случае мы не участвуем в дизайне проекта и предоставляем готовый отчет.

Тестовые магазины подбираются согласно запросу поставщика. В пре-периоде магазины тестовой и контрольной групп должны быть максимально схожими по выручке, трафику и расходам на покупателя по магазину в целом, по тестируемой категории и выбранным продуктовым группам. При подборе мы минимизируем вероятность ошибки первого рода (найти эффект там, где его нет) и вероятность ошибки второго рода (пропустить эффект там, где он есть). Если не удается сделать эти вероятности достаточно маленькими, то мы считаем, что контрольная группа для статистической оценки не подбирается.

Для каждого пилота «под ключ» производится оценка статистической значимости, которая зависит от двух взаимозависимых факторов: количества магазинов и длительности периода. Мы можем уменьшать кол-во магазинов и увеличивать период, и наоборот. Ограничения определяются индивидуально по каждому проекту. Исходя из нашего опыта, ориентировочная длина пилота — 4-12 недель, ориентировочное количество магазинов — от 30 штук до 20% генеральной совокупности.

При условии, что контрольные и тестовые группы статистически неотличимы на пре-периоде, мы можем с большой долей вероятности предполагать, что средний эффект от иных факторов будет одинаковым для контрольной и тестовой групп, а замеренный по итогам активации эффект будет равен чистому эффекту от активации.

Для оценки изменения потребления товаров и категории производится сравнение основных покупательских метрик в контрольной и тестовой группах магазинах во время пилота и к пре-периоду. Результат теста является статистически значимым при доверительном интервале, не пересекающем 0. Например, продажи категории увеличились в диапазоне от +1% до 5% с уровнем доверия 95%, — значит, эффект статистически значим. Если изменение продаж колеблется от −1% до 5%, значит, влияние активации не статически значимо. Вероятно, стоит продлить пилот.

В среднем построение отчета занимает 14 рабочих дней, однако, длительность во многом зависит от сложности и уровня нестандартности проекта. На каждом этапе работы по пилоту поставщика сопровождает консультант, который несет ответственность за формирование бизнес-кейса.

Отчет предназначен для поставщиков, которые могут подключать к проекту агентства в случае подписания совместного NDA.