TEST & LEARN. Анализ эффективности инстор-тестов

ведущий консультант Dialog.X5 InsightsЭлина Лопатюк

Оценка эффективности маркетинговых инициатив в магазинах — одна из ключевых задач, которая волнует всех участников FMCG-рынка. Так как Департамент Монетизации X5 Group реализует комплексный подход к решению задач бизнеса и формирует предложения для партнеров на основании лучших практик и потребностей ритейла, запуск нового продукта Test&Learn по оценке успешности инстор-тестов является важной и неотъемлемой частью развития платформы Dialog.X5. Мы рады, что Test&Learn открывает перед партнерами новые возможности для планирования и анализа рекламных активностей, а также формирования еще более успешных бизнес-кейсов.

Key Account Manager, Henkel Beauty CareКирилл Масленников

Для принятия решений в Henkel мы всегда используем data-ориентированный подход. Это часть нашей стратегии, позволяющая повысить эффективность бизнеса и выстраивать грамотные и взаимовыгодные отношения с ключевыми партнерами. Вместе мы стремимся максимально объективно оценивать потребности покупателей и формировать удовлетворяющий эти потребности ассортимент. Современные аналитические инструменты позволяют получить исчерпывающий анализ данных, избежать ошибок и определить наиболее эффективные стратегии вывода нового продукта или категории на рынок. Мы одними из первых на рынке оценили преимущества платформы Test&Learn от X5.Dialog и планируем использовать ее для развития совместных проектов в будущем.

Test & Learn FAQ

Что такое Test & Learn?

T&L — это инструмент по оценке эффективности любых тестов в магазинах. Под эффективностью подразумевается влияние какого-либо изменения или маркетинговой активации на ключевые метрики категории и товарных групп, анализ инкрементального вклада пилота на продажи магазинов.

Зачем нужен Test & Learn?

T&L нужен для проведения глубокого анализа по изменению покупательского поведения во время пилота и принятия data-driven решения о дальнейшей судьбе изменения, — например, о ролл-ауте на большее количество магазинов или даже на всю торговую сеть.

Эффект каких изменений и активаций можно оценить с Test & Learn?

Любых типов инстор активностей: размещение POSM, изменение выкладки, новое оборудование, работа промоутеров, активность мерчендайзеров, изменение ассортимента на холодной/теплой полке, внедрение систем видео-аналитики, электронных ценников, касс самообслуживания и многое другое.

Как поставщику провести пилот?

Проведение пилота требует согласования с соответствующими категорийными менеджерами сетей. После согласования ведется работа по корректному дизайну теста, запуск теста и пост-анализ.

Как происходит взаимодействие поставщика с департаментом монетизации?

Есть два варианта развития событий. В первом сценарии поставщик обращается к нам до проведения теста. Мы ведем проект «под ключ», а именно подбираем тестовые и контрольные группы магазинов, даем рекомендации по длительности периода проведения пилота для обеспечения статической значимости, по завершении теста предоставляем отчет, на основе которого поставщик ведет дальнейшие переговоры с сетью. Во втором варианте поставщик обращается к нам в течение или уже по завершении самой активности. В данном случае мы не участвуем в дизайне проекта и предоставляем готовый отчет.

Когда лучше обращаться: до или после проведения теста?

Решение зависит от величины отслеживаемого эффекта и возможностей поставщика по организации проекта. В случае пилотов, по которым важно отловить даже небольшой рост ключевых метрик (единицы процентов), а также при плотном взаимодействии поставщика с представителями сетей по подготовке к пилоту и по самому запуску, мы рекомендуем идти по первому варианту, когда мы помогаем вести проект от начала и до конца. Во всех остальных случаях подойдет второй вариант, который позволит оценить результат проекта постфактум.

Как подбираются тестовые и контрольные группы магазинов?

Тестовые магазины подбираются согласно запросу поставщика. В пре-периоде магазины тестовой и контрольной групп должны быть максимально схожими по выручке, трафику и расходам на покупателя по магазину в целом, по тестируемой категории и выбранным продуктовым группам.

Есть ли ограничения по количеству магазинов и длительности периодов?

Для каждого пилота «под ключ» производится оценка статистической значимости, которая зависит от двух взаимозависимых факторов: количества магазинов и длительности периода. Мы можем уменьшать количество магазинов и увеличивать период, и наоборот. Ограничения определяются индивидуально по каждому проекту.

Что такое статистическая значимость?

Результат теста является статистически значимым при доверительном интервале, не пересекающем ноль. Например, продажи категории увеличились в диапазоне от +1% до 5% с уровнем доверия 95%, — значит, эффект статистически значим. Если изменение продаж колеблется от -1% до 5%, значит, влияние активации не статистически значимо. Вероятно, стоит продлить пилот.

Как оценить эффективность пилота?

Для оценки изменения потребления товаров и категории производится сравнение основных покупательских метрик в контрольной и тестовой группах магазинов во время пилота и к пре-периоду.

С каким периодом нужно сравнивать, предыдущим или периодом в прошлом году?

Классический дизайн теста подразумевает сравнение с пре-периодом, однако, в некоторых категориях с ярко выраженным сезонным изменением потребления мы ведем сравнение с аналогичным периодом в прошлом году или выводим нормированное значение.

Что содержится в отчете?

Во-первых, изменение покупательских метрик и их контрибуция в динамику категории и товарных групп по чекам и картам лояльности. Во-вторых, на основании данных лояльности поставщик может провести анализ базы покупателей в разрезе новых, постоянных и ушедших покупателей для группы товаров категории и сети, в-третьих, оценить инкрементальный вклад запуска в рост категории в тестовой группе магазинов, исключая эффект каннибализации.

Как исключить влияние иных факторов на результаты теста?

При условии, что контрольные и тестовые группы статистически неотличимы на пре-периоде, мы можем с большой долей вероятности предполагать, что средний эффект от иных факторов будет одинаковым для контрольной и тестовой групп, а замеренный по итогам активации эффект будет равен чистому эффекту от активации.

Сколько требуется времени на построение отчета?

В среднем построение отчета занимает 14 рабочих дней, однако длительность во многом зависит от сложности и уровня нестандартности проекта. На каждом этапе работы по пилоту поставщика сопровождает консультант, который несет ответственность за формирование бизнес-кейса.

Пользуются ли внутри Х5 этим инструментом?

Изначально инструмент был разработан для принятия решений о масштабировании тех или иных технологий внутри торговых сетей X5 Group. Мы проводим много экспериментов, оцениваем их, и на основе этих данных помогаем сетям сделать корректный вывод об успешности проекта, реализуя data-driven подход.

Для кого предназначен отчет? Работа ведется только с поставщиками или с агентствами тоже?

Отчет предназначен для поставщиков, которые могут подключать к проекту агентства в случае подписания совместного NDA.