Valutare un programma con un gruppo di controllo

Per stimare il contributo di un programma fedeltà, confrontate i clienti assegnati all'offerta con clienti idonei in condizione di controllo, nello stesso periodo. L'assegnazione deve precedere gli acquisti da misurare. Analizzate tutte le persone assegnate, incluse quelle che non aderiscono o non riscattano un premio.

Scrivere la domanda prima della prova

Stabilite la decisione che trarrete dai risultati: se offrire il programma aumenta il margine rispetto al servizio abituale, o se una nuova regola è migliore di quella attuale. In quest'ultimo caso, il controllo può continuare a usare il programma esistente.

Fissate pubblico idoneo, durata, ordini validi, costi inclusi e risultato principale. Se i clienti acquistano a intervalli di molti mesi, una prova breve può rilevare adesioni e primi utilizzi, ma non la continuità. Stabilite come gestire resi, annullamenti e benefici maturati entro la finestra.

Assegnare gruppi confrontabili

Create l'elenco degli idonei prima dell'avvio e assegnate casualmente persone o altre unità adatte. Se un cliente usa più profili o canali, evitate per quanto possibile assegnazioni contrastanti. Conservate la regola e la data di assegnazione.

Descrivete la condizione di controllo: quali benefici non riceve, quali comunicazioni ordinarie continua a ricevere, quali servizi restano disponibili. Verificate prima che la prova sia compatibile con le promesse già fatte. Non ritirate benefici già maturati per creare il confronto. Se il gruppo del programma riceve anche una campagna aggiuntiva, la differenza riguarderà l'intero pacchetto di interventi.

Se l'iniziativa passa dal negozio, verificate che personale e comunicazioni mantengano separate le condizioni. Quando l'assegnazione è per negozio anziché per persona, l'analisi deve tener conto di quell'unità e delle possibili differenze tra sedi.

Leggere il risultato per assegnato

Preparate lo stesso prospetto per entrambe le condizioni:

Confrontate il risultato medio per persona assegnata, o usate un'analisi coerente con l'unità di assegnazione. Limitarsi agli iscritti o a chi riscatta un premio selezionerebbe persone dopo l'avvio. La differenza riguarda l'offerta nelle condizioni testate, non l'effetto individuale dell'adesione volontaria.

Decidere con i limiti in vista

Un risultato piccolo su pochi ordini può avere più spiegazioni. Riportate dimensione dei gruppi, finestra, variabilità e problemi di esecuzione prima di dichiarare successo o fallimento. Verificate se le condizioni sono state mantenute, se gli acquisti dei canali pertinenti sono osservabili e se sono arrivate rettifiche dopo la prima chiusura dei dati.

Se la prova mostra più ordini ma meno margine, rivedete beneficio e destinatari. Se il risultato è incerto, considerate un'osservazione più lunga o una prova meglio delimitata. La conclusione vale per pubblico, regole e periodo studiati.

Vantaggi e svantaggi dell'uso di un gruppo di controllo