- 3simuloitua kampanjaakukin 3 viikkoa: kevät, kesä ja syksy 2011
- 0 £todellinen vaikutus oikeisiin ostoihinkampanjoita ei koskaan toteutettu
- −54,7 £ensimmäinen estimaatti, syksyasiakasviikkoa kohden, väli [−118; −13]
- 5×kapeampi yhden perustellun muutoksen jälkeensyksyn väli [−23,0; −1,4]
Simulaatio
Aineistossa ei ole kampanjoita, joten kampanjat simuloitiin oikeille asiakkaille, jotta itse mittausta voidaan testata. Koska kampanjoita ei koskaan toteutettu, niiden todellinen vaikutus oikeisiin ostoihin tiedetään: tasan nolla. Menetelmää, joka ei tässä anna tulokseksi nollaa, ei pidä käyttää oikeaan kampanjaan.
Kussakin simuloidussa kampanjassa kelpoisia ovat asiakkaat, jotka ovat ostaneet jotain 12 viikon aikana ennen kampanjan alkua. Heidät jaetaan desiileihin esijakson ostojen mukaan, ja puolet kustakin desiilistä kohdistetaan koeryhmään siemennetyillä hash-pohjaisilla arvonnoilla. Koeryhmän asiakkaat saavat laskennallisesti 5 punnan ostoskorisetelin. Koeryhmän asiakas, joka ostaa kampanjan aikana, lunastaa setelin ensimmäisellä ostoskorillaan todennäköisyydellä 0,3. Lopuksi vaikutus estimoidaan.
- KelpoisuusTuoreet ostajatVähintään yksi osto 12 viikon aikana ennen kampanjan alkua. Anonyymit rivit jätetään pois.
- KohdistusOsitettu 50/50Esijakson ostojen desiilit; puolet kustakin desiilistä koeryhmään, siemennetyt hash-arvonnat.
- Altistus5 £ ostoskoriseteliSimuloitu. Verrokkiryhmä ei saa mitään.
- LunastusTodennäköisyys 0,3Koeryhmän ostajan ensimmäisellä kampanja-ajan ostoskorilla, linkitettynä oikeaan tapahtumaan.
- MittausVaikutuksen estimointiYksi rivi kampanjaa ja asiakasta kohden, sitten estimaattori.
- mart_
campaign_ customer
- mart_
Osittaminen esijakson ostojen mukaan takaa tasapainon tulevien ostojen vahvimman ennustajan suhteen. Se tarkentaa estimaattia vinouttamatta sitä.
Estimaattori
Erotusten erotus (difference-in-differences) asiakaskohtaisesta viikoittaisesta nettomyynnistä: kunkin asiakkaan muutos 12 viikon lähtötasosta kampanjaviikkoihin, keskiarvona koeryhmälle, miinus sama verrokkiryhmälle. Erotus poistaa asiakkaiden väliset pysyvät erot; vertailu verrokkiryhmään poistaa sen, mikä muuttui kaikille, kuten kausivaihtelun ja trendin.
Koe- ja verrokkiryhmälle lasketaan erikseen keskiarvo siitä, kuinka paljon kunkin asiakkaan viikoittainen nettomyynti kampanjaviikkoina poikkeaa 12 viikon lähtötasosta. Vaikutus on koeryhmän keskimääräinen muutos miinus verrokkiryhmän keskimääräinen muutos. Sille lasketaan 95 prosentin bootstrap-väli 1 000 uudelleenotannasta ja vertailuksi Welchin väli.
Nollatesti
Ostot jakautuvat tässä aineistossa erittäin vinosti: muutama tukkuostaja käyttää satoja kertoja mediaania enemmän. Ensimmäisessä ajossa oikealla datalla raaka estimaattori ei läpäissyt omaa nollatestiään syksyn kampanjassa, vaan löysi negatiivisen vaikutuksen kampanjalle, jolla ei ollut mitään vaikutusta. Kevään ja kesän kampanjat läpäisivät testin.
Simuloidulle kampanjalle, jonka todellinen vaikutus on nolla, raaka estimaattori antoi miinus 54,7 puntaa asiakasviikkoa kohden ja välin miinus 118:sta miinus 13:een, joka ei sisällä nollaa. Winsoroinnin jälkeen väli on miinus 23,0:sta miinus 1,4:ään: viisi kertaa kapeampi, mutta se sulkee yhä niukasti pois nollan. Menetelmää ei muutettu uudelleen; poikkeama raportoidaan.
Poikkeaman suuruus viittasi siihen, että poikkeavat havainnot hallitsivat keskiarvoja, joten menetelmää muutettiin kerran, tästä ilmoitetusta syystä: kunkin asiakkaan viikoittainen tulos rajataan esijakson 1. ja 99. persentiiliin, joihin kampanja ei voi vaikuttaa. Syksyn väli kapeni viidesosaan, mutta se sulkee yhä niukasti pois nollan. Menetelmää ei muutettu uudelleen läpäisyn saamiseksi; se olisi menetelmän sovittamista tulokseen.
Mitä raportoidaan
Jokainen ajo validoi menetelmän ennen kuin yhtään estimaattia näytetään, ja tulokset merkitään sen mukaan, mitä ne ovat.
Jokaisessa ajossa tehdään kolme tarkistusta. Nollatesti: välin pitäisi sisältää nolla; noin yksi kahdestakymmenestä rehellisestä välistä ei sisällä nollaa, joten poikkeama on varoitus. Tunnetun vaikutuksen palautus: dataan lisätään simuloitu 10 prosentin nousu, ja välin pitäisi sisältää se. Permutaatioplasebo: ryhmätunnukset sekoitetaan 200 kertaa, ja nollan pois sulkevien välien osuuden pitäisi olla lähellä 5 prosenttia; tarkistus varoittaa, jos osuus on yli 10 prosenttia. Estimaatit merkitään tunnisteella ESTIMATED ja simuloiduiksi, eikä inkrementaalista katetta lasketa, koska datassa ei ole kustannustietoja.
Ennen kuin kukaan näkee yhtään vaikutuslukua, jonkun olisi pitänyt nähdä menetelmän antavan tulokseksi nollan kampanjalle, jolla ei ollut vaikutusta.