Optimalno inteligentni oblak: Kako koristiti Stats Engine za A/B testiranje pametnije i brže

Optimalno statistika Engine and A/B Testing Strategies

Ako želite pokrenuti program eksperimentiranja koji će pomoći vašem poslu da testira i nauči, velike su šanse da ga koristite Optimalno inteligentan oblak - ili ste ga barem pogledali. Optimizely je jedan od najmoćnijih alata u igri, ali kao i svaki takav alat, mogli biste ga koristiti pogrešno ako ne razumijete kako radi. 

Što Optimizely čini tako moćnim? U središtu njegova skupa značajki nalazi se najinformiraniji i intuitivniji mehanizam statistike u alatu treće strane koji vam omogućuje da se više usredotočite na dobivanje važnih testova uživo-bez brige da ćete pogrešno protumačiti svoje rezultate. 

Slično poput tradicionalnog slijepog studija medicine, A / B testiranje će nasumično pokazati drugačije tretmani vaše web stranice različitim korisnicima kako bi zatim usporedili učinkovitost svakog tretmana. 

Statistika nam tada pomaže u zaključivanju koliko dugoročno može biti učinkovit. 

Većina A/B alata za testiranje oslanja se na jednu od dvije vrste statističkih zaključaka: učestalu ili Bayesovu statistiku. Svaka škola ima različite prednosti i nedostatke - česta statistika zahtijeva da se veličina uzorka utvrdi prije izvođenja eksperimenta, a Bayesovoj statistici je uglavnom stalo do donošenja dobrih odluka o smjeru, a ne do navođenja bilo koje pojedinačne brojke utjecaja, da navedemo dva primjera. Optimizelyova supermoć je to što je to jedini alat na današnjem tržištu za uzimanje Najbolje od oba svijeta pristup.

Krajnji rezultat? Optimalno omogućuje korisnicima brže, pouzdanije i intuitivnije izvođenje eksperimenata.

Kako bi to u potpunosti iskoristili, važno je razumjeti što se događa iza kulisa. Evo 5 uvida i strategija pomoću kojih ćete koristiti Optimizelyjeve sposobnosti poput profesionalca.

Strategija #1: Shvatite da nisu svi mjerni podaci jednaki

U većini alata za testiranje često se zanemaruje problem da što više mjernih podataka dodate i pratite kao dio testa, veća je vjerojatnost da ćete vidjeti neke netočne zaključke zbog slučajne slučajnosti (u statistikama se to naziva „problem višestrukog testiranja“ ”). Kako bi rezultati bili pouzdani, Optimizely koristi niz kontrola i ispravki kako bi izgledi da se to dogodi bili što manji. 

Te kontrole i ispravci imaju dvije implikacije kada idete postavljati testove u Optimizely. Prvo, metriku koju označite kao svoju Primarna metrika će najbrže doseći statističku značajnost, sve ostale stvari su konstantne. Drugo, što više mjernih podataka dodate eksperimentu, vašim će kasnijim mjernim podacima biti potrebno više vremena da dosegnu statističku značajnost.

Prilikom planiranja eksperimenta, provjerite znate li koja će vam metrika biti pravi sjever u procesu donošenja odluka, neka to bude vaša primarna metrika. Zatim zadržite ostatak popisa mjernih podataka mršavim uklanjanjem svega što je previše suvišno ili tangencijalno.

Strategija #2: Izgradite vlastite prilagođene atribute

Optimizely vam izvrsno nudi nekoliko zanimljivih i korisnih načina za segmentiranje rezultata eksperimenta. Na primjer, možete provjeriti imaju li određeni tretmani bolji učinak na stolnom računalu u odnosu na mobitel ili promatrati razlike među izvorima prometa. Kako vaš program eksperimentiranja sazrijeva, brzo ćete poželjeti nove segmente-oni mogu biti specifični za vaš slučaj korištenja, poput segmenata za jednokratne kupovine u odnosu na pretplate, ili općeniti kao "novi u odnosu na ponovne posjetitelje" (koji, iskreno, još uvijek ne možemo shvatiti zašto to nije dostupno iz kutije).

Dobra je vijest da putem polja Optimizely Project Javascript inženjeri upoznati s Optimizely mogu izgraditi neograničen broj zanimljivih prilagođenih atributa kojima posjetitelji mogu biti dodijeljeni i segmentirani. U Cro Metrics -u izgradili smo brojne zalihe modula (poput “novih vs. ponovnih posjetitelja”) koje instaliramo za sve naše klijente putem njihovog projekta Javascript. Iskorištavanje ove sposobnosti ključna je razlika između zrelih timova koji imaju odgovarajuće tehničke resurse koji će im pomoći u izvođenju, i timova koji se bore da spoznaju puni potencijal eksperimentiranja.

Strategija #3: Istražite Optimizely's Accelerator za statistiku

Jedna od značajki često pretjeranog alata za testiranje je mogućnost korištenja „bandita s više oružja“, vrste algoritma strojnog učenja koji se dinamički mijenja ondje gdje se vaš promet raspoređuje tijekom eksperimenta, kako bi se što više posjetitelja poslalo na „pobjedu“ moguće varijacije. Problem s višekrakim razbojnicima je u tome što njihovi rezultati nisu pouzdani pokazatelji dugoročnih performansi, pa su slučajevi uporabe ovih vrsta eksperimenata ograničeni na vremenski osjetljive slučajeve poput poticanja prodaje.

Optimalno, međutim, drugačija vrsta banditskog algoritma dostupna je korisnicima na višim planovima - Stats Accelerator (sada poznata kao opcija "Ubrzavanje učenja" unutar Bandita). U ovom postavljanju, umjesto da pokušava dinamički dodijeliti promet varijaciji s najboljom izvedbom, Optimizely dinamički raspoređuje promet varijacijama koje će najbrže dostići statističku značajnost. Na taj način možete brže učiti i zadržati ponovljivost tradicionalnih rezultata A/B testa.

Strategija #4: Dodajte emotikone u svoje metričke nazive

Na prvi pogled, ova ideja vjerojatno zvuči neumjesno, čak i besmisleno. Međutim, ključni aspekt provjere da li čitate prave rezultate eksperimenta počinje od osiguravanja da vaša publika može razumjeti pitanje. 

Ponekad, unatoč našim naporima, nazivi mjernih podataka mogu postati zbunjujući (pričekajte - aktivira li se taj mjerni podatak kad je narudžba prihvaćena ili kada korisnik dođe na stranicu s zahvalom?) Ili eksperiment ima toliko mjernih podataka da se pomiču gore -dolje po rezultatima stranica dovodi do potpunog kognitivnog preopterećenja.

Dodavanjem emotikona u nazive vaših mjernih podataka (mete, zelene kvačice, čak i velika vrećica s novcem može funkcionirati) mogu rezultirati stranicama koje se mogu daleko skenirati. 

Vjerujte nam - čitanje rezultata bit će mnogo lakše.

Strategija #5: Preispitajte svoju razinu statističke važnosti

Rezultati se smatraju konačnim u kontekstu Optimizely eksperimenta kada su dosegnuti statistički značaj. Statistička značajnost je težak matematički pojam, ali u biti je to vjerojatnost da su vaša zapažanja rezultat stvarne razlike između dvije populacije, a ne samo slučajne slučajnosti. 

Optimizirano prijavljene razine statističke značajnosti "uvijek vrijede" zahvaljujući matematičkom konceptu koji se naziva sekvencijalno testiranje - to ih zapravo čini daleko pouzdanijima od onih drugih alata za testiranje, koji su skloni raznim "zavirivanjima" ako ih pročitate prerano.

Vrijedno je razmotriti koju razinu statističke važnosti smatrate važnom za svoj program testiranja. Iako je 95% konvencija u znanstvenoj zajednici, mi testiramo promjene web stranica, a ne cjepiva. Još jedan uobičajen izbor u eksperimentalnom svijetu: 90%. No, jeste li spremni prihvatiti malo više neizvjesnosti kako biste brže izvodili eksperimente i testirali više ideja? Možete li koristiti 85% ili čak 80% statističku značajnost? Namjerno razmišljanje o ravnoteži rizika i nagrade može s vremenom platiti eksponencijalne dividende, pa dobro razmislite o ovome.

Pročitajte više o Optimizely Intelligence Cloud -u

Ovih pet brzih načela i uvida bit će vam iznimno korisno imati na umu tijekom upotrebe Optimizely. Kao i kod svakog alata, svodi se na to da ste dobro razumjeli sve prilagodbe iza kulisa, tako da možete biti sigurni da alat koristite učinkovito i djelotvorno. S ovim razumijevanjem možete dobiti pouzdane rezultate koje tražite, kada vam zatrebaju. 

Što vi mislite?

Ova web stranica koristi Akismet za smanjenje neželjene pošte. Saznajte kako se podaci vašeg komentara obrađuju.