2- %51 istatistiksel anlam yeterli demek
Böyle bir oranlamayla test yaparsanız başarılı olmanıza imkan yok. Hatta %75 anlamla bile başarılı olmanız bile yeterli değil. A/B testlerinde “Evet bu yeni geliştirme daha iyi performans sağlıyor” diyebilmeniz için %95 civarında bir istatistiksel anlam oranı tavsiye ediliyor. Bunu daha aşağılara çekmek sizin elinizde tabii ama unutmayın ne kadar aşağı çekerseniz test sonucunuzun yanlış olma riskini ve dönüşüm kaybetme riskini o kadar arttırırsınız.
3- Testi tam bir haftada koşmamak
Diyelim ki testi 4 gün koştunuz ve %97 oranında istatistiksel güvene sahip oldunuz, test bitti mi? Hayır. Çoğu durumda siteniz haftanın farklı günlerinde farklı dönüşüm oranlarına sahip olur, farkı performans sergiler. Eğer tam bir hafta test yapmazsanız başarı oranını doğru olarak hesaplamayabilir, alternatifi canlıya alınca neden dönüşüm oranı bu kadar az oldu diyebilirsiniz.
4- Özel günleri/dönemleri göz önünde bulundurmamak
Misal e-ticaret siteniz var ve A/B testi yapıyorusunuz. Baktınız güldür güldür dönüşüm ediniyorsunuz. Oh ne güzel! Ama eğer bu testi yaparken sevgililer günün bir hafta öncesi olduğunu unutursanız, sonradan dönemsel yoğunluk gidip yerini kemik trafiğe bıraktığında sizi üzecek sonuçlarla karşılaşabilirsiniz. Aman diyeyim!
5- Trafik yokken A/B testi yapmak
Sitenize haftada 20 kişi geliyor örneğin ve ayda olsa olsa 3-5 dönüşüm sağlıyorsunuz. Neyi test edeceksiniz? Etseniz dahi %100 veya %50 gibi bir istatistiksel başarı çıkması size ne kazandıracak? Bu tür bir testi yapabilmeniz için öncelikle güvenilebilir ve belirli seviyede sürekliliği sağlanmış veriye ihtiyacınız var. Bir testin sonuçlanması için 3 ay bekliyorsanız zaman ve paranızı boşuna harcamış olursunuz. Veriniz yok mu? o zaman marjinal değişiklikleri yapın ta ki bu noktaya gelene kadar. Zaten şu an için yaptığınız değişikliği gelen lead sayısında hızlıca görebilirsiniz. Kaybedecek bir trafiğiniz veya dönüşüm oranınız yok.
6- Test verilerini web analytics aracına göndermemek
Yazının girişinde bahsettiğimiz Optimizely gibi A/B testi araçlarının test verilerini sonuca ve dönüşme odaklı olarak sunması sizin hızlı test etmenizi ve karara varabilmenizi sağlar. Ancak çoğu zaman daha derinlemesine ve detaylı analizler yapmanız gerekir. Bu nedenle Google Analytics’in sunduğu advanced segmentation gibi özelliklere ihtiyaç duyarsınız. Teste başlarken özellikle Google Analytics kullanıyorsanız, bu entegrasyonun sağlandığına emin olun.
7- Gereksiz testlere zaman harcamak
“Şimdi al butonunun rengi kırmızı mı olsun, mavi mi?” işin özünde dönüşümü sağlayan “doğru renk” diye bir şey yok. Evet renk kullanımı önemli ve o butonun rengi de sizin için bir önem arz edebilir. Fakat bu sadece o butonun renginden dolayı değildir; tüm sayfanın hatta sitenin göresel hiyerarşinin doğru yapılıp yapılmadığına göre oluşan bir önemdir. Yani test “Buton kırmızı mı mavi mi olsun?” değil “Önemli aksiyonlar, sayfada diğerlerinden daha çok dikkat çekiyor mu?” şeklinde olmalıdır.
8- İlk test başarısız olunca vazgeçmek
Bir sayfada ilk testinizi yaptınız ve başarısız oldunuz. “Haydi şimdi başka sayfalarda deneyelim” demeyin. İlk birkaç testin başarısız olması çok doğal. Önemli olan iteratif ilerleyebilmek, yaptığınız testlerden kullanıcı alışkanlıklarıyla ilgili edineceğiniz bilgilerle elinizdeki hipotezleri iyileştirebilmek. Siz hipotezlerinizi geliştirdikçe testlerinizde başarıya bir adım daha yakın olacaksınız.
9- Yanlış pozitifleri görmemek
A/B testi yapmaya başlayan heyecanlı arkadaşlarımız hızlarını alamayarak “Bir de şu versiyonu deneyelim”, “Hah bir de şunu ekleyelim” diyerek testi A/B’den A/B/C/D/E/F olarak yapmaya başladıklarında, fark etmedikleri nokta yanlış pozitif edinme ihtimallerini katlayarak çoğalttıklarıdır. Farklı versiyonların ve/ya aynı versiyon içindeki birden fazla değişikliğin test sonucuna istatistiksel etkisinin yıkıcı olabileceği ve istatistiksel anlamlığın yanlış pozitifle sizi yanıltabileceğini unutmayın. Sakin olun. Bir versiyon, bir değişiklik.
10- Küçük kazanımları görmezden gelmek
“Bu ne ya %5 kazanım neymiş? Bunun için uğraşmaya gerek yok” mentalitesiyle giderseniz majör bir kazanıma varabilmeniz için sayısal loto kazanmanızla aynı oranda bir şans gerekecek. Zira genelde kazanımlar ilk bakışta %1, %2, %3, oranlarından fazlaya gitmezler. Yani stabil bir yapınız var ve belirli bir trafik/dönüşüm oranınız varken bir test yapıp %50 kazanıma ulaşmanız çok çok nadir bir olasılıktır. Ancak küçük kazanımları gözardı etmeyin. Haftada %5 lik bir kazanım yıllık oranda size %80 olarak geri dönecektir. Rakamları yıllık ve oransal artış olarak değerlendirin.
Son Söz
Yukarıdaki maddeler çoğaltılabilir. Ben daha çok en can alıcı ve en genel yapılabilecek örnekleri almaya çalıştım. Burada önemli olan A/B söyleminin basitliğine aldanıp “Ne olacak canım iki alternatifi yan yana koy çalışsın.” düşünce girdabına girmemeye çalışmak. Zira buradaki ve araştırırsanız bulabileceğiniz diğer bir çok önermede olduğu gibi gözardı edeceğiniz önemli noktalar ya size bir şey kazandırmayacak ve bir süre sonra test etmeyi bırakacaksınız, ya da daha da kötüsü yanlış testlerden çıkardığınız yanlış sonuçlarla kendinize yarardan çok zarar getireceksiniz. Şahsi tavsiyem A/B testi için hazırlık yapın ve mutlaka kendinize bir checklist oluşturarak dikkat edilecek noktaları teste başlamadan önce kontrol edin. Evet araştırdıkça bazı konularda zorlanabilirsiniz. Özellikle istatistik bilimine değinen kısımlarda bazen mavi ekran verebilirsiniz. Ancak kullandığınız araçların yardım dokümantasyonları ve arayüzleri size yardımcı olacaktır. Hala emin değilseniz bizimle iletişime geçin 🙂
