E-Bülten listemize abone olun.

ABONE OL

10 Adımda A/B Testi Nasıl Yapılmaz?

A/B testi veya ecnebilerin yer yer verdiği adıyla split testing, son dönemde bizim de çok sıklıkla değindiğimiz, test etmenin en pratik ve veriye dayalı hipotez sağlaması yapma yöntemlerinden biri. “Hipotez sağlaması ne abi? Biz buraya A/B diye geldik” diyenlerin önden şu yazıyı okumasını tavsiye etsem de konuyu dağıtmamak için detaylara girmeyeceğim.

Tabii sadece biz değil tüm sektör içinde bir A/B testi furyası oluşmuş durumda ve zamanla Optimizely, Unbounce ve VWO gibi bu işin önde gelen araçları Türkiye pazarına önem vermeye başladıkça daha da bu ateşin alevleri yükselmekte. Şahsen kesinlikle A/B testinin uygulanmasına, yayılmasına ve “Test edip görelim” mentalitesine %100 destek veriyorum. Zaten öyle olmasa adı Growth Hackers olan bir yerde çalışmazdım herhalde. Neyse, portakalın faydalarından bahsetmek değil bugünki yazımızın amacı. Bu yazıda asıl değinmek istediğim konu, bir gazla “Haydi test yapalım” dedikten sonraki bilgi eksiklikleri nedeniyle hüsrana uğrama sebepleri… Şimdi eğri oturup doğru konuşalım; biz Türkler, bozana kadar direkt işin içine girer, baktık ki yıldız tornavidayla yapamıyoruz, o zaman kullanma kılavuzuna bakarız. Tamam, tamam; tüm genellemeler gibi bu da istatistiksel olarak yanlışlık barındırıyor ama haksız olduğumu kim söyleyebilir? Toplum analizi noktasından yine bir U dönüşü yapıyor ve asıl konuya giriyorum, A/B testi yaparken “Ulen çalışmıyor bu test olayı” demenize neden olacak, ancak kabahatin çoğunlukla sizde olduğu maddeleri aşağıdaki listede paylaşıyorum. Bunlara dikkat ederseniz kim bilir belki de gerçekten efektif bir A/B testi yapabilirsiniz. Her zamanki gibi yararlandığım yazının linkini paylaşayım.

1- A/B testi default değerlerle yapmak

SHERPA Blog her hafta e-postanızda. Ücretsiz abone olmak için tıklayın.

A/B testi araçlarının ne yazık ki çoğunluğu kısıtlı örneklemelere göre sonuç vermektedir. Ancak yeterli örnekleme olmadan bir alternatifin orjinalinden daha iyi bir performans gösterip göstermediğini konusunda edinilecek bilgiler çoğunlukla yanıltıcı olabilir. Burada ortalama 250-400 arası bir dönüşüm örneklemesinin ortalama testlerde gerekli olduğu genel olarak kabul görmüş bir sayıdır. İki sayının arasındaki fark trafik yoğunluğunuza göre belirleyeceğiniz bir noktada bulunmalıdır.

2- %51 istatistiksel anlam yeterli demek

Böyle bir oranlamayla test yaparsanız başarılı olmanıza imkan yok. Hatta %75 anlamla bile başarılı olmanız bile yeterli değil. A/B testlerinde “Evet bu yeni geliştirme daha iyi performans sağlıyor” diyebilmeniz için %95 civarında bir istatistiksel anlam oranı tavsiye ediliyor. Bunu daha aşağılara çekmek sizin elinizde tabii ama unutmayın ne kadar aşağı çekerseniz test sonucunuzun yanlış olma riskini ve dönüşüm kaybetme riskini o kadar arttırırsınız.

3- Testi tam bir haftada koşmamak

Diyelim ki testi 4 gün koştunuz ve %97 oranında istatistiksel güvene sahip oldunuz, test bitti mi? Hayır. Çoğu durumda siteniz haftanın farklı günlerinde farklı dönüşüm oranlarına sahip olur, farkı performans sergiler. Eğer tam bir hafta test yapmazsanız başarı oranını doğru olarak hesaplamayabilir, alternatifi canlıya alınca neden dönüşüm oranı bu kadar az oldu diyebilirsiniz.

4- Özel günleri/dönemleri göz önünde bulundurmamak

Misal e-ticaret siteniz var ve A/B testi yapıyorusunuz. Baktınız güldür güldür dönüşüm ediniyorsunuz. Oh ne güzel! Ama eğer bu testi yaparken sevgililer günün bir hafta öncesi olduğunu unutursanız, sonradan dönemsel yoğunluk gidip yerini kemik trafiğe bıraktığında sizi üzecek sonuçlarla karşılaşabilirsiniz. Aman diyeyim!

5- Trafik yokken A/B testi yapmak

Sitenize haftada 20 kişi geliyor örneğin ve ayda olsa olsa 3-5 dönüşüm sağlıyorsunuz. Neyi test edeceksiniz? Etseniz dahi %100 veya %50 gibi bir istatistiksel başarı çıkması size ne kazandıracak? Bu tür bir testi yapabilmeniz için öncelikle güvenilebilir ve belirli seviyede sürekliliği sağlanmış veriye ihtiyacınız var. Bir testin sonuçlanması için 3 ay bekliyorsanız zaman ve paranızı boşuna harcamış olursunuz. Veriniz yok mu? o zaman marjinal değişiklikleri yapın ta ki bu noktaya gelene kadar. Zaten şu an için yaptığınız değişikliği gelen lead sayısında hızlıca görebilirsiniz. Kaybedecek bir trafiğiniz veya dönüşüm oranınız yok.

6- Test verilerini web analytics aracına göndermemek

Yazının girişinde bahsettiğimiz Optimizely gibi A/B testi araçlarının test verilerini sonuca ve dönüşme odaklı olarak sunması sizin hızlı test etmenizi ve karara varabilmenizi sağlar. Ancak çoğu zaman daha derinlemesine ve detaylı analizler yapmanız gerekir. Bu nedenle Google Analytics’in sunduğu advanced segmentation gibi özelliklere ihtiyaç duyarsınız. Teste başlarken özellikle Google Analytics kullanıyorsanız, bu entegrasyonun sağlandığına emin olun.

7- Gereksiz testlere zaman harcamak

“Şimdi al butonunun rengi kırmızı mı olsun, mavi mi?” işin özünde dönüşümü sağlayan “doğru renk” diye bir şey yok. Evet renk kullanımı önemli ve o butonun rengi de sizin için bir önem arz edebilir. Fakat bu sadece o butonun renginden dolayı değildir; tüm sayfanın hatta sitenin göresel hiyerarşinin doğru yapılıp yapılmadığına göre oluşan bir önemdir. Yani test “Buton kırmızı mı mavi mi olsun?” değil “Önemli aksiyonlar, sayfada diğerlerinden daha çok dikkat çekiyor mu?” şeklinde olmalıdır.

8- İlk test başarısız olunca vazgeçmek

Bir sayfada ilk testinizi yaptınız ve başarısız oldunuz. “Haydi şimdi başka sayfalarda deneyelim” demeyin. İlk birkaç testin başarısız olması çok doğal. Önemli olan iteratif ilerleyebilmek, yaptığınız testlerden kullanıcı alışkanlıklarıyla ilgili edineceğiniz bilgilerle elinizdeki hipotezleri iyileştirebilmek. Siz hipotezlerinizi geliştirdikçe testlerinizde başarıya bir adım daha yakın olacaksınız.

9- Yanlış pozitifleri görmemek

A/B testi yapmaya başlayan heyecanlı arkadaşlarımız hızlarını alamayarak “Bir de şu versiyonu deneyelim”, “Hah bir de şunu ekleyelim” diyerek testi A/B’den A/B/C/D/E/F olarak yapmaya başladıklarında, fark etmedikleri nokta yanlış pozitif edinme ihtimallerini katlayarak çoğalttıklarıdır. Farklı versiyonların ve/ya aynı versiyon içindeki birden fazla değişikliğin test sonucuna istatistiksel etkisinin yıkıcı olabileceği ve istatistiksel anlamlığın yanlış pozitifle sizi yanıltabileceğini unutmayın. Sakin olun. Bir versiyon, bir değişiklik.

10- Küçük kazanımları görmezden gelmek

“Bu ne ya %5 kazanım neymiş? Bunun için uğraşmaya gerek yok” mentalitesiyle giderseniz majör bir kazanıma varabilmeniz için sayısal loto kazanmanızla aynı oranda bir şans gerekecek. Zira genelde kazanımlar ilk bakışta %1, %2, %3, oranlarından fazlaya gitmezler. Yani stabil bir yapınız var ve belirli bir trafik/dönüşüm oranınız varken bir test yapıp %50 kazanıma ulaşmanız çok çok nadir bir olasılıktır. Ancak küçük kazanımları gözardı etmeyin. Haftada %5 lik bir kazanım yıllık oranda size %80 olarak geri dönecektir. Rakamları yıllık ve oransal artış olarak değerlendirin.

Son Söz

Kullanıcı testleri mi yapmak istiyorsunuz? Bu A/B testi hesaplayıcıları size yardımcı olabilir.

Yukarıdaki maddeler çoğaltılabilir. Ben daha çok en can alıcı ve en genel yapılabilecek örnekleri almaya çalıştım. Burada önemli olan A/B söyleminin basitliğine aldanıp “Ne olacak canım iki alternatifi yan yana koy çalışsın.” düşünce girdabına girmemeye çalışmak. Zira buradaki ve araştırırsanız bulabileceğiniz diğer bir çok önermede olduğu gibi gözardı edeceğiniz önemli noktalar ya size bir şey kazandırmayacak ve bir süre sonra test etmeyi bırakacaksınız, ya da daha da kötüsü yanlış testlerden çıkardığınız yanlış sonuçlarla kendinize yarardan çok zarar getireceksiniz. Şahsi tavsiyem A/B testi için hazırlık yapın ve mutlaka kendinize bir checklist oluşturarak dikkat edilecek noktaları teste başlamadan önce kontrol edin. Evet  araştırdıkça bazı konularda zorlanabilirsiniz. Özellikle istatistik bilimine değinen kısımlarda bazen mavi ekran verebilirsiniz. Ancak kullandığınız araçların yardım dokümantasyonları ve arayüzleri size yardımcı olacaktır. Hala emin değilseniz bizimle iletişime geçin 🙂

Can Taner

Can Taner

Growth Hacking & Digital Analytics Consultant

0