5. Bölüm

Bir reklamın neye yol açtığını nasıl ölçersiniz?

Yazar: · 10 dk okuma · Son güncelleme

Bu sayfada 8 bölüm
  1. Artımsallık testi nedir?
  2. Hangi deney tasarımları var?
  3. Ghost ads neden önemli?
  4. Bölgesel deney ne zaman kullanılmalı?
  5. Bir deneyi güvenilir kılan nedir?
  6. Bir deney neyi söyleyemez?
  7. Bu bölümün sınırı
  8. Kaynaklar

Temel bulgular

  • Ghost ads, artışı klasik holdout testleri kadar hassas ölçüyor ve maliyeti en az on kat düşük (Johnson, Lewis ve Nubbemeyer, 2017). [Deney]
  • Bir çevrimiçi perakendecinin görüntülü yeniden hedefleme reklamlarının ghost-ad testinde reklamlar site ziyaretlerini %17,2, satın almaları %10,5 artırdı (Johnson ve ark., 2017). [Deney]
  • Kesin sonuç veren bir çevrimiçi reklam deneyi 10 milyon kişi-haftadan fazla veri gerektirebilir (Lewis ve Rao, 2015). [Deney]
  • Sentetik kontroller yalnızca belli koşullarda güvenilirdir; bunlar arasında iyi bir ön dönem uyumu ve yeterli sayıda karşılaştırma birimi var (Abadie, 2021). [Yöntem derlemesi]

Kısa cevap. Reklamı kimin görebileceğine rastgele karar verin, sonra gruplar arasındaki sonuçları karşılaştırın. Reklamı görmeye yalnızca şans karar verdiği için gruplar reklam dışında her şeyde benzerdir ve aradaki fark reklamın nedensel etkisini tahmin eder. Kullanıcı düzeyinde holdout, ghost ads ve bölgesel deneyler başlıca tasarımlardır. Her birinin bir maliyeti, bir asgari büyüklüğü ve bir kör noktası vardır.

Artımsallık testi nedir?

Artımsallık testi, reklamı kitlenin bir kısmından ya da bazı bölgelerden rastgele esirgeyen ve gruplar arasındaki sonuç farkını ölçen bir deneydir. Bu fark artımsal etkidir: reklamlar sayesinde gerçekleşen satışlar. Artımsal ciroyu harcamaya bölmek artımsal reklam harcaması getirisini (iROAS) verir; bir bütçe kararının gerçekten ihtiyaç duyduğu sayı budur.

Mantık 1. bölümde anlatılanla aynıdır. Bir reklamın etkisi, reklamlı ve reklamsız iki dünya arasındaki farktır. Rastgele atama iki dünyayı aynı anda, yalnızca şans ve reklamla farklılaşan iki grupta yaratır.

Diyagram: kitle rastgele ikiye bölünür; test grubu reklamı görebilir, kontrol grubu göremez; sonuçlar arasındaki fark reklamın etkisidir.
Şekil 5.1. Maruziyete yalnızca şans karar verdiği için gruplar reklam dışında her bakımdan benzerdir. Artımsal ciro bölü harcama iROAS'ı verir.Kaynak: Şematik.

Hangi deney tasarımları var?

TasarımRastgele atanan birimKontrol grubu nasıl oluşurAna gücüAna kör noktası
Niyet-tedavi (intent-to-treat) holdoutKullanıcıHedef kitlenin rastgele bir payı reklama hiç uygun olmazBasit ve yansızİki gruptakilerin çoğu reklamı zaten hiç görmeyecekti; sinyal seyrelir
PSA (plasebo) reklamlarıKullanıcıKontrol kullanıcıları ilgisiz bir reklam görür, örneğin bir bağış mesajıKimin reklamı göreceğini belirlerReklamveren plasebo gösterimleri için ödeme yapar; teslimat algoritmaları iki reklama farklı davranabilir
Ghost adsKullanıcıPlatform, reklamı görecek olan kontrol kullanıcılarını hiçbir şey göstermeden kaydederHassas ve ucuzPlatformun işbirliğini gerektirir; reklamveren uygulamayı denetleyemez
Bölgesel deneyBölgeRastgele seçilen bölgelerde reklam kapatılır ya da değiştirilirTüm kanallar ve çevrimdışı dahil toplam mağaza satışını ölçerÇok sayıda benzer bölge gerekir; bölgeler gürültülüdür
Sentetik kontrolBölge (çoğunlukla az)Müdahale görmemiş bölgelerin ağırlıklı bir birleşimi müdahale görmüş bölgeyi taklit ederYalnızca bir ya da birkaç bölgeye müdahale edilebildiğinde çalışırRastgele değildir; yalnızca ön dönem uyumu iyiyse geçerlidir
Bütçe düzeyi testiZaman ya da bölgeBütçeler rastgele farklı düzeylere ayarlanırYalnızca açık/kapalıyı değil marjinal getiriyi ölçerBirkaç dönem gerekir; etkiler dönemler arasında taşabilir

Ghost ads neden önemli?

Çünkü 1. bölümde anlatılan ekonomi sorununu çözer. Sıradan bir holdout'ta kontrol grubu hedef kitledeki herkesi, hiçbir zaman ulaşılmayacak olan çok sayıda kişi dahil, kapsar. Bu kişilerin satın almaları bilgi eklemeden gürültü ekler.

Johnson, Lewis ve Nubbemeyer (2017), her kontrol kullanıcısı için reklam sisteminin reklamı göstereceği anı kaydetmeyi, sonra yalnızca bu "görecek olan" kullanıcıları gerçekten reklam görenlerle karşılaştırmayı önerdi. Uygulamaları günde 100 milyondan fazla öngörülen hayalet reklamı kaydetti. Niyet-tedavi ve PSA tasarımlarıyla karşılaştırıldığında artışı aynı hassasiyetle, en az on kat daha düşük maliyetle ölçtü. Görüntülü yeniden hedeflemeye uygulamalarında reklamlar site ziyaretlerini %17,2, satın almaları %10,5 artırdı. [Deney]

Buradan iki ders çıkar. Birincisi, yeniden hedefleme işe yarayabilir: bu, deneyle ölçülmüş pozitif bir etkidir. İkincisi, etki, reklamı gören ve görmeyen kullanıcıların saf karşılaştırmalarının ürettiği farklardan çok daha küçüktür; örneğin 4. bölümdeki Facebook çalışmasındaki %217'lik artıştan. Aradaki fark, orada anlatılan seçilimdir.

Bölgesel deney ne zaman kullanılmalı?

İzlenen dönüşümleri değil toplam satışı ölçmek istediğinizde ya da platform kullanıcı düzeyinde test yapamadığında. Bölgesel deney bazı bölgelerde reklamı değiştirir ve oradaki toplam satışları dokunulmamış bölgelerle karşılaştırır. Her kaynaktan gelen mağaza satışını ölçtüğü için izlemenin kaçırdığı etkileri yakalar: bir video görüp sonra arama yapan, çevrimdışı alan ya da başka bir cihaz kullanan alıcılar.

Çözülmüş bir örnek, bölgesel testlerin hem gücünü hem tuzağını gösteriyor.

Bir mağaza 8 teslimat bölgesinin yazı-turayla seçilen 4'ünde Instagram'ı 14 gün durduruyor. Durdurmadan önceki 14 günde iki grup da günde ortalama 50 sipariş alıyordu. Durdurma sırasında durdurulan bölgeler ortalama 46, aktif bölgeler 51 sipariş aldı.

  • Durdurulan bölgelerdeki değişim: 46 − 50 = −4
  • Aktif bölgelerdeki değişim: 51 − 50 = +1
  • Durdurulan yarıdaki tahmini etki: −4 − (+1) = günde −5 sipariş
  • Tüm mağaza için etki (8 bölge): yaklaşık günde −10 sipariş

Sipariş başına 20 € kârla merkezi tahmin Instagram'ın değerini günde yaklaşık 200 € gösteriyor; günlük harcama 400 €. Son tıklama raporları ona günde 5 sipariş yazıyor, testin tahmininin yarısı.

Açıklayıcı örnek. Mağaza siparişlerinin yaklaşık %10'u kadar bir etki, yayımlanmış deneylerdeki satın alma artışlarına yakındır: 663 deneyde alt huni sonuçları için medyan %5 (4. bölüm), yeniden hedeflemede %10,5 (yukarıda). 8. bölümdeki testin 3. vakası aynı tasarımı çok daha büyük bir etkiyle kullanıyor.

İki adımda hata yapmak kolaydır. Aktif bölgeler de +1 hareket etti; bu yüzden etki, yalnızca durdurulan bölgelerdeki değişim değil, iki değişimin farkıdır. Ve test mağazanın yarısını kapsadı; bu yüzden sonuç tüm mağazanın harcamasıyla karşılaştırılmadan önce tüm mağazaya ölçeklenmelidir. 8. bölüm, yapay zekâ analistlerinin cevaplarının çoğunda ikinci adımı atladığını gösteriyor.

Tahminin bir aralığa da ihtiyacı var. Siparişler birbirinden bağımsız geliyorsa, ortalaması 50 olan günlük sayı yaklaşık √50 ≈ 7 sipariş oynar; bu yüzden böyle iki grup arasındaki günlük fark yaklaşık √(50 + 50) = 10 oynar. Etki, durdurmadan önceki 14 günün ortalama farkını durdurmanın 14 gününün ortalama farkıyla karşılaştırır:

  • Her 14 günlük ortalama farkın standart hatası: 10 ÷ √14 ≈ 2,7
  • Etkinin standart hatası: √2 × 2,7 ≈ 3,8
  • Durdurulan yarıda %95 aralık: −5 ± 1,96 × 3,8 → günde −12,4 ile +2,4 sipariş
  • Tüm mağaza: günde −24,8 ile +4,8 sipariş; yani Instagram'ın değeri günde yaklaşık −96 € ile 496 € arasında

Aralık sıfır etkiden 400 €'luk harcamanın biraz üstüne uzanıyor. On dört gün son tıklamanın Instagram'ı eksik saydığını gösteriyor, ama Instagram'ın kendini amorti edip etmediğini gösteremiyor. Durdurmadan önce 6 hafta ve durdurma sırasında 6 hafta olsaydı, merkezi tahmin aynı kaldığında tüm mağaza aralığı günde yaklaşık 30–370 €'ya daralırdı; iki ucu da harcamanın altında. Bu aralık bile iyimser: günlerin bağımsız olduğunu ve tek gürültünün siparişlerin rastgele gelişi olduğunu varsayıyor; oysa gerçek bölgeler hava, teslimat ve yerel olaylar bakımından da farklılaşır. Test bittikten sonra gelen etkiler kaçırılır (6. bölüm). Formüller Ek F'de.

Meta'nın açık kaynak GeoLift paketi bu tasarım için yapıldı; Brodersen ve arkadaşlarının CausalImpact paketi de zaman serisi versiyonlarını destekliyor.

Çizgi grafik: 14 günlük Instagram durdurmasında durdurulan bölgeler günde 50'den 46 siparişe düştü, aktif bölgeler 51'e çıktı; mağazanın yarısında etki günde −5.
Şekil 5.2. Etki iki değişimin farkıdır: (46 − 50) − (51 − 50) = 8 bölgenin 4'ünde günde −5 sipariş. %95 aralık bağımsız günler ve yalnızca siparişlerin rastgele gelişini varsayar.Kaynak: Açıklayıcı örnek.
Çubuk grafik: son tıklama Instagram'a günde 5 sipariş yazıyor; tüm mağazaya ölçeklenen bölgesel deney yaklaşık 10 tahmin ediyor, %95 aralık −4,8 ile 24,8.
Şekil 5.3. Sipariş başına 20 € kârla merkezi tahmin günde yaklaşık 200 €, günlük harcama 400 €. Ölçekleme adımı atlanırsa cevap yarıya iner.Kaynak: Açıklayıcı örnek.

Bir deneyi güvenilir kılan nedir?

Rastgele atama seçilim yanlılığını kaldırır ama her hatayı kaldırmaz. Çevrimiçi deneyler literatürü (Kohavi, Tang ve Xu, 2020) kısa bir kontrol listesi öneriyor; liste reklam testlerine doğrudan uygulanır.

  1. Metriğe ve süreye başlamadan önce karar verin. Sonuç iyi göründüğünde durmak yanlış pozitifleri şişirir.
  2. Bölünmeyi kontrol edin. Gruplar tasarımın öngördüğü büyüklükte değilse atamada bir şey bozuktur ve sonuca güvenilmemelidir.
  3. Toplam sonuçları ölçün. 2. bölümdeki sorunları miras alan platform atfı dönüşümleri değil, mağaza cirosunu ya da siparişleri kullanın.
  4. Gecikmeye pay bırakın. Bazı etkiler temastan haftalar sonra gelir. Çok erken biten bir test onları olduğundan küçük gösterir.
  5. Kimin rastgele atadığını bilin. Bir platformun artış (lift) testi bir deneydir, ama reklam gören grubu platformun teslimat algoritması seçer; bu yüzden iki reklam arasındaki karşılaştırmalar ayrışan teslimat sorununa tabidir (Braun ve Schwartz, 2025).
  6. Yalnızca tahmini değil aralığı raporlayın. 1. bölümdeki gürültü düzeylerinde dürüst bir sonuç çoğu zaman hem bir kaybı hem büyük bir kazancı kapsar.

Bir deney neyi söyleyemez?

[Bizim okumamız] Bir deney tek bir soruyu iyi cevaplar: bu kampanya, bu dönemde, bu kitle için neye yol açtı. Üç başka soruyu cevaplamaz.

  • Başka bütçeler. Bir kanalı kapatmak, kanalın mevcut harcamadaki değerini söyler. Bir sonraki 1.000 €'nun ne getireceğini söylemez.
  • Başka zamanlar. Etkiler mevsimle, kreatifle ve rekabetle değişir. Geçen bahardan bir deney, geçen bahar hakkında kanıttır.
  • Başka kanallar. Kanalları tek tek test etmek aralarındaki etkileşimleri kaçırır; 3. bölüm bunların büyük olabileceğini gösterdi.

Varian (2016), iş kararlarının tam olarak bu karşı-olgusal akıl yürütmeyi gerektirdiğini ve mümkün olduğunda deneylerin ona giden en doğrudan yol olduğunu genel olarak savunuyor. Pratik sorun şu: bir işletme her kanal için, her bütçe düzeyinde, her ay deney yapamaz.

Bu bölümün sınırı

Deneyler yereldir ve pahalıdır. Bir bütçe kararı tek bir kanal için açık/kapalı cevabından fazlasını gerektirir: harcama arttıkça getirinin nasıl değiştiğini, etkilerin ne kadar sürede geldiğini ve kanalların nasıl etkileştiğini bilmek gerekir. 6. bölüm bütçenin kanıtı nasıl izlemesi gerektiğini soruyor.

Kaynaklar

  • Abadie, A. (2021). Using synthetic controls: Feasibility, data requirements, and methodological aspects. Journal of Economic Literature, 59(2), 391–425. doi:10.1257/jel.20191450
  • Braun, M., & Schwartz, E. M. (2025). Where A/B testing goes wrong. Journal of Marketing, 89(2), 71–95. doi:10.1177/00222429241275886
  • Brodersen, K. H., Gallusser, F., Koehler, J., Remy, N., & Scott, S. L. (2015). Inferring causal impact using Bayesian structural time-series models. Annals of Applied Statistics, 9(1), 247–274. doi:10.1214/14-AOAS788
  • Johnson, G. A., Lewis, R. A., & Nubbemeyer, E. I. (2017). Ghost ads: Improving the economics of measuring online ad effectiveness. Journal of Marketing Research, 54(6), 867–884. doi:10.1509/jmr.15.0297
  • Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press. doi:10.1017/9781108653985
  • Lewis, R. A., & Rao, J. M. (2015). The unfavorable economics of measuring the returns to advertising. Quarterly Journal of Economics, 130(4), 1941–1973. doi:10.1093/qje/qjv023
  • Meta. GeoLift: open-source geo experimentation. https://github.com/facebookincubator/GeoLift
  • Varian, H. R. (2016). Causal inference in economics and marketing. Proceedings of the National Academy of Sciences, 113(27), 7310–7315. doi:10.1073/pnas.1510479113