Bu sayfada 7 bölüm
Temel bulgular
- 15 büyük Facebook deneyinde gözlemsel yöntemler, çalışmaların yarısında deneysel satın alma artışını üç kat ya da daha fazla farkla kaçırdı; çoğunlukla abartarak (Gordon ve ark., 2019). [Deney ve gözlemsel karşılaştırması]
- 663 Meta deneyinde alt huni kampanyalarının medyan gerçek artışı %5'ti; bir makine öğrenmesi tahmincisi bunu %24, bir eşleştirme tahmincisi %64 buldu (Gordon ve ark., 2023). [Deney ve gözlemsel karşılaştırması]
- eBay'in marka dışı arama reklamlarında standart bir regresyon %4.100'ün üzerinde getiri ima etti; deney −%63 buldu (Blake ve ark., 2015). [Deney ve gözlemsel karşılaştırması]
- Platform A/B testleri, algoritmanın seçtiği farklı kitlelere gösterilen reklamları karşılaştırır; bu, bir sonucun işaretini tersine çevirebilir (Braun ve Schwartz, 2025). [Analitik]
Kısa cevap. Çünkü reklamı görenler görmeyenlerden, satın almayı da öngören yönlerden farklıdır. Platformlar olası alıcıları hedefler, aktif kullanıcılar her şeyden daha fazla görür ve algoritmalar farklı reklamları farklı kitlelere ulaştırır. İstatistiksel kontroller bu farkları azaltır ama ortadan kaldırmaz. Aynı kampanyalar iki yolla ölçüldüğünde gözlemsel yöntemler deneysel etkiyi genellikle, çoğu zaman birkaç kat, abarttı.
Gözlemsel ölçüm nedir?
Gözlemsel ölçüm, bir reklamın etkisini kimsenin onu kimin göreceğini kontrol etmediği veriden tahmin eder. Reklamı görenleri ve görmeyenleri, ya da daha çok ve daha az reklamlı dönemleri karşılaştırır ve aralarındaki gözlemlenen farklar için düzeltme yapar. Attribution modelleri, panolar, önce-sonra karşılaştırmaları, regresyonlar ve medya karması modellerinin çoğu gözlemseldir.
Soru, gözlemsel yöntemlerin yararlı olup olmadığı değil. Çoğu zaman tek seçenek onlardır. Soru, ne kadar yanıldıkları ve hangi yönde yanıldıklarıdır. Reklam bunu cevaplamak için olağandışı bir fırsat sunar: platformlar binlerce rastgele atamalı deney yürüttü ve bunların gerçek cevapları, gözlemsel yöntemlerin aynı veriden tahmin edeceği sonuçlarla karşılaştırılabilir.
Gözlemsel tahminler ile deneyler arasındaki fark ne kadar?
Kararları değiştirecek kadar.
Gordon, Zettelmeyer, Bhargava ve Chapsky (2019), Facebook'ta yapılmış 15 ABD reklam deneyini kullandı; 500 milyon kullanıcı-deney gözlemi ve 1,6 milyar gösterim. Her deney için iyi donanımlı bir analistin kullanacağı gözlemsel yöntemleri uyguladılar: reklamı görenle görmeyenin basit karşılaştırmasından zengin kullanıcı verisiyle eşleştirme ve regresyona kadar. Sonucu deneyle karşılaştırdılar. Çalışmaların yarısında denedikleri her gözlemsel yöntem deneysel satın alma artışını üç kat ya da daha fazla farkla kaçırdı. Hatalar çoğunlukla abartma, kimi zaman olduğundan küçük gösterme yönündeydi ve hiçbir yöntem diğerlerinden güvenilir biçimde daha iyi değildi. Bir çalışmada reklamı gören ve görmeyen kullanıcıların saf karşılaştırması %217'lik bir artış ima etti. [Yazarlar Facebook'tan ödeme almadıklarını beyan ediyor]
Gordon, Moakler ve Zettelmeyer (2023) aynı çalışmayı 663 deneyle büyük ölçekte tekrarladı.
| Sonucun huni aşaması | Deneysel medyan artış | Çift makine öğrenmesi | Tabakalı eğilim skoru eşleştirmesi |
|---|---|---|---|
| Üst huni | %29 | %83 | %173 |
| Orta huni | %18 | %58 | %176 |
| Alt huni (ör. satın alma) | %5 | %24 | %64 |
Yazarlar, zengin kullanıcı düzeyinde veri ve modern makine öğrenmesi yöntemleriyle bile bir kampanyanın nedensel etkisinin gözlemsel veriden güvenilir biçimde tahmin edilemediği sonucuna varıyor. [Deney ve gözlemsel karşılaştırması; yazarlar arasında bir Meta çalışanı ve yarı zamanlı Meta araştırmacıları var]
Blake, Nosko ve Tadelis (2015) arama için aynı sonuca vardı. eBay'in marka dışı anahtar kelime reklamlarında, satışların arama harcamasına standart regresyonu %4.100'ün üzerinde bir getiri ima etti; kontrollerle bile %1.400'ün üzerindeydi. Saha deneyi getiriyi −%63 olarak tahmin etti (%95 aralık −%124 ile −%3). Reklam harcamasının çoğu, satın almaları reklamlara bağlı olmayan sık eBay kullanıcılarına gidiyordu.


Abartma nereden geliyor?
Dört mekanizma çoğunu açıklıyor.
| Mekanizma | Ne oluyor | Kanıt |
|---|---|---|
| Hedefleme seçilimi | Platformlar reklamı zaten satın alması muhtemel kişilere gösterir; reklamı görenler reklam olmasa da daha çok alırdı | Lewis ve Rao (2015); Blake ve ark. (2015) |
| Etkinlik yanlılığı | Belli bir gün internette çok aktif olanlar daha çok reklam görür ve reklamvereni ziyaret etmek dahil her şeyi daha çok yapar | Lewis, Rao ve Reiley (2011) |
| Ayrışan teslimat (divergent delivery) | Platform A/B testlerinde algoritma her reklam versiyonunu farklı bir kullanıcı kümesine ulaştırır; karşılaştırma reklam içeriğini kitleyle karıştırır | Braun ve Schwartz (2025) |
| Ölçüm baskısı | Bir sayı hedef olunca sistem o sayıyı oynatmak için uyum sağlar; atfedilen dönüşüme göre optimize eden algoritmalar dahil | Campbell (1979); Berman (2018) |
İlk iki yanlılık tahminleri yukarı iter. Ayrışan teslimat iki yöne de itebilir; hangi reklam versiyonunun daha iyi göründüğünü tersine çevirmek dahil. Braun ve Schwartz ayrıca platformların reklamın etkisini kitlenin etkisinden ayırmak için pek bir teşviki olmadığını not ediyor, çünkü optimizasyonları ikisini birleştirmek için tasarlanmıştır.
Sosyal politika için formüle edilen Campbell yasası şunu söyler: nicel bir gösterge kararlarda ne kadar çok kullanılırsa onu çarpıtan baskılara o kadar açık olur. Reklam bu baskıyı otomatikleştirdi: teklif algoritmaları atfedilen bir dönüşüm üretmesi en muhtemel kişileri bulmak üzere eğitilir; bu, ikna edilmesi en muhtemel kişilerle aynı şey değildir.
Sayı neden hareket etti?
Pratikte ölçüm sorularının çoğu bir etkinin büyüklüğüyle değil bir değişimle ilgilidir: geçen hafta ciro %20 düştü ya da bir kanalın ROAS'ı yarıya indi. Reklamın bu değişime yol açıp açmadığını sormadan önce değişimin yerini bulmak işe yarar. Bir toplamdaki her değişim üç parçaya ayrılabilir.
| Bileşen | Soru | Örnek |
|---|---|---|
| Hacim | Daha çok ya da daha az kişi mi geldi? | Bir tatilden sonra trafik %15 düştü |
| Karma | Bileşim mi değişti? | Daha az dönüşen yeni müşterilerin payı arttı |
| Oran | Her grubun içindeki davranış mı değişti? | Geri dönen müşteriler daha seyrek dönüştü |
Örnek çerçeve.
Karma etkileri klasik tuzaktır. Bir kampanya çok sayıda yeni ziyaretçi çekerse, her grubun dönüşüm oranı artmış olsa bile genel dönüşüm oranı düşebilir. İstatistikçiler bu örüntüye Simpson paradoksu der (Simpson, 1951): her alt grupta geçerli olan bir ilişki, gruplar birleştirildiğinde tersine döner.
Bir ayrıştırma değişimin nerede olduğunu söyler. Nedenini söylemez. Geri dönen müşterilerde yoğunlaşan bir düşüşe bir reklam değişikliği, bir fiyat değişikliği, bir rakip ya da bir site sorunu yol açmış olabilir. Değişimin yerini bulmak merdivenin 1. basamağıdır. Açıklamak 2. basamağı gerektirir.
Yararlı bir köprü var. Bir değişim planlandıysa, örneğin bir kampanya bazı pazarlarda başlatıldıysa, zaman serisi yöntemleri müdahale görmemiş pazarlardan müdahale görmüş pazarın sentetik bir versiyonunu kurarak, müdahale olmasaydı ne olacağını tahmin edebilir. Brodersen ve arkadaşları (2015) bunun için Bayesçi yapısal zaman serisi yöntemini geliştirdi ve CausalImpact paketi olarak yayımladı. Hâlâ gözlemseldir, ama eksik sonucu açıkça tahmin eder; 5. bölümün gerektireceği de budur.

Daha iyi veri ya da daha iyi modeller sorunu çözer mi?
[Bizim okumamız] Kanıtın cevabı: güvenilir biçimde çözmez. 663 deneylik çalışma çoğu reklamverenin sahip olduğundan çok daha zengin veri kullandı ve en iyi gözlemsel yöntem bile alt huni etkilerini yaklaşık beş kat abarttı. Daha fazla veri gürültüyü azaltır. Seçilimi kaldırmaz, çünkü seçilimi veriyi üreten aynı hedefleme yaratır.
Bu, gözlemsel veriyi değersiz kılmaz. Onu farklı türde bir kanıt yapar: betimlemek, sıralamak ve değişimi fark etmek için iyi; nedensel etkileri boyutlandırmak için zayıf; ve yeniden hedefleme ve marka araması gibi hedeflemenin en güçlü olduğu yerlerde en az güvenilir.
Bu bölümün sınırı
Gözlemsel yöntemler bir değişimin yerini bulabilir ve bir ilişkiyi betimleyebilir. Bir reklamın neye yol açtığını bilmek için birinin reklamı kimin göreceğine rastgele karar vermesi ve karşılaştırması gerekir. 5. bölüm bunun nasıl yapıldığını anlatıyor.
Kaynaklar
- Berman, R. (2018). Beyond the last touch: Attribution in online advertising. Marketing Science, 37(5), 771–792. doi:10.1287/mksc.2018.1104
- Blake, T., Nosko, C., & Tadelis, S. (2015). Consumer heterogeneity and paid search effectiveness: A large-scale field experiment. Econometrica, 83(1), 155–174. doi:10.3982/ECTA12423
- Braun, M., & Schwartz, E. M. (2025). Where A/B testing goes wrong: How divergent delivery affects what online experiments cannot (and can) tell you about how customers respond to advertising. Journal of Marketing, 89(2), 71–95. doi:10.1177/00222429241275886
- Brodersen, K. H., Gallusser, F., Koehler, J., Remy, N., & Scott, S. L. (2015). Inferring causal impact using Bayesian structural time-series models. Annals of Applied Statistics, 9(1), 247–274. doi:10.1214/14-AOAS788
- Campbell, D. T. (1979). Assessing the impact of planned social change. Evaluation and Program Planning, 2(1), 67–90. Reprinted (2011), Journal of MultiDisciplinary Evaluation, 7(15). doi:10.56645/jmde.v7i15.297
- Gordon, B. R., Zettelmeyer, F., Bhargava, N., & Chapsky, D. (2019). A comparison of approaches to advertising measurement: Evidence from big field experiments at Facebook. Marketing Science, 38(2), 193–225. doi:10.1287/mksc.2018.1135
- Gordon, B. R., Moakler, R., & Zettelmeyer, F. (2023). Close enough? A large-scale exploration of non-experimental approaches to advertising measurement. Marketing Science, 42(4), 768–793. doi:10.1287/mksc.2022.1413
- Lewis, R. A., & Rao, J. M. (2015). The unfavorable economics of measuring the returns to advertising. Quarterly Journal of Economics, 130(4), 1941–1973. doi:10.1093/qje/qjv023
- Lewis, R. A., Rao, J. M., & Reiley, D. H. (2011). Here, there, and everywhere: Correlated online behaviors can lead to overestimates of the effects of advertising. Proceedings of WWW 2011, 157–166. doi:10.1145/1963405.1963431
- Simpson, E. H. (1951). The interpretation of interaction in contingency tables. Journal of the Royal Statistical Society, Series B, 13(2), 238–241.