Bu sayfada 7 bölüm
Temel bulgular
- 56 çalışma ve 751 tahminde, reklamdaki %1'lik artış satışları kısa vadede yaklaşık %0,12, uzun vadede %0,24 artırıyor (Sethuraman ve ark., 2011). [Gözlemsel, meta-analiz]
- ABD televizyonunda 288 tüketici markasında etkiler daha da küçük çıktı; markaların %80'inden fazlasında TV reklamına harcanan son dolar zarar ettirdi (Shapiro ve ark., 2021). [Gözlemsel]
- 25 büyük çevrimiçi deneyde, yatırım getirisinin medyan %95 güven aralığı 100 yüzde puanından genişti (Lewis ve Rao, 2015). [Deney]
- Kesin sonuç veren bir deney 10 milyon kişi-haftadan fazla veri gerektirebilir (Lewis ve Rao, 2015). [Deney]
Kısa cevap. Bir reklamın etkisi, gerçekleşen satışlarla reklam olmasaydı gerçekleşecek satışlar arasındaki farktır. İkinci sayı hiçbir zaman gözlemlenmez; tahmin edilmesi gerekir. Bu tahmin üç nedenle zordur: etki küçüktür, tek tek satışlar çok gürültülüdür ve reklamlar zaten satın alması muhtemel kişilere gösterilir.
Bir reklamın "etkisi" tam olarak nedir?
Bir reklamın nedensel etkisi, bir müşterinin reklamı gördükten sonra yaptığı ile aynı müşterinin reklamı görmeseydi yapacağı arasındaki farktır. İstatistikçiler bu iki niceliğe olası sonuçlar (potential outcomes) der (Imbens ve Rubin, 2015). Herhangi bir kişi için bunlardan yalnızca biri gözlemlenir. Reklamı görüp satın alan bir müşteriyi aynı anda reklamı görmezken gözlemleyemeyiz.
Bu kitaptaki her yöntem, eksik sonucu tahmin etmenin bir yoludur. Kimi iyi tahmin eder, kimi kötü, kimi hiç denemez. Bir reklam tıklamasından sonraki satın almaları sayan bir rapor eksik sonuç hakkında hiçbir şey tahmin etmez. Yalnızca bir tıklama ile bir satın almanın art arda gerçekleştiğini kaydeder.
Bu yüzden kitap iki kelimeyi birbirinden ayırır. Pay, bir raporun bir satıştan reklama yazdığı kısımdır. Etki, reklam kaldırılsaydı kaybolacak satış kısmıdır. Pay bir muhasebe tercihidir ve her zaman elde vardır. Etki dünyaya dair bir olgudur ve hiçbir zaman doğrudan görünmez.

Reklamın etkisi ne kadar büyük?
Çoğu panonun düşündürdüğünden küçük. Pazarlama bilimciler reklamın etkisini esneklikle ifade eder: reklamdaki %1'lik değişime karşı satıştaki yüzde değişim.
| Çalışma | Kapsam | Bulgu | Kanıt |
|---|---|---|---|
| Sethuraman, Tellis ve Briesch (2011) | 56 çalışma, 751 kısa ve 402 uzun vadeli esneklik, 1960–2008 | Ortalama esneklik kısa vadede 0,12, uzun vadede 0,24; önceki meta-analizdeki 0,22 ve 0,41'den düşük; zamanla azalıyor | Gözlemsel, meta-analiz |
| Lodish ve ark. (1995) | 389 split-cable TV deneyi | Rakiplere göre bütçeyi artırmak genelde satışı artırmıyor. 89 yerleşik üründe ortalama esneklik 0,05; tahminlerin %33'ü gevşek bir eşikte (tek yönlü %20) anlamlı (Shapiro ve ark.'nın aktarımıyla) | Deney |
| Shapiro, Hitsch ve Tuchman (2021) | 288 tüketici markası, ABD TV | Esneklikler önceki literatürden çok küçük, çoğu anlamsız; markaların %80'inden fazlasında marjinal getiri negatif; toplam getiri yaklaşık üçte birinde pozitif | Gözlemsel |
Buradan iki sonuç çıkar. Birincisi, harcamasını %10 artıran tipik bir reklamveren satışlarında yaklaşık %1'lik, çoğu zaman daha az bir artış beklemelidir. İkincisi, etki ya küçülüyor ya da eski çalışmalarda abartılmış, belki ikisi birden. Shapiro ve arkadaşları yayımlanmış tahminlerin büyük ve anlamlı oldukları için seçildiğini, kendi örneklemlerinin ise böyle seçilmediğini savunuyor.
Bunların hiçbiri reklamın işe yaramadığını söylemez. Shapiro'nun verisi, markaların yaklaşık üçte birinde yürüttükleri reklamın bütün olarak kârlı olduğunu gösteriyor, bir sonraki dolar kârlı olmasa bile. Söylenen şu: etki, büyük bir arka plandan ayrılması gereken küçük bir sinyaldir.

Reklamı gören alıcılarla görmeyenleri neden doğrudan karşılaştıramayız?
Çünkü iki grup, reklam gösterilmeden önce zaten farklıydı. Çevrimiçi reklam bilerek hedeflenir. Platformlar reklamı davranışı satın almayı öngören kişilere gösterir: siteyi yakın zamanda ziyaret edenlere, ürünü arayanlara, geçmiş alıcılara benzeyenlere. Reklam sonra genel kitlenin dört katı oranda "dönüşüm" getiriyorsa, bu farkın çoğu reklamdan önce de vardı.
Lewis ve Rao (2015) bunu gözlemsel yöntemlerin temel zaafı olarak tanımlıyor: hedeflemenin yarattığı seçilim, ölçülmeye çalışılan etkiye göre büyüktür. İkinci bir yanlılık daha incedir. Lewis, Rao ve Reiley (2011), belli bir günde internette çok aktif olan kişilerin hem reklamı görme olasılığının hem de reklamverenin sitesini ziyaret etmek dahil her şeyi yapma olasılığının daha yüksek olduğunu buldu. Yahoo deneylerinden birinde reklamı görenlerin Yahoo ziyaretleri sıçradı, ama aynı sıçrama ilgisiz bir reklam gören plasebo grubunda da vardı. Buna etkinlik yanlılığı (activity bias) adını verdiler. [Deney]
Dördüncü bölüm bu yanlılıkların pratikte ne kadar büyüdüğünü gösteriyor.
Satış verisi neden bu kadar gürültülü?
Çünkü tek bir müşterinin satın alımları, o müşteriye ulaşmanın maliyetine göre çok büyük oynar. Lewis ve Rao (2015), büyük ABD'li perakendeciler ve aracı kurumlarla 2,8 milyon dolarlık çevrimiçi reklamı kapsayan 25 saha deneyi yaptı. Verilerinde bir müşterinin satışlarındaki standart sapma tipik olarak ortalamanın yaklaşık on katıydı. Bu oynaklık karşısında, kişi başına birkaç sente mal olan ve ortalamayı yüzde birin altında bir oranda artıran bir reklam neredeyse görünmezdir. [Deney]
Sonuçlar somuttur:
- Deneylerinde yatırım getirisinin medyan %95 güven aralığı 100 yüzde puanından genişti. Dürüst bir sonuç çoğu zaman "para kaybetmekle ikiye katlamak arasında bir yerde" der.
- Kesin bir deney 10 milyon kişi-haftadan fazla gözlem gerektirebilir; bu, çoğu reklamverenin ulaşamayacağı bir ölçek.
Buna "reklam getirisini ölçmenin elverişsiz ekonomisi" dediler. Ölçümün bu kadar büyük kısmının rastgele atama kullanmayan daha ucuz yöntemlere dayanmasının, dolayısıyla bu kadar büyük kısmının yanlı olmasının ana nedeni budur.

Bu bir reklamveren için ne anlama gelir?
[Bizim okumamız] Yukarıdaki kanıtlardan üç pratik sonuç çıkar.
- Büyük bir raporlanan getirinin yanlış olma olasılığı küçüğünden yüksektir. Tipik esneklikler düşünüldüğünde, on kat getiri raporlayan bir kanalın satışa yol açmaktan çok seçilimi yakalıyor olması daha olasıdır.
- Tek bir haftanın verisi nadiren bir şeyi kesinleştirir. Satış gürültüsü yüzünden bir kanalın raporlanan performansındaki haftadan haftaya dalgalanmalar çoğunlukla gürültü ve mevsimselliktir.
- Eksik sonuç bilinçli olarak tahmin edilmelidir. Raporlama yapısında hiçbir yöntem reklam olmasaydı ne olacağını tahmin etmeye çalışmıyorsa, o yapı etkiyi değil payı raporluyordur.
Bu bölümün sınırı
Bu bölüm gözlemlenen sayıları doğru kabul etti ve neden etkileri göstermediklerini sordu. Daha ileri gitmeden bu varsayımı sınamalıyız. Bir reklam raporundaki sayılar izleme sistemlerince kaydedilir, izinlerle süzülür ve kimi zaman modellerle tahmin edilir. 2. bölüm, raporlanan bir dönüşümün aslında neyi kaydettiğini soruyor.
Kaynaklar
- Imbens, G. W., & Rubin, D. B. (2015). Causal Inference for Statistics, Social, and Biomedical Sciences. Cambridge University Press. doi:10.1017/CBO9781139025751
- Lewis, R. A., & Rao, J. M. (2015). The unfavorable economics of measuring the returns to advertising. Quarterly Journal of Economics, 130(4), 1941–1973. doi:10.1093/qje/qjv023
- Lewis, R. A., Rao, J. M., & Reiley, D. H. (2011). Here, there, and everywhere: Correlated online behaviors can lead to overestimates of the effects of advertising. Proceedings of WWW 2011, 157–166. doi:10.1145/1963405.1963431
- Lodish, L. M., Abraham, M., Kalmenson, S., Livelsberger, J., Lubetkin, B., Richardson, B., & Stevens, M. E. (1995). How T.V. advertising works: A meta-analysis of 389 real world split cable T.V. advertising experiments. Journal of Marketing Research, 32(2), 125–139. doi:10.2307/3152042
- Sethuraman, R., Tellis, G. J., & Briesch, R. A. (2011). How well does advertising work? Generalizations from meta-analysis of brand advertising elasticities. Journal of Marketing Research, 48(3), 457–471. doi:10.1509/jmkr.48.3.457
- Shapiro, B. T., Hitsch, G. J., & Tuchman, A. E. (2021). TV advertising effectiveness and profitability: Generalizable results from 288 brands. Econometrica, 89(4), 1855–1879. doi:10.3982/ECTA17674