Kitap

Datanın Ötesi

Reklam Ölçümünde Pay ve Etki

Yazar: · Birinci baskı · Son güncelleme

Okumaya başla
PDF indir

PDF'i e-postayla alın

PDF'i bu adrese göndeririz. Ayrıntılar: gizlilik politikası.

Kitabın tamamı tek sayfadaİçindekiler
Datanın Ötesi kapağı: kanıt merdiveninin dört basamağı
Bu sayfada 7 bölüm
  1. Özet
  2. Bu kitap nasıl okunur?
  3. Kanıt merdiveni
  4. Bölüm haritası
  5. Özgün katkılar
  6. Bu kitap neyi ölçmez?
  7. Çıkar beyanı

Özet

Her reklam raporu pay dağıtır. Bir platform reklamlarının 300 satın almaya yol açtığını söyler, bir attribution modeli geçen ayın siparişlerinin %75'ini aramaya yazar, bir pano kanalları reklam harcamasının getirisine (ROAS) göre sıralar. Bu sayıların hiçbiri reklamın neye yol açtığını, yani reklamlar yayınlanmasaydı kaç satışın kaybolacağını söylemez. Bu kitap o iki sayı arasındaki mesafe hakkındadır.

Kitap bu mesafeye dair kanıtları tek bir çerçevede toplar: kanıt merdiveni. Her basamak daha zor bir soruya cevap verir. 0. basamak, satışın doğru kaydedilip kaydedilmediğini sorar. 1. basamak, neyin neyle birlikte hareket ettiğini. 2. basamak, bir şeyi değiştirdiğimizde ne olduğunu. 3. basamak, bütün kanıtlar birlikte okunduğunda ne söylediğini. Attribution modelleri, platform raporları ve panolar alt basamaklarda durur. Deneyler 2. basamakta. Medya karması modelleri ve kalibre edilmiş sistemler 3. basamağa ulaşmaya çalışır.

Kanıtlar en büyük reklam platformlarında yapılmış kontrollü deneylerden, binlerce kampanyayı kapsayan meta-analizlerden ve platformların kendi dokümanlarından gelir. Üç bulgu tekrar tekrar çıkar. Reklamın etkisi gerçektir ama satışlardaki gürültüye göre küçüktür. Gözlemsel yöntemler bu etkiyi abartma eğilimindedir, kimi zaman on kat ve daha fazla. Attribution'ın dağıttığı pay da nedensel anlamı olmayan kurallarla işler: kanallar birbirini güçlendirdiğinde, ayrı ayrı nedensel etkilerinin toplamı birlikte ürettikleri satışın %100'ünü geçer. Bu yüzden tek ve doğal bir pay bölüşümü yoktur; nedensel bir bölüşüm ancak etkileşimlerin nasıl paylaştırılacağını belirten varsayımlarla kurulabilir.

Son bölüm özgün bir test ekler. Pazarlamacıların çoğu artık reklam verisini yapay zekâ asistanlarına okuttuğu için, iki dil modeli ailesine altı ölçüm tuzağı verdik. Kanıt görünür olduğunda ikisi de neredeyse her vakada doğru karara vardı. Tipik kaymaları başka yerdeydi: bir test mağazanın yarısını kapsadığında, bazı cevaplar yarım mağazadaki kaybı tüm mağazanın harcamasıyla karşılaştırdı (bir tekrarda 120 cevabın 35'i). Kayma kararı değiştirecek olduğunda 120'de 6'ya düştü ve hiçbir cevap kanalı kapatmadı.

Kitap, her biri bir bölüme ve kaynaklarına bağlı on iki numaralı önermeyle biter.

Bu kitap nasıl okunur?

Kitap üç katmanda okunacak şekilde yazıldı.

  1. Göz atma katmanı (5 dakika). Sondaki on iki önermeyi okuyun. Her biri tek başına anlaşılır.
  2. Karar katmanı (30 dakika). Her bölüm kendi sorusuyla, yaklaşık elli kelimelik kısa bir cevapla ve temel bulgular kutusuyla açılır. Yalnız bunları okumak bütün argümanı verir.
  3. Kanıt katmanı (yaklaşık 80 dakika). Her bölümün gövdesi çalışmaları, tasarımlarını ve rakamlarını gösterir; bölüm, bir sonrakine götüren sınırla kapanır.

Her olgusal iddia bir kanıt etiketi taşır:

EtiketAnlamı
[Deney]Rastgele atamalı kontrollü deney ya da saha deneyi
[Gözlemsel]Rastgele atama olmadan veriden tahmin edilmiş
[Model]İstatistiksel ya da simülasyon modelinin çıktısı
[Platform]Bir reklam platformunun kendi ürünü hakkındaki beyanı
[Deney ve gözlemsel karşılaştırması]Aynı kampanyalarda deneyin sonucunu gözlemsel yöntemlerin tahminiyle karşılaştıran çalışma
[Analitik]Veriden değil matematiksel türetmeden çıkan sonuç
[Yöntem derlemesi]Bir yöntemin ne zaman güvenilir olduğunu tartışan derleme
[Ders kitabı ilkesi]Bir alanın ders kitaplarında yerleşik ilke
[Sektör anketi]Pazarlamacılara ya da şirketlere yapılmış anket; ne yapıldığını gösterir, neyin işe yaradığını göstermez
[Kıyaslama testi]Dil modellerinin standart bir görev setinde aldığı puan
[Bizim testimiz]Bu kitap için yaptığımız test (8. bölüm, Ek D)
[Bizim okumamız]Kaynaklardan yaptığımız çıkarım; herhangi bir çalışmanın bulgusu değil

Kanıt merdiveni

BasamakSoruTipik yöntemlerBölümler
0 · KayıtSatış doğru kaydedildi mi?İzleme, attribution pencereleri, izin, modellenmiş dönüşümler2
1 · İlişkiNe ile ne birlikte görülüyor?Attribution modelleri, panolar, önce-sonra karşılaştırmaları3, 4
2 · MüdahaleBir şeyi değiştirince ne değişiyor?Holdout, ghost ads, bölgesel deney, sentetik kontrol5, 6
3 · BütünleştirmeBütün kanıtlar birlikte ne söylüyor?Medya karması modelleri, kalibrasyon, üçgenleme7
Merdivenin yanında · OkurBir yapay zekâ analisti hangi basamağa çıkabilir?Raporları okuyan dil modelleri8

Birinci bölüm merdivene neden ihtiyaç olduğunu anlatır: reklamın etkisi iki dünya arasındaki farktır ve bunlardan yalnızca biri gözlemlenebilir.

Merdiven biçimini iki eski fikirden alır: Judea Pearl'ün nedensellik merdiveni (ilişki, müdahale, karşı-olgu) ve tıpta kullanılan kanıt hiyerarşisi. İkisinin de aynısı değildir. 0. basamağın Pearl'ün merdiveninde karşılığı yoktur, çünkü reklam verisi çoğu bilimsel verinin aksine çıkarı olan bir taraf tarafından kaydedilir. Merdiven kanıtın gücünü değil, sorunun kapsamını sıralar: üst basamaktaki bir yöntem daha geniş bir soru sorar, ama cevabı her zaman daha güvenilir değildir.

Dört basamaklı kanıt merdiveni: kayıt, ilişki, müdahale ve bütünleştirme; yanında ancak kanıtın ulaştığı yere kadar çıkabilen yapay zekâ okuru.
Şekil 0.1. Kitap boyunca kullanılan kanıt merdiveni. Alt basamaklar pay raporlar; 2. ve 3. basamaklar etkiyi tahmin eder.Kaynak: Yazarın çerçevesi; Pearl'ün nedensellik merdiveninden uyarlandı.

Bölüm haritası

#SoruKısa cevap
1Reklamın etkisi neden bu kadar zor görülür?Etki, reklamlı ve reklamsız satış arasındaki farktır. Küçüktür, satışlar gürültülüdür ve reklamlar zaten alacak kişilere gider.
2Raporlanan bir dönüşüm aslında neyi kaydeder?Kaydedilen bir dönüşüm eksik olabilir, iki kez sayılmış olabilir ya da modellenmiş olabilir. Reklamı satan platform ona not da verir.
3Attribution modeli neyi söyler, neyi söyleyemez?Attribution payı bir kurala göre böler. Kanallar birbirini güçlendirdiğinde nedensel etkilerinin toplamı %100'ü geçer; bu yüzden tek ve doğal bir bölüşüm yoktur.
4Gözlemsel reklam ölçümleri etkiyi neden şişirir?Hedefleme ve kullanıcı etkinliği reklam görenleri görmeyenlerden farklı kılar. Yüzlerce deneyde gözlemsel yöntemler deneyin cevabını büyük farkla kaçırdı.
5Bir reklamın neye yol açtığını nasıl ölçersiniz?Reklamı kimin görebileceğine rastgele karar verin, sonra karşılaştırın. Holdout, ghost ads ve bölgesel deneyler başlıca tasarımlardır; her birinin bir bedeli ve kör noktası vardır.
6Bütçe kararları kanıtı nasıl izlemeli?Ortalamayı değil marjinal getiriyi izleyin. Doygunluk, gecikmeli etki ve sinerji marjı raporların gösterdiğinden uzaklaştırır.
7Attribution, deney ve model birlikte nasıl çalışır?Attribution günlük yönü, deney gerçeği verir, model bunu kanallara yayar. Kalibrasyon hepsini birbirine bağlar.
8Bir yapay zekâ analisti payı etkiden ayırabilir mi?Testimizde, kanıt görünür olduğunda evet. Tipik kayma nedensel karışıklık değil, aritmetik ölçekti.

Özgün katkılar

  1. Kanıt merdiveni. Ölçüm yöntemlerini sordukları soruya göre dört basamağa dizer; kayıt basamağının Pearl'ün merdiveninde karşılığı yoktur. (Bu sayfa)
  2. %100'ü aşan toplam. Epidemiyolojideki atfedilebilir payların toplamının %100'ü aşabileceği ilkesini (Rothman) attribution'a taşır. (3. bölüm)
  3. Kendine not veren platform. Reklamı satan platformun o reklamı kendisinin ölçmesini ayrı bir hata türü sayar. (2. bölüm)
  4. Üçgenleme düzeni. Attribution, deney ve medya karması modelini kalibrasyonla tek bir çalışma düzeninde birleştirir. (7. bölüm)
  5. Yapay zekâ analisti testi. Dil modellerinin payı etkiden ayırıp ayıramadığını, doğru cevabı bilinen vakalarla sınar. (8. bölüm, Ek D)
  6. Kanıt etiketleri ve on iki önerme. Her iddia dayandığı kanıtın türünü gösterir; argüman, her biri bir bölüme bağlı on iki önermede toplanır. (Sonuç)

Bu kitap neyi ölçmez?

Bu kitaptaki kanıtların çoğu online reklamdan ve günler ya da haftalar süren deneylerden gelir. Kitap, reklamın bu süre içinde satışa ne eklediğini ölçer. Dört şey bu çerçevenin dışında kalır.

  1. Uzun vadeli marka etkisi. Reklam aylar ya da yıllar içinde hafıza, tercih ve fiyatlama gücü oluşturabilir. Kısa testler bunu görmez. 1. bölümdeki meta-analizde uzun vadeli esneklik kısa vadelinin yaklaşık iki katıdır; bu yüzden erken biten bir test toplam etkiyi küçük gösterme eğilimindedir.
  2. Hedeflenen kitlenin ötesine erişim. Kullanıcı düzeyindeki deneyler, platformun zaten seçtiği kitlenin içinde çalışır. Henüz satın almayı düşünmeyen insanlara ulaşmanın değeri büyük ölçüde bu deneylerin görüş alanı dışında kalır.
  3. Kreatif. Bir deney, bir reklamın bir dönemde ne yaptığını söyler. O reklamın neden işe yaradığını ya da daha iyi bir reklamın ne yapacağını söylemez.
  4. Test edilmemiş olan. Eksik bir deney, eksik bir kanıttır. Bir kanalın hiçbir şey yapmadığının kanıtı değildir.

[Bizim okumamız] Bir kanalın amacı uzun vadeliyse, duraklatılan bölgeleri test bittikten sonra birkaç hafta daha izleyin ve test sonucunu toplam etkiyi muhtemelen küçük gösteren bir tahmin olarak okuyun.

Çıkar beyanı

Yazar, reklam analitiği yazılımı geliştiren Meerkads'ın kurucu ortaklarındandır; bu yazılımlar arasında yapay zekâ asistanlarının reklam verisini okumasını sağlayan araçlar da vardır. Kitap hiçbir Meerkads ürününü anlatmaz ya da önermez. Kitabın sonundaki Uygulama rehberleri sayfası, bölüm bölüm Meerkads blogundaki uygulama rehberlerine bağlantı verir; bölümlerin kendisinde bu bağlantılar yer almaz. Bazı kaynaklar reklam platformu çalışanlarınca yazılmıştır ya da platform verisi kullanır. Bu durum her kaynağın anıldığı yerde belirtilir, çünkü deneysel reklam verisine erişim pratikte yalnızca bir platformun içinden mümkündür.

İçindekiler

  1. Önsöz
  2. 1. BölümReklamın etkisi neden bu kadar zor görülür?
  3. 2. BölümRaporlanan bir dönüşüm aslında neyi kaydeder?
  4. 3. BölümAttribution modeli neyi söyler, neyi söyleyemez?
  5. 4. BölümGözlemsel reklam ölçümleri etkiyi neden şişirir?
  6. 5. BölümBir reklamın neye yol açtığını nasıl ölçersiniz?
  7. 6. BölümBütçe kararları kanıtı nasıl izlemeli?
  8. 7. BölümAttribution, deney ve model birlikte nasıl çalışır?
  9. 8. BölümBir yapay zekâ analisti payı etkiden ayırabilir mi?
  10. SonuçOn iki önerme
  11. Ekler
  12. Uygulama rehberleri