Bu sayfada 7 bölüm
Özet
Her reklam raporu pay dağıtır. Bir platform reklamlarının 300 satın almaya yol açtığını söyler, bir attribution modeli geçen ayın siparişlerinin %75'ini aramaya yazar, bir pano kanalları reklam harcamasının getirisine (ROAS) göre sıralar. Bu sayıların hiçbiri reklamın neye yol açtığını, yani reklamlar yayınlanmasaydı kaç satışın kaybolacağını söylemez. Bu kitap o iki sayı arasındaki mesafe hakkındadır.
Kitap bu mesafeye dair kanıtları tek bir çerçevede toplar: kanıt merdiveni. Her basamak daha zor bir soruya cevap verir. 0. basamak, satışın doğru kaydedilip kaydedilmediğini sorar. 1. basamak, neyin neyle birlikte hareket ettiğini. 2. basamak, bir şeyi değiştirdiğimizde ne olduğunu. 3. basamak, bütün kanıtlar birlikte okunduğunda ne söylediğini. Attribution modelleri, platform raporları ve panolar alt basamaklarda durur. Deneyler 2. basamakta. Medya karması modelleri ve kalibre edilmiş sistemler 3. basamağa ulaşmaya çalışır.
Kanıtlar en büyük reklam platformlarında yapılmış kontrollü deneylerden, binlerce kampanyayı kapsayan meta-analizlerden ve platformların kendi dokümanlarından gelir. Üç bulgu tekrar tekrar çıkar. Reklamın etkisi gerçektir ama satışlardaki gürültüye göre küçüktür. Gözlemsel yöntemler bu etkiyi abartma eğilimindedir, kimi zaman on kat ve daha fazla. Attribution'ın dağıttığı pay da nedensel anlamı olmayan kurallarla işler: kanallar birbirini güçlendirdiğinde, ayrı ayrı nedensel etkilerinin toplamı birlikte ürettikleri satışın %100'ünü geçer. Bu yüzden tek ve doğal bir pay bölüşümü yoktur; nedensel bir bölüşüm ancak etkileşimlerin nasıl paylaştırılacağını belirten varsayımlarla kurulabilir.
Son bölüm özgün bir test ekler. Pazarlamacıların çoğu artık reklam verisini yapay zekâ asistanlarına okuttuğu için, iki dil modeli ailesine altı ölçüm tuzağı verdik. Kanıt görünür olduğunda ikisi de neredeyse her vakada doğru karara vardı. Tipik kaymaları başka yerdeydi: bir test mağazanın yarısını kapsadığında, bazı cevaplar yarım mağazadaki kaybı tüm mağazanın harcamasıyla karşılaştırdı (bir tekrarda 120 cevabın 35'i). Kayma kararı değiştirecek olduğunda 120'de 6'ya düştü ve hiçbir cevap kanalı kapatmadı.
Kitap, her biri bir bölüme ve kaynaklarına bağlı on iki numaralı önermeyle biter.
Bu kitap nasıl okunur?
Kitap üç katmanda okunacak şekilde yazıldı.
- Göz atma katmanı (5 dakika). Sondaki on iki önermeyi okuyun. Her biri tek başına anlaşılır.
- Karar katmanı (30 dakika). Her bölüm kendi sorusuyla, yaklaşık elli kelimelik kısa bir cevapla ve temel bulgular kutusuyla açılır. Yalnız bunları okumak bütün argümanı verir.
- Kanıt katmanı (yaklaşık 80 dakika). Her bölümün gövdesi çalışmaları, tasarımlarını ve rakamlarını gösterir; bölüm, bir sonrakine götüren sınırla kapanır.
Her olgusal iddia bir kanıt etiketi taşır:
| Etiket | Anlamı |
|---|---|
| [Deney] | Rastgele atamalı kontrollü deney ya da saha deneyi |
| [Gözlemsel] | Rastgele atama olmadan veriden tahmin edilmiş |
| [Model] | İstatistiksel ya da simülasyon modelinin çıktısı |
| [Platform] | Bir reklam platformunun kendi ürünü hakkındaki beyanı |
| [Deney ve gözlemsel karşılaştırması] | Aynı kampanyalarda deneyin sonucunu gözlemsel yöntemlerin tahminiyle karşılaştıran çalışma |
| [Analitik] | Veriden değil matematiksel türetmeden çıkan sonuç |
| [Yöntem derlemesi] | Bir yöntemin ne zaman güvenilir olduğunu tartışan derleme |
| [Ders kitabı ilkesi] | Bir alanın ders kitaplarında yerleşik ilke |
| [Sektör anketi] | Pazarlamacılara ya da şirketlere yapılmış anket; ne yapıldığını gösterir, neyin işe yaradığını göstermez |
| [Kıyaslama testi] | Dil modellerinin standart bir görev setinde aldığı puan |
| [Bizim testimiz] | Bu kitap için yaptığımız test (8. bölüm, Ek D) |
| [Bizim okumamız] | Kaynaklardan yaptığımız çıkarım; herhangi bir çalışmanın bulgusu değil |
Kanıt merdiveni
| Basamak | Soru | Tipik yöntemler | Bölümler |
|---|---|---|---|
| 0 · Kayıt | Satış doğru kaydedildi mi? | İzleme, attribution pencereleri, izin, modellenmiş dönüşümler | 2 |
| 1 · İlişki | Ne ile ne birlikte görülüyor? | Attribution modelleri, panolar, önce-sonra karşılaştırmaları | 3, 4 |
| 2 · Müdahale | Bir şeyi değiştirince ne değişiyor? | Holdout, ghost ads, bölgesel deney, sentetik kontrol | 5, 6 |
| 3 · Bütünleştirme | Bütün kanıtlar birlikte ne söylüyor? | Medya karması modelleri, kalibrasyon, üçgenleme | 7 |
| Merdivenin yanında · Okur | Bir yapay zekâ analisti hangi basamağa çıkabilir? | Raporları okuyan dil modelleri | 8 |
Birinci bölüm merdivene neden ihtiyaç olduğunu anlatır: reklamın etkisi iki dünya arasındaki farktır ve bunlardan yalnızca biri gözlemlenebilir.
Merdiven biçimini iki eski fikirden alır: Judea Pearl'ün nedensellik merdiveni (ilişki, müdahale, karşı-olgu) ve tıpta kullanılan kanıt hiyerarşisi. İkisinin de aynısı değildir. 0. basamağın Pearl'ün merdiveninde karşılığı yoktur, çünkü reklam verisi çoğu bilimsel verinin aksine çıkarı olan bir taraf tarafından kaydedilir. Merdiven kanıtın gücünü değil, sorunun kapsamını sıralar: üst basamaktaki bir yöntem daha geniş bir soru sorar, ama cevabı her zaman daha güvenilir değildir.

Bölüm haritası
| # | Soru | Kısa cevap |
|---|---|---|
| 1 | Reklamın etkisi neden bu kadar zor görülür? | Etki, reklamlı ve reklamsız satış arasındaki farktır. Küçüktür, satışlar gürültülüdür ve reklamlar zaten alacak kişilere gider. |
| 2 | Raporlanan bir dönüşüm aslında neyi kaydeder? | Kaydedilen bir dönüşüm eksik olabilir, iki kez sayılmış olabilir ya da modellenmiş olabilir. Reklamı satan platform ona not da verir. |
| 3 | Attribution modeli neyi söyler, neyi söyleyemez? | Attribution payı bir kurala göre böler. Kanallar birbirini güçlendirdiğinde nedensel etkilerinin toplamı %100'ü geçer; bu yüzden tek ve doğal bir bölüşüm yoktur. |
| 4 | Gözlemsel reklam ölçümleri etkiyi neden şişirir? | Hedefleme ve kullanıcı etkinliği reklam görenleri görmeyenlerden farklı kılar. Yüzlerce deneyde gözlemsel yöntemler deneyin cevabını büyük farkla kaçırdı. |
| 5 | Bir reklamın neye yol açtığını nasıl ölçersiniz? | Reklamı kimin görebileceğine rastgele karar verin, sonra karşılaştırın. Holdout, ghost ads ve bölgesel deneyler başlıca tasarımlardır; her birinin bir bedeli ve kör noktası vardır. |
| 6 | Bütçe kararları kanıtı nasıl izlemeli? | Ortalamayı değil marjinal getiriyi izleyin. Doygunluk, gecikmeli etki ve sinerji marjı raporların gösterdiğinden uzaklaştırır. |
| 7 | Attribution, deney ve model birlikte nasıl çalışır? | Attribution günlük yönü, deney gerçeği verir, model bunu kanallara yayar. Kalibrasyon hepsini birbirine bağlar. |
| 8 | Bir yapay zekâ analisti payı etkiden ayırabilir mi? | Testimizde, kanıt görünür olduğunda evet. Tipik kayma nedensel karışıklık değil, aritmetik ölçekti. |
Özgün katkılar
- Kanıt merdiveni. Ölçüm yöntemlerini sordukları soruya göre dört basamağa dizer; kayıt basamağının Pearl'ün merdiveninde karşılığı yoktur. (Bu sayfa)
- %100'ü aşan toplam. Epidemiyolojideki atfedilebilir payların toplamının %100'ü aşabileceği ilkesini (Rothman) attribution'a taşır. (3. bölüm)
- Kendine not veren platform. Reklamı satan platformun o reklamı kendisinin ölçmesini ayrı bir hata türü sayar. (2. bölüm)
- Üçgenleme düzeni. Attribution, deney ve medya karması modelini kalibrasyonla tek bir çalışma düzeninde birleştirir. (7. bölüm)
- Yapay zekâ analisti testi. Dil modellerinin payı etkiden ayırıp ayıramadığını, doğru cevabı bilinen vakalarla sınar. (8. bölüm, Ek D)
- Kanıt etiketleri ve on iki önerme. Her iddia dayandığı kanıtın türünü gösterir; argüman, her biri bir bölüme bağlı on iki önermede toplanır. (Sonuç)
Bu kitap neyi ölçmez?
Bu kitaptaki kanıtların çoğu online reklamdan ve günler ya da haftalar süren deneylerden gelir. Kitap, reklamın bu süre içinde satışa ne eklediğini ölçer. Dört şey bu çerçevenin dışında kalır.
- Uzun vadeli marka etkisi. Reklam aylar ya da yıllar içinde hafıza, tercih ve fiyatlama gücü oluşturabilir. Kısa testler bunu görmez. 1. bölümdeki meta-analizde uzun vadeli esneklik kısa vadelinin yaklaşık iki katıdır; bu yüzden erken biten bir test toplam etkiyi küçük gösterme eğilimindedir.
- Hedeflenen kitlenin ötesine erişim. Kullanıcı düzeyindeki deneyler, platformun zaten seçtiği kitlenin içinde çalışır. Henüz satın almayı düşünmeyen insanlara ulaşmanın değeri büyük ölçüde bu deneylerin görüş alanı dışında kalır.
- Kreatif. Bir deney, bir reklamın bir dönemde ne yaptığını söyler. O reklamın neden işe yaradığını ya da daha iyi bir reklamın ne yapacağını söylemez.
- Test edilmemiş olan. Eksik bir deney, eksik bir kanıttır. Bir kanalın hiçbir şey yapmadığının kanıtı değildir.
[Bizim okumamız] Bir kanalın amacı uzun vadeliyse, duraklatılan bölgeleri test bittikten sonra birkaç hafta daha izleyin ve test sonucunu toplam etkiyi muhtemelen küçük gösteren bir tahmin olarak okuyun.
Çıkar beyanı
Yazar, reklam analitiği yazılımı geliştiren Meerkads'ın kurucu ortaklarındandır; bu yazılımlar arasında yapay zekâ asistanlarının reklam verisini okumasını sağlayan araçlar da vardır. Kitap hiçbir Meerkads ürününü anlatmaz ya da önermez. Kitabın sonundaki Uygulama rehberleri sayfası, bölüm bölüm Meerkads blogundaki uygulama rehberlerine bağlantı verir; bölümlerin kendisinde bu bağlantılar yer almaz. Bazı kaynaklar reklam platformu çalışanlarınca yazılmıştır ya da platform verisi kullanır. Bu durum her kaynağın anıldığı yerde belirtilir, çünkü deneysel reklam verisine erişim pratikte yalnızca bir platformun içinden mümkündür.
İçindekiler
- Önsöz
- 1. BölümReklamın etkisi neden bu kadar zor görülür?
- 2. BölümRaporlanan bir dönüşüm aslında neyi kaydeder?
- 3. BölümAttribution modeli neyi söyler, neyi söyleyemez?
- 4. BölümGözlemsel reklam ölçümleri etkiyi neden şişirir?
- 5. BölümBir reklamın neye yol açtığını nasıl ölçersiniz?
- 6. BölümBütçe kararları kanıtı nasıl izlemeli?
- 7. BölümAttribution, deney ve model birlikte nasıl çalışır?
- 8. BölümBir yapay zekâ analisti payı etkiden ayırabilir mi?
- SonuçOn iki önerme
- Ekler
- Uygulama rehberleri