Bu sayfada 9 bölüm
Temel bulgular
- Bir reklam platformundaki gerçek taleplerden kurulmuş bir kıyaslama testinde en iyi model, raporlanan doğru cevabı zamanın %76,9'unda, en zor düzeyde %61,4'ünde üretti (AD-Bench, 2026). [Kıyaslama testi]
- Saf korelasyondan nedenselliğe akıl yürütmede 17 dil modelinin çoğu şans düzeyine yakın performans gösterdi (Jin ve ark., 2023). [Kıyaslama testi]
- Altı vakalı testimizde modeller ipucusuz 48 denemenin 47,5'inde doğru kararı seçti. [Bizim testimiz, 48 deneme]
- Bir bölgesel test vakasına verilen ipucusuz 8 cevabın 5'inde model, yarım mağazadaki kaybı tüm mağazanın harcamasıyla karşılaştırdı. [Bizim testimiz]
- Claude Haiku 5.5 ile 120 çalıştırmalık ve iki bağımsız puanlayıcılı bir tekrarda model 720 kararın 703'ünde doğru karara vardı; hataların hepsi 1. vakadaydı. [Bizim tekrarımız, 120 deneme]
Kısa cevap. Testimizde, kanıt önündeyken çoğunlukla evet. Doğru cevapları bilinen altı reklam vakası verildiğinde iki dil modeli ailesi, ipucusuz 48 denemenin 47,5'inde doğru karara vardı ve payı etkiyle karıştıran önerilere istenmeden itiraz etti. Tipik hataları aritmetik ölçekti: ilk sekiz cevabın beşinde, mağazanın yarısını kapsayan bir test tüm mağazanın harcamasıyla karşılaştırıldı; 120 cevaplık bir tekrarda aynı kayma 35 cevapta görüldü. İlk çalıştırmalarda bazı cevaplar aralığa dayalı kanıtı "ispat" (proof) olarak da niteledi; tekrarda hiçbiri nitelemedi.
Bu soru neden şimdi önemli?
Çünkü yapay zekâ asistanları reklam verisinin okuru oldu. Pazarlamacılar panoları sohbet asistanlarına yapıştırıyor, analitik ürünleri de asistanları doğrudan reklam hesaplarına bağlıyor. Asistana bu kitabın konusu olan soru soruluyor: reklam neye yol açtı ve ne yapmalıyız?
Bir asistan iki şekilde başarısız olabilir. Raporun yazdığı payı etki gibi tekrarlayabilir; bu, 2–4. bölümlerin hatalarını otomatikleştirir. Ya da her sayıya güvenmeyebilir; bu da deneyler gibi iyi kanıtları çöpe atar. Yararlı bir analist bu kitabın anlattığını yapmalıdır: her kanıtı merdivenin doğru basamağına yerleştirmek ve buna göre karar vermek.
Mevcut araştırma ne diyor?
| Çalışma | Neyi ölçüyor | İlgisi |
|---|---|---|
| AD-Bench (2026) | Bir reklam platformunda gerçek analitik talepleri cevaplayan dil modeli ajanları | En iyi model %76,9 Pass@1, en zor düzeyde %61,4. Doğru, raporlanan sayı demek; nedensel olarak geçerli bir sonuç değil |
| Jin ve ark. (2023), CORR2CAUSE | Korelasyon ifadeleri kümelerinden nedensel ilişki çıkarmak; 200.000+ örnek, 17 model | Modellerin çoğu şansa yakın; ince ayar, değiştirilmiş sorulara genellenmedi |
| Kıcıman ve ark. (2023) | GPT-3.5 ve GPT-4 ile nedensel akıl yürütme görevleri | İkili nedensel keşifte %97, karşı-olgusal akıl yürütmede %92, olay nedenselliğinde %86; öngörülemeyen hatalarla. Modeller veriden değil metinden akıl yürütüyor |
İki nedensellik çalışması zıt yönleri gösteriyor ve aradaki fark öğretici. Dil modelleri nedensel bilgi öğrendikleri kelimelerle ifade edildiğinde iyi, nedenselliği korelasyonlardan biçimsel olarak çıkarmaları gerektiğinde kötü performans gösteriyor. Reklam analizi ikisine de ihtiyaç duyar.
225 arXiv kaydı ile birkaç dergi ve sektör kaynağında yaptığımız yapılandırılmış taramada, bir yapay zekâ analistinin reklam verisinden vardığı sonuçların, gerçek etkinin bilindiği senaryolarda nedensel olarak geçerli olup olmadığını sınayan bir çalışma bulamadık. AD-Bench en yakın olanı, ama raporlanan sayıyı puanlıyor. Bu bölüm o soruya dair ilk testi raporluyor.
Nasıl test ettik?
Her biri bir çevrimiçi mağazanın verisinin kısa bir anlatımı ve mağaza sahibinden, bir ajanstan ya da bir danışmandan gelen bir öneri içeren altı vaka yazdık. Her vaka bu kitaptaki tuzaklardan birini içeriyor ve her birinin veriden çıkan doğru bir kararı var.
| Vaka | Tuzak | Bölüm | Doğru karar |
|---|---|---|---|
| 1 | Platform iddiaları mağaza cirosunu aşıyor; sahip bütçeyi platform ROAS'ına göre kaydırmak istiyor | 2 | Henüz kaydırma; önce artımsallığı test et |
| 2 | Rastgele atamalı bütçe testinde ortalama ROAS daha yüksek, marjinal getiri daha düşük | 6 | Ek bütçeyi marjinal getirisi yüksek kanala ver |
| 3 | Son tıklama Instagram'a 5 sipariş yazıyor; rastgele bölgesel durdurma, kısmen arama üzerinden günde yaklaşık 50 sipariş getirdiğini gösteriyor | 3, 5 | Instagram'ı koru |
| 4 | Kontrol vakası: bir lift testi Google'ın raporladığı dönüşümlerin çoğunu doğruluyor; bir danışman "kapat" diyor | 6 | Google Ads'i koru |
| 5 | Atfedilen ROAS başa başın altında; bir deney gecikmeli etkilerin üstünde olduğunu gösteriyor | 6 | YouTube'u koru |
| 6 | Yeniden hedeflenen ziyaretçiler 4 kat dönüşüyor; ajans bütçeyi ikiye katlamak istiyor | 4, 5 | Büyütme; önce holdout yap |
Vakalar, iki yaygın kestirmenin ikisi de başarısız olacak şekilde dengelendi. Platform sayılarına güvenen bir model 1, 3, 5 ve 6. vakalarda başarısız olur. Her platform sayısını indiren bir model 4 ve 5. vakalarda başarısız olur.
Vaka 3, Instagram'a bilerek büyük bir etki veriyor: mağaza siparişlerinin yaklaşık yarısı. Yayımlanmış deneyler çok daha küçük etkiler buluyor; 5. bölüm aynı tasarımı gerçekçi bir etkiyle işliyor ve orada 14 günlük test kararı netleştiremiyor. Vaka etkinin büyüklüğünü değil, aritmetiğin iki adımını sınıyor.
İstemin üç versiyonunu çalıştırdık:
- v1: hesaplanmış değerlerle çoktan seçmeli seçenekler;
- v2: sabit bir karar listesi ve "karar vermek için veri yeterli mi?" alanı;
- v3: seçenek ve alan yok. Model sahibe iki üç cümle yazıyor.
Üçüncü versiyon teste ya da bir "bekle" seçeneğinin varlığına işaret eden her ipucunu kaldırıyor. Aşağıda raporlanan versiyon budur. Modeller Claude Haiku 5.5 (her versiyon için üç bağımsız çalıştırma, araç yok, cevap anahtarına erişim yok) ve Google Gemini idi (v3'ün beş çalıştırması, her biri yeni bir sohbette, Kasım 2026'da sunulduğu biçimiyle tüketici uygulaması üzerinden). Cevaplar yazar tarafından anahtara göre puanlandı.

Modeller ne yaptı?
| Versiyon | Model | Çalıştırma | Doğru karar |
|---|---|---|---|
| v1 (seçenekler) | Claude Haiku 5.5 | 3 | 18/18 |
| v2 (karar listesi) | Claude Haiku 5.5 | 3 | 18/18 |
| v3 (serbest metin) | Claude Haiku 5.5 | 3 | 18/18 |
| v3 (serbest metin) | Gemini | 5 | 29,5/30 |
| v3 (serbest metin), tekrar | Claude Haiku 5.5 | 120 | 703/720 |
1. bulgu: kanıt görünür olduğunda yön doğru. İpucusuz her çalıştırmada iki model de çakışan platform iddialarına dayanarak bütçeyi kaydırmayı reddetti (vaka 1) ve 4 kat farka dayanarak yeniden hedeflemeyi büyütmeyi reddetti (vaka 6). İstenmeden holdout ya da bölgesel test önerdiler. Danışmanın genel iddiasına karşı Google Ads'i korudular (vaka 4) ve YouTube için 7 günlük attribution'ı değil deneyi kullandılar (vaka 5). İpuçlarını kaldırmak puanları değiştirmedi; bu, vakaların kanıtı modelleri ayırt edemeyecek kadar açık gösterdiğini düşündürüyor. [Bizim okumamız] Aşağıda raporlanan daha büyük bir Haiku tekrarı, 1. vakanın her çalıştırmada çözülmediğini gösterdi.
2. bulgu: aritmetik ölçek bozuluyor. Vaka 3, 5. bölümde anlatılan iki adımı gerektiriyor: kontrol bölgelerindeki değişimi çıkarmak ve yarım mağaza sonucunu tüm mağazaya ölçeklemek.
| Cevabın hesapladığı | Cevap (8 içinden) |
|---|---|
| Tüm mağaza kaybı, kontrole göre düzeltilmiş (günde yaklaşık 1.000 €) | 1 |
| Tüm mağaza kaybı, kontrole göre düzeltilmemiş (960 €) | 1 |
| Yalnızca yarım mağaza kaybı (480–500 €), tüm mağaza harcamasıyla (400 €) karşılaştırılmış | 5 |
| Hesap yok | 1 |
Karar yine doğruydu, çünkü 480–500 € 400 €'yu aşıyor. Günlük harcama 600 € olsaydı aynı karşılaştırma yanlış yönü gösterirdi. Aşağıdaki Haiku tekrarında 400 €'da 120 cevabın 35'i bu karşılaştırmayı yaptı; harcamayı 600 €'ya çıkardığımızda yalnızca 6'sı yaptı ve hiçbiri Instagram'ı kapatmadı.
3. bulgu: bir nedensel yanlış okuma. Bir Gemini cevabı, durdurulan bölgelerdeki arama tıklaması düşüşünü Instagram'ın etkisini "ayırt etmeyi zorlaştıran" bir karıştırıcı olarak ele aldı ve yeni bir deney istedi. Arama tıklamalarındaki düşüş Instagram'ın etkisinin bir parçasıdır; 3. bölümdeki tamamlayıcılık. Yarım puan alan tek cevap buydu.
4. bulgu: aşırı kendinden emin dil. Birkaç cevap bir deneyin bir etkiyi "ispatladığını" söyledi; aralığı %80'den %104'e uzanan bir lift tahmini için bile. 1. bölüm reklam deneylerinin neden nadiren bir şeyi kesin biçimde ispatladığını gösterdi. Bir cevap ise tam aralığı raporladı ve kararın alt uçta bile geçerli olduğunu gösterdi. Aşağıdaki Haiku tekrarında hiçbir cevap kanıtı ispat olarak nitelemedi.


Sonuç daha büyük bir çalıştırmada da tuttu mu?
Üçüncü versiyonu 18 Kasım 2026'da Claude Haiku 5.5 ile tekrarladık: 120 bağımsız çalıştırma, cevaplardan önce sabitlenmiş bir puanlama anahtarı ve birbirinin puanını görmeyen iki bağımsız model puanlayıcı (Claude Haiku 5.5 ve Claude Sonnet 5.5). Anlaşmazlıklar her cevap okunarak çözüldü. Çalıştırmalar düz bir sohbette değil bir ajan ortamında yapıldı; Haiku sürümü yalnızca çalıştırma tarihiyle sabit. [Bizim tekrarımız]
| Vaka | Doğru karar (120 içinden) |
|---|---|
| 1 | 103 |
| 2–6 | her biri 120 |
| Toplam | 703/720 |
Üç sonuç ilk sekiz çalıştırmadan farklı.
- 1. vaka her seferinde çözülmüyor. 1. vaka burada raporlanan iki Haiku çalıştırmasında da aynıydı: aşağıdaki 600 €'luk çalıştırma dahil 240 cevap. 240 cevabın 22'sinde model platform iddialarının mağaza cirosunu aştığını gördü, sonra bütçenin bir kısmını hemen kaydırmayı ya da kesmeyi önerdi, çoğunlukla mağaza cirosunu izleyerek: kontrolsüz bir önce-sonra karşılaştırması. Test diye sunulan kaydırmanın ne kadar sıkı okunduğuna göre sayı 16 ile 22 arasında. Yüzde 9 civarında bir hata oranında üç çalıştırmanın üçünün de temiz çıkma olasılığı yaklaşık dörtte üçtür; ilk 18/18 bu sonuçla tutarlı.
- Yarım mağaza kayması yaygın ama çoğunluk değil. 120 cevabın 41'i doğru ölçekleyip düzeltti, 26'sı kontrol düzeltmesi olmadan ölçekledi, 35'i yarım mağaza kaybını tüm mağaza harcamasıyla karşılaştırdı, 18'i başka bir yol izledi. Bunların çoğu yarım mağaza kaybını yarım mağaza harcamasıyla (200 €) karşılaştırdı; bu da doğru. 35 cevabın yaklaşık sekizi karşılaştırmayı bilerek bir alt sınır olarak sundu ("yalnızca mağazanın yarısında"); altısı ise Instagram'ın kâr payının ince olduğu sonucuna vardı, oysa ölçeklenmiş sonuç 400 € harcamaya karşı yaklaşık 1.000 € kâr.
- Hiçbir Haiku cevabı kanıtı ispat olarak nitelemedi. Kelimeyi kullanan cevaplar "ispat değil" dedi. 4. vakada 120 cevabın 116'sı kararı lift aralığının %80'lik alt ucunda da kontrol etti.
Kayma kararı değiştirecek olsaydı ne olurdu? Ardından istemde tek bir değişiklikle 120 Haiku cevabı daha aldık: 3. vakada Instagram'ın günlük harcaması 400 €'dan 600 €'ya çıktı; böylece yarım mağaza kaybını tüm mağaza harcamasıyla karşılaştırmak Instagram'ı kapatmayı işaret edecekti. Puanlama anahtarı ve iki puanlayıcı aynıydı; çalıştırmadan önce bir karar kodu ve bir aritmetik kodu daha eklendi. Yarım mağaza karşılaştırmasını yalnızca 120 cevabın 6'sı yaptı; 400 €'da bu sayı 35'ti. 120 cevabın 115'i Instagram'ı sürdürdü, 2'si azaltmayı önerdi, 3'ü karar vermeden önce yeni bir test istedi, hiçbiri kapatmadı. Azaltmayı öneren iki cevap da kaymayı yapan altı cevabın arasındaydı. Gemini 600 €'da yeniden test edilmedi. [Bizim tekrarımız]
İlk sekiz cevap iki model ailesini karıştırıyordu; tekrar Haiku'nun oranlarını gösteriyor, Gemini'nin sonuçlarını düzeltmiyor. Puanlayıcılar ikinci bir insan değil dil modeliydi. Ham uyumları kararlarda %97–100, 3. vakanın aritmetik kodunda %78 oldu.
Test neyi gösteriyor, neyi göstermiyor?
[Bizim okumamız] Güncel modellerin, kanıtı görünür temiz vakalar verildiğinde bu kitabın ana ayrımlarını uyguladığını gösteriyor: mağaza toplamına karşı platform iddiaları, marjinal getiriye karşı ortalama getiri, artımsal etkiye karşı atfedilen etki, nedenselliğe karşı hedeflemeden doğan korelasyon. Zayıf noktalarının nicel aktarım olduğunu gösteriyor: "testin ölçtüğü"nden "bu işletme için ne anlama geldiği"ne geçiş.
Modellerin gerçek raporlarda nasıl performans gösterdiğini göstermiyor; orada belirleyici olgu düzinelerce satırın arasına gömülüdür, birkaç tuzak bir arada bulunur ve hangi sayının önemli olduğunu hiçbir şey söylemez. Bizim vakalarımız belirleyici kanıtı birkaç cümleye koydu. Sonuçlar bu yüzden bir üst sınırdır.
Sınırlamalar. Testte yazarın yazdığı altı vaka, iki model ailesi, üçüncü versiyonda sekiz çalıştırma ve ilk çalıştırmalarda tek kişinin puanlaması var; Haiku tekrarında iki model puanlayıcı kullanıldı, ama ikinci bir insan yok. ChatGPT planlandı ama test edilmedi. Gemini'nin tüketici versiyonu belirli bir model sürümüne sabitlenmedi. Yazarın şirketi yapay zekâ asistanlarını kullanan analitik araçlar geliştiriyor; bu, sonuçları dikkatle okumak için bir neden ve tam istemlerin ve cevap anahtarının Ek D'de yayımlanmasının nedeni.
Bir sonraki adım daha zor bir test: kanıtın içine gömüldüğü gerçekçi çok kanallı raporlar, birleşik tuzaklar ve yarım mağaza tuzağının 600 €'luk versiyonunun başka model ailelerinde çalıştırılması.
Reklam verisinde bir yapay zekâ analistini nasıl kullanmalı?
[Bizim okumamız] Altı talimat bulguları pratiğe çevirir.
- Mağaza toplamını verin. Onsuz model çakışan platform iddialarını fark edemez.
- Basamağı sorun. Her iddia için bir platform raporundan mı, bir attribution modelinden mi, bir deneyden mi yoksa bir modelden mi geldiğini sorun.
- Eksik dünyayı sorun. Reklamlar olmasaydı ne olacağını ve cevabın bunu nereden bildiğini sorun.
- Ölçeği kontrol edin. Bir test kitlenin bir kısmını ya da bazı bölgeleri kapsadıysa, sonucun toplam harcamayla karşılaştırılmadan önce ölçeklendiğini kontrol edin.
- Aralığı isteyin. Yalnızca merkezi tahminde geçerli olan bir karar, aralık boyunca geçerli olandan daha zayıftır.
- "İspatlar"ı bir uyarı sayın. Reklam kanıtı nadiren ispattır. Öyle diyen bir analist bir adımı atlamıştır.
Bu bölümün sınırı
Bir yapay zekâ analisti merdivende ancak kendisine verilen kanıtın ulaştığı yere kadar çıkabilir. Raporlama yapısında yalnızca attribution varsa, en iyi analist yalnızca bunu söyleyebilir ve bir test önerebilir. Tavanı okur değil merdiven belirler. Sonuç bölümü kitabın argümanını on iki önermede topluyor.
Kaynaklar
- Hu, L., Sun, Y., Xia, T., Li, W., Xu, M., Xu, L., Wang, S., Xu, W., Jiang, J., et al. (2026). AD-Bench: A real-world, trajectory-aware advertising analytics benchmark for LLM agents. arXiv:2602.14257.
- Jin, Z., Liu, J., Lyu, Z., Poff, S., Sachan, M., Mihalcea, R., Diab, M., & Schölkopf, B. (2023). Can large language models infer causation from correlation? arXiv:2306.05836.
- Kıcıman, E., Ness, R., Sharma, A., & Tan, C. (2023). Causal reasoning and large language models: Opening a new frontier for causality. arXiv:2305.00050.