8. Bölüm

Bir yapay zekâ analisti payı etkiden ayırabilir mi?

Yazar: · 14 dk okuma · Son güncelleme

Bu sayfada 9 bölüm
  1. Bu soru neden şimdi önemli?
  2. Mevcut araştırma ne diyor?
  3. Nasıl test ettik?
  4. Modeller ne yaptı?
  5. Sonuç daha büyük bir çalıştırmada da tuttu mu?
  6. Test neyi gösteriyor, neyi göstermiyor?
  7. Reklam verisinde bir yapay zekâ analistini nasıl kullanmalı?
  8. Bu bölümün sınırı
  9. Kaynaklar

Temel bulgular

  • Bir reklam platformundaki gerçek taleplerden kurulmuş bir kıyaslama testinde en iyi model, raporlanan doğru cevabı zamanın %76,9'unda, en zor düzeyde %61,4'ünde üretti (AD-Bench, 2026). [Kıyaslama testi]
  • Saf korelasyondan nedenselliğe akıl yürütmede 17 dil modelinin çoğu şans düzeyine yakın performans gösterdi (Jin ve ark., 2023). [Kıyaslama testi]
  • Altı vakalı testimizde modeller ipucusuz 48 denemenin 47,5'inde doğru kararı seçti. [Bizim testimiz, 48 deneme]
  • Bir bölgesel test vakasına verilen ipucusuz 8 cevabın 5'inde model, yarım mağazadaki kaybı tüm mağazanın harcamasıyla karşılaştırdı. [Bizim testimiz]
  • Claude Haiku 5.5 ile 120 çalıştırmalık ve iki bağımsız puanlayıcılı bir tekrarda model 720 kararın 703'ünde doğru karara vardı; hataların hepsi 1. vakadaydı. [Bizim tekrarımız, 120 deneme]

Kısa cevap. Testimizde, kanıt önündeyken çoğunlukla evet. Doğru cevapları bilinen altı reklam vakası verildiğinde iki dil modeli ailesi, ipucusuz 48 denemenin 47,5'inde doğru karara vardı ve payı etkiyle karıştıran önerilere istenmeden itiraz etti. Tipik hataları aritmetik ölçekti: ilk sekiz cevabın beşinde, mağazanın yarısını kapsayan bir test tüm mağazanın harcamasıyla karşılaştırıldı; 120 cevaplık bir tekrarda aynı kayma 35 cevapta görüldü. İlk çalıştırmalarda bazı cevaplar aralığa dayalı kanıtı "ispat" (proof) olarak da niteledi; tekrarda hiçbiri nitelemedi.

Bu soru neden şimdi önemli?

Çünkü yapay zekâ asistanları reklam verisinin okuru oldu. Pazarlamacılar panoları sohbet asistanlarına yapıştırıyor, analitik ürünleri de asistanları doğrudan reklam hesaplarına bağlıyor. Asistana bu kitabın konusu olan soru soruluyor: reklam neye yol açtı ve ne yapmalıyız?

Bir asistan iki şekilde başarısız olabilir. Raporun yazdığı payı etki gibi tekrarlayabilir; bu, 2–4. bölümlerin hatalarını otomatikleştirir. Ya da her sayıya güvenmeyebilir; bu da deneyler gibi iyi kanıtları çöpe atar. Yararlı bir analist bu kitabın anlattığını yapmalıdır: her kanıtı merdivenin doğru basamağına yerleştirmek ve buna göre karar vermek.

Mevcut araştırma ne diyor?

ÇalışmaNeyi ölçüyorİlgisi
AD-Bench (2026)Bir reklam platformunda gerçek analitik talepleri cevaplayan dil modeli ajanlarıEn iyi model %76,9 Pass@1, en zor düzeyde %61,4. Doğru, raporlanan sayı demek; nedensel olarak geçerli bir sonuç değil
Jin ve ark. (2023), CORR2CAUSEKorelasyon ifadeleri kümelerinden nedensel ilişki çıkarmak; 200.000+ örnek, 17 modelModellerin çoğu şansa yakın; ince ayar, değiştirilmiş sorulara genellenmedi
Kıcıman ve ark. (2023)GPT-3.5 ve GPT-4 ile nedensel akıl yürütme görevleriİkili nedensel keşifte %97, karşı-olgusal akıl yürütmede %92, olay nedenselliğinde %86; öngörülemeyen hatalarla. Modeller veriden değil metinden akıl yürütüyor

İki nedensellik çalışması zıt yönleri gösteriyor ve aradaki fark öğretici. Dil modelleri nedensel bilgi öğrendikleri kelimelerle ifade edildiğinde iyi, nedenselliği korelasyonlardan biçimsel olarak çıkarmaları gerektiğinde kötü performans gösteriyor. Reklam analizi ikisine de ihtiyaç duyar.

225 arXiv kaydı ile birkaç dergi ve sektör kaynağında yaptığımız yapılandırılmış taramada, bir yapay zekâ analistinin reklam verisinden vardığı sonuçların, gerçek etkinin bilindiği senaryolarda nedensel olarak geçerli olup olmadığını sınayan bir çalışma bulamadık. AD-Bench en yakın olanı, ama raporlanan sayıyı puanlıyor. Bu bölüm o soruya dair ilk testi raporluyor.

Nasıl test ettik?

Her biri bir çevrimiçi mağazanın verisinin kısa bir anlatımı ve mağaza sahibinden, bir ajanstan ya da bir danışmandan gelen bir öneri içeren altı vaka yazdık. Her vaka bu kitaptaki tuzaklardan birini içeriyor ve her birinin veriden çıkan doğru bir kararı var.

VakaTuzakBölümDoğru karar
1Platform iddiaları mağaza cirosunu aşıyor; sahip bütçeyi platform ROAS'ına göre kaydırmak istiyor2Henüz kaydırma; önce artımsallığı test et
2Rastgele atamalı bütçe testinde ortalama ROAS daha yüksek, marjinal getiri daha düşük6Ek bütçeyi marjinal getirisi yüksek kanala ver
3Son tıklama Instagram'a 5 sipariş yazıyor; rastgele bölgesel durdurma, kısmen arama üzerinden günde yaklaşık 50 sipariş getirdiğini gösteriyor3, 5Instagram'ı koru
4Kontrol vakası: bir lift testi Google'ın raporladığı dönüşümlerin çoğunu doğruluyor; bir danışman "kapat" diyor6Google Ads'i koru
5Atfedilen ROAS başa başın altında; bir deney gecikmeli etkilerin üstünde olduğunu gösteriyor6YouTube'u koru
6Yeniden hedeflenen ziyaretçiler 4 kat dönüşüyor; ajans bütçeyi ikiye katlamak istiyor4, 5Büyütme; önce holdout yap

Vakalar, iki yaygın kestirmenin ikisi de başarısız olacak şekilde dengelendi. Platform sayılarına güvenen bir model 1, 3, 5 ve 6. vakalarda başarısız olur. Her platform sayısını indiren bir model 4 ve 5. vakalarda başarısız olur.

Vaka 3, Instagram'a bilerek büyük bir etki veriyor: mağaza siparişlerinin yaklaşık yarısı. Yayımlanmış deneyler çok daha küçük etkiler buluyor; 5. bölüm aynı tasarımı gerçekçi bir etkiyle işliyor ve orada 14 günlük test kararı netleştiremiyor. Vaka etkinin büyüklüğünü değil, aritmetiğin iki adımını sınıyor.

İstemin üç versiyonunu çalıştırdık:

  • v1: hesaplanmış değerlerle çoktan seçmeli seçenekler;
  • v2: sabit bir karar listesi ve "karar vermek için veri yeterli mi?" alanı;
  • v3: seçenek ve alan yok. Model sahibe iki üç cümle yazıyor.

Üçüncü versiyon teste ya da bir "bekle" seçeneğinin varlığına işaret eden her ipucunu kaldırıyor. Aşağıda raporlanan versiyon budur. Modeller Claude Haiku 5.5 (her versiyon için üç bağımsız çalıştırma, araç yok, cevap anahtarına erişim yok) ve Google Gemini idi (v3'ün beş çalıştırması, her biri yeni bir sohbette, Kasım 2026'da sunulduğu biçimiyle tüketici uygulaması üzerinden). Cevaplar yazar tarafından anahtara göre puanlandı.

Altı test vakası matrisi: her platform sayısına güvenmek 1, 3, 5 ve 6. vakalarda; her platform sayısını indirmek 4 ve 5. vakalarda başarısız olur.
Şekil 8.1. Altısını da yalnızca her kanıtı doğru basamağa yerleştiren okur geçer. 4. vaka kontrol vakasıdır.Kaynak: Bizim testimiz, 8. bölüm ve Ek D.

Modeller ne yaptı?

VersiyonModelÇalıştırmaDoğru karar
v1 (seçenekler)Claude Haiku 5.5318/18
v2 (karar listesi)Claude Haiku 5.5318/18
v3 (serbest metin)Claude Haiku 5.5318/18
v3 (serbest metin)Gemini529,5/30
v3 (serbest metin), tekrarClaude Haiku 5.5120703/720

1. bulgu: kanıt görünür olduğunda yön doğru. İpucusuz her çalıştırmada iki model de çakışan platform iddialarına dayanarak bütçeyi kaydırmayı reddetti (vaka 1) ve 4 kat farka dayanarak yeniden hedeflemeyi büyütmeyi reddetti (vaka 6). İstenmeden holdout ya da bölgesel test önerdiler. Danışmanın genel iddiasına karşı Google Ads'i korudular (vaka 4) ve YouTube için 7 günlük attribution'ı değil deneyi kullandılar (vaka 5). İpuçlarını kaldırmak puanları değiştirmedi; bu, vakaların kanıtı modelleri ayırt edemeyecek kadar açık gösterdiğini düşündürüyor. [Bizim okumamız] Aşağıda raporlanan daha büyük bir Haiku tekrarı, 1. vakanın her çalıştırmada çözülmediğini gösterdi.

2. bulgu: aritmetik ölçek bozuluyor. Vaka 3, 5. bölümde anlatılan iki adımı gerektiriyor: kontrol bölgelerindeki değişimi çıkarmak ve yarım mağaza sonucunu tüm mağazaya ölçeklemek.

Cevabın hesapladığıCevap (8 içinden)
Tüm mağaza kaybı, kontrole göre düzeltilmiş (günde yaklaşık 1.000 €)1
Tüm mağaza kaybı, kontrole göre düzeltilmemiş (960 €)1
Yalnızca yarım mağaza kaybı (480–500 €), tüm mağaza harcamasıyla (400 €) karşılaştırılmış5
Hesap yok1

Karar yine doğruydu, çünkü 480–500 € 400 €'yu aşıyor. Günlük harcama 600 € olsaydı aynı karşılaştırma yanlış yönü gösterirdi. Aşağıdaki Haiku tekrarında 400 €'da 120 cevabın 35'i bu karşılaştırmayı yaptı; harcamayı 600 €'ya çıkardığımızda yalnızca 6'sı yaptı ve hiçbiri Instagram'ı kapatmadı.

3. bulgu: bir nedensel yanlış okuma. Bir Gemini cevabı, durdurulan bölgelerdeki arama tıklaması düşüşünü Instagram'ın etkisini "ayırt etmeyi zorlaştıran" bir karıştırıcı olarak ele aldı ve yeni bir deney istedi. Arama tıklamalarındaki düşüş Instagram'ın etkisinin bir parçasıdır; 3. bölümdeki tamamlayıcılık. Yarım puan alan tek cevap buydu.

4. bulgu: aşırı kendinden emin dil. Birkaç cevap bir deneyin bir etkiyi "ispatladığını" söyledi; aralığı %80'den %104'e uzanan bir lift tahmini için bile. 1. bölüm reklam deneylerinin neden nadiren bir şeyi kesin biçimde ispatladığını gösterdi. Bir cevap ise tam aralığı raporladı ve kararın alt uçta bile geçerli olduğunu gösterdi. Aşağıdaki Haiku tekrarında hiçbir cevap kanıtı ispat olarak nitelemedi.

48 kareden 47'si dolu, biri yarı dolu ızgara: Claude Haiku 5.5 ve Gemini ipucusuz 48 denemenin 47,5'inde doğru karara vardı.
Şekil 8.2. Altı vaka, ipucusuz istem (3. versiyon): Claude Haiku 5.5 üç, Gemini beş çalıştırma. Temiz vakalarla bir test; sonuçlar bir üst sınırdır.Kaynak: Bizim testimiz, 8. bölüm ve Ek D. Puanlama yazara ait.
Bölgesel test vakasına sekiz cevap: beşi yarım mağaza kaybını tüm mağaza harcamasıyla karşılaştırdı; biri doğru ölçekledi, biri kontrolsüz ölçekledi, birinde hesap yok.
Şekil 8.3. Karar yine doğruydu, çünkü 480–500 € 400 €'yu aşıyor. Günlük harcama 600 € olsaydı aynı karşılaştırma yanlış yönü gösterirdi; bu versiyonun Haiku çalıştırmasında 120 cevabın 6'sı bu karşılaştırmayı yaptı ve hiçbiri Instagram'ı kapatmadı.Kaynak: Bizim testimiz, 8. bölüm ve Ek D.

Sonuç daha büyük bir çalıştırmada da tuttu mu?

Üçüncü versiyonu 18 Kasım 2026'da Claude Haiku 5.5 ile tekrarladık: 120 bağımsız çalıştırma, cevaplardan önce sabitlenmiş bir puanlama anahtarı ve birbirinin puanını görmeyen iki bağımsız model puanlayıcı (Claude Haiku 5.5 ve Claude Sonnet 5.5). Anlaşmazlıklar her cevap okunarak çözüldü. Çalıştırmalar düz bir sohbette değil bir ajan ortamında yapıldı; Haiku sürümü yalnızca çalıştırma tarihiyle sabit. [Bizim tekrarımız]

VakaDoğru karar (120 içinden)
1103
2–6her biri 120
Toplam703/720

Üç sonuç ilk sekiz çalıştırmadan farklı.

  • 1. vaka her seferinde çözülmüyor. 1. vaka burada raporlanan iki Haiku çalıştırmasında da aynıydı: aşağıdaki 600 €'luk çalıştırma dahil 240 cevap. 240 cevabın 22'sinde model platform iddialarının mağaza cirosunu aştığını gördü, sonra bütçenin bir kısmını hemen kaydırmayı ya da kesmeyi önerdi, çoğunlukla mağaza cirosunu izleyerek: kontrolsüz bir önce-sonra karşılaştırması. Test diye sunulan kaydırmanın ne kadar sıkı okunduğuna göre sayı 16 ile 22 arasında. Yüzde 9 civarında bir hata oranında üç çalıştırmanın üçünün de temiz çıkma olasılığı yaklaşık dörtte üçtür; ilk 18/18 bu sonuçla tutarlı.
  • Yarım mağaza kayması yaygın ama çoğunluk değil. 120 cevabın 41'i doğru ölçekleyip düzeltti, 26'sı kontrol düzeltmesi olmadan ölçekledi, 35'i yarım mağaza kaybını tüm mağaza harcamasıyla karşılaştırdı, 18'i başka bir yol izledi. Bunların çoğu yarım mağaza kaybını yarım mağaza harcamasıyla (200 €) karşılaştırdı; bu da doğru. 35 cevabın yaklaşık sekizi karşılaştırmayı bilerek bir alt sınır olarak sundu ("yalnızca mağazanın yarısında"); altısı ise Instagram'ın kâr payının ince olduğu sonucuna vardı, oysa ölçeklenmiş sonuç 400 € harcamaya karşı yaklaşık 1.000 € kâr.
  • Hiçbir Haiku cevabı kanıtı ispat olarak nitelemedi. Kelimeyi kullanan cevaplar "ispat değil" dedi. 4. vakada 120 cevabın 116'sı kararı lift aralığının %80'lik alt ucunda da kontrol etti.

Kayma kararı değiştirecek olsaydı ne olurdu? Ardından istemde tek bir değişiklikle 120 Haiku cevabı daha aldık: 3. vakada Instagram'ın günlük harcaması 400 €'dan 600 €'ya çıktı; böylece yarım mağaza kaybını tüm mağaza harcamasıyla karşılaştırmak Instagram'ı kapatmayı işaret edecekti. Puanlama anahtarı ve iki puanlayıcı aynıydı; çalıştırmadan önce bir karar kodu ve bir aritmetik kodu daha eklendi. Yarım mağaza karşılaştırmasını yalnızca 120 cevabın 6'sı yaptı; 400 €'da bu sayı 35'ti. 120 cevabın 115'i Instagram'ı sürdürdü, 2'si azaltmayı önerdi, 3'ü karar vermeden önce yeni bir test istedi, hiçbiri kapatmadı. Azaltmayı öneren iki cevap da kaymayı yapan altı cevabın arasındaydı. Gemini 600 €'da yeniden test edilmedi. [Bizim tekrarımız]

İlk sekiz cevap iki model ailesini karıştırıyordu; tekrar Haiku'nun oranlarını gösteriyor, Gemini'nin sonuçlarını düzeltmiyor. Puanlayıcılar ikinci bir insan değil dil modeliydi. Ham uyumları kararlarda %97–100, 3. vakanın aritmetik kodunda %78 oldu.

Test neyi gösteriyor, neyi göstermiyor?

[Bizim okumamız] Güncel modellerin, kanıtı görünür temiz vakalar verildiğinde bu kitabın ana ayrımlarını uyguladığını gösteriyor: mağaza toplamına karşı platform iddiaları, marjinal getiriye karşı ortalama getiri, artımsal etkiye karşı atfedilen etki, nedenselliğe karşı hedeflemeden doğan korelasyon. Zayıf noktalarının nicel aktarım olduğunu gösteriyor: "testin ölçtüğü"nden "bu işletme için ne anlama geldiği"ne geçiş.

Modellerin gerçek raporlarda nasıl performans gösterdiğini göstermiyor; orada belirleyici olgu düzinelerce satırın arasına gömülüdür, birkaç tuzak bir arada bulunur ve hangi sayının önemli olduğunu hiçbir şey söylemez. Bizim vakalarımız belirleyici kanıtı birkaç cümleye koydu. Sonuçlar bu yüzden bir üst sınırdır.

Sınırlamalar. Testte yazarın yazdığı altı vaka, iki model ailesi, üçüncü versiyonda sekiz çalıştırma ve ilk çalıştırmalarda tek kişinin puanlaması var; Haiku tekrarında iki model puanlayıcı kullanıldı, ama ikinci bir insan yok. ChatGPT planlandı ama test edilmedi. Gemini'nin tüketici versiyonu belirli bir model sürümüne sabitlenmedi. Yazarın şirketi yapay zekâ asistanlarını kullanan analitik araçlar geliştiriyor; bu, sonuçları dikkatle okumak için bir neden ve tam istemlerin ve cevap anahtarının Ek D'de yayımlanmasının nedeni.

Bir sonraki adım daha zor bir test: kanıtın içine gömüldüğü gerçekçi çok kanallı raporlar, birleşik tuzaklar ve yarım mağaza tuzağının 600 €'luk versiyonunun başka model ailelerinde çalıştırılması.

Reklam verisinde bir yapay zekâ analistini nasıl kullanmalı?

[Bizim okumamız] Altı talimat bulguları pratiğe çevirir.

  1. Mağaza toplamını verin. Onsuz model çakışan platform iddialarını fark edemez.
  2. Basamağı sorun. Her iddia için bir platform raporundan mı, bir attribution modelinden mi, bir deneyden mi yoksa bir modelden mi geldiğini sorun.
  3. Eksik dünyayı sorun. Reklamlar olmasaydı ne olacağını ve cevabın bunu nereden bildiğini sorun.
  4. Ölçeği kontrol edin. Bir test kitlenin bir kısmını ya da bazı bölgeleri kapsadıysa, sonucun toplam harcamayla karşılaştırılmadan önce ölçeklendiğini kontrol edin.
  5. Aralığı isteyin. Yalnızca merkezi tahminde geçerli olan bir karar, aralık boyunca geçerli olandan daha zayıftır.
  6. "İspatlar"ı bir uyarı sayın. Reklam kanıtı nadiren ispattır. Öyle diyen bir analist bir adımı atlamıştır.

Bu bölümün sınırı

Bir yapay zekâ analisti merdivende ancak kendisine verilen kanıtın ulaştığı yere kadar çıkabilir. Raporlama yapısında yalnızca attribution varsa, en iyi analist yalnızca bunu söyleyebilir ve bir test önerebilir. Tavanı okur değil merdiven belirler. Sonuç bölümü kitabın argümanını on iki önermede topluyor.

Kaynaklar

  • Hu, L., Sun, Y., Xia, T., Li, W., Xu, M., Xu, L., Wang, S., Xu, W., Jiang, J., et al. (2026). AD-Bench: A real-world, trajectory-aware advertising analytics benchmark for LLM agents. arXiv:2602.14257.
  • Jin, Z., Liu, J., Lyu, Z., Poff, S., Sachan, M., Mihalcea, R., Diab, M., & Schölkopf, B. (2023). Can large language models infer causation from correlation? arXiv:2306.05836.
  • Kıcıman, E., Ness, R., Sharma, A., & Tan, C. (2023). Causal reasoning and large language models: Opening a new frontier for causality. arXiv:2305.00050.