Aynı sabit soruları beş yapay zekaya üçer kez sorar ve ne sıklıkla anıldığınızı sayarız. Sonra 30., 60. ve 90. günlerde aynısını aynı şekilde yeniden yaparız. Öncesi ve sonrası şanslı bir ekran görüntüsü değil, adil bir karşılaştırmadır.
Önce kontrol. Sonra iş. Sonra yine kontrol.
Tek bir ekran görüntüsü neden hiçbir şey kanıtlamaz
Bir yapay zekaya “serbest çalışan için en iyi faturalama uygulaması hangisi?” diye art arda üç kez sorun. Çoğu zaman üç farklı liste alırsınız.
ChatGPT, Claude ve Google AI genelinde 2.961 soruyla yapılan bir çalışmada aynı marka listesi iki kez, 100’de 1’den az geri geldi. Sıra, uzunluk ve isimler, hepsi oynadı.
Yani ChatGPT’nin sizi andığı bir ekran görüntüsü hoştur. Ama neredeyse hiçbir şey söylemez. Sizi görmezden geldiği bir ekran görüntüsü de öyle. Yalnızca çok sayıda turda görülen bir örüntü bir şey ifade eder.
Asla sıra bildirmememizin nedeni de bu. “ChatGPT’de 2 numarasınız” cümlesi, bir daha tekrarlanmayacak tek bir yanıtı anlatır.
Neyi sayıyoruz: sıra değil, anılma oranı
Kaydettiğimiz her yanıt için tek bir soru sorarız: yapay zeka sizi andı mı? Anılma oranı, sizi anan yanıtların kaydettiğimiz tüm yanıtlara bölümüdür.
60 yanıtın 12’sinde anılmak %20’lik bir anılma oranıdır. Sayıyı ve oranı bildiririz. Asla 100 üzerinden bir puan, asla bir konum değil.
Nasıl çalıştırıyoruz
- Sabit sorular, bir kez yazılır. Ücretsiz kontrol için alıcılarınızın diliyle 5 alıcı sorusu yazarız. Kategoriyi, kullanım senaryosunu, bir fiyat sınırını, kaybettiğiniz rakibi ve bir acemi sorusunu kapsarlar. Denetim ve proje 25 soru kullanır. Çalıştırmadan önce düzenleyebilirsiniz. Sonra kilitlenirler, çünkü yeni bir soru yeni bir yanıt getirir.
- Her yapay zekada üç tur, temiz sohbetlerde. Her soru ChatGPT, Gemini, Claude, Perplexity ve Muse’a üçer kez gider. Her tur yeni bir sohbettir, hafıza kapalı ya da oturum kapalı, aynı konumdan. Turlar arasına sızan bir “Ledgerly’yi sevdiğimi hatırla” yok.
- 30., 60. ve 90. günlerde aynı şey yeniden. Aynı ifade, aynı yapay zekalar, aynı tur sayısı, aynı konum. Yan yana, her yanıt kayıtlı.
Beş soru x 3 tur x 5 yapay zeka, ücretsiz kontrol için 75 yanıt eder. Yirmi beş soru x 3 tur x 5 yapay zeka, denetim ve her proje yeniden kontrolü için 375 yanıt eder.
Hangi yapay zekalar ve neden bu beşi
- ChatGPT ve Gemini. Tüketiciler satın alma araştırması için en çok bu ikisini kullanıyor. 550 yapay zeka alışverişçisiyle yapılan bir ankette %60’ı ChatGPT, %63,5’i Gemini kullanıyordu.
- Claude. Yazılım geliştiren ve bunun için araç satın alan insanlar onu yoğun kullanıyor. 2.000 startup kurucusu arasında %59’u Claude’a para ödüyordu, başka her asistandan fazla.
- Perplexity. Her yanıt için canlı web’de arama yapıyor. Bu yüzden sizi anan yeni bir kaynağı ilk o gösteriyor.
- Muse. Meta’nın yapay zeka ajanı uygulaması, Kasım 2026’dan beri kontrollerimizde. Aynı modeller WhatsApp, Instagram ve Facebook’taki Meta AI’ın da arkasında. Pek çok alıcı soruyu ayrı bir yapay zeka uygulaması açmadan orada soruyor.
Alıcılarınız başka bir yerde mi soruyor, örneğin bir pazar yerinin içindeki alışveriş asistanında? O zaman size dürüstçe söyleriz: bu kontrol henüz doğru araç değil.
Her yanıt için neyi kaydediyoruz
| Alan | Ne anlama geliyor |
|---|---|
| Anıldı | Evet ya da hayır. Yanıt sizi adınızla andı mı? |
| Konum | Anıldıysanız listede birinci, ikinci, üçüncü ya da daha sonra mıydınız. Bağlam için kaydedilir, asla sıra olarak bildirilmez. |
| Ton | Önerildi, tarafsız anıldı, çekinceyle anıldı ya da yanlış. “Yanlış”, yapay zekanın sizin hakkınızda doğru olmayan bir şey söylemesi demek. Bu başlı başına bir sorun. |
| Anılan rakipler | Yanıttaki diğer her ürün, böylece yapay zekanın yerinize kimi andığını gösterebiliriz. |
| Gösterilen kaynaklar | Yapay zekanın bağlantı verdiği ya da dayandığı sayfalar ve siteler. Bunlar hedef listesi olur. |
| Yanıtın tamamı | Metin olarak kaydedilir, kendiniz okuyabilirsiniz. |
Kaynak gösterilmek, önerilmekle aynı şey değil
Bir yapay zeka sayfanızdan alıntı yapıp yine de bir rakibi önerebilir. “Ledgerly’nin blogunda gecikme ücretleri hakkında iyi bir açıklama var. Asıl faturalama için serbest çalışanların çoğu FreshBooks kullanıyor.”
Bu yanıt sizi kaynak gösteriyor. Sizi önermiyor. Bunu çekinceyle anılma olarak kaydederiz. “Önerildi”yi ayrıca bildiririz, çünkü müşteri getiren odur.
Yapay zekalar nerede okuyor ve bu neden önemli
Bir yapay zekanın kaynak gösterdiklerinin çoğu markanın kendisinden değil, üçüncü taraflardan gelir. 207 milyon atfın incelendiği bir analizde %84’ten fazlası kazanılmış ya da üçüncü taraf kaynaklardan geliyordu. Yaklaşık %0,3’ü ücretli içerikten geliyordu.
Yapay zekanın kendi canlı web aramasında bulunmak, tek başına en büyük etken gibi görünüyor. O sonuçlarda olmayan markalar yaklaşık %3 oranında anıldı. Sitesi bulunan ve adıyla aranan markalar %90’ın üzerinde anıldı.
Sıradan arama sıralaması da hâlâ sayılır. Birinci sıradaki sayfaların %58’i kaynak gösterildi, onuncu sıradakilerin %14’ü.
Bu yüzden işimizin çoğu sitenizin dışında geçer: yapay zekaların okuduğu yorum sitelerinde, listelerde ve başlıklarda. Her yanıttaki kaynakları da bu yüzden kaydederiz.
Dürüst sınırlar
- Küçük örneklemler gürültülüdür. Yetmiş beş yanıt bir örüntü görmeye yeter, kılı kırk yarmaya yetmez. İki kontrol birkaç yanıt farklıysa “belirgin bir değişiklik yok” deriz. Zafer ilan etmeyiz.
- Uygulamalar ve API’ler farklı olabilir. Mümkün olduğunca kontrolleri bir alıcının yapacağı gibi, tüketici uygulamalarında çalıştırırız. API yanıtları uygulamadan biraz farklı olabilir. Hangisini kullandığımızı hep söyleriz.
- Konum yanıtları değiştirir. ChatGPT cihazınızın bildirdiği konumu izler. Gemini ağın ülkesini izler. Bir konum sabitler ve her kontrolde aynı tutarız.
- Buradaki bazı rakamlar tedarikçilerden ya da ön baskılardan geliyor. Bir çalışmayı yapay zeka görünürlük aracı satan bir şirket yaptıysa ya da henüz hakemli değilse, kaynak listesi bunu belirtir.
- Anılma oranı gelir değildir. Daha sık anılmak, ölçebildiğimiz hedef. Analitiklerinizi paylaşırsanız yapay zeka yönlendirmelerini de bildiririz. Göremediğimiz geliri asla iddia etmeyiz.
- Yanıtlar sizinle hiç ilgisi olmayan nedenlerle de değişir. Modeller güncellenir. Kaynaklar atıf payı kazanır ya da kaybeder. Bir yükseliş ya da düşüş kısmen hava durumu olabilir. Bir değil üç kontrol noktasının bir nedeni de bu.
Her şey kaydedilir
Her turdaki her yanıt metin olarak kaydedilir ve sizinle paylaşılır. Birini nasıl kodladığımıza katılmıyor musunuz? Aslını okuyun. Sözümüze güvenmenizdense işimizi kontrol etmenizi tercih ederiz.