Nasıl ölçüyoruz, ve neyi ölçemediğimizi nasıl söylüyoruz

Hangi motorlara soruyoruz

Her soru, aşağıdaki motorların her birine ayrı ayrı sorulur. Ağırlıklar, motorların Türkiye'deki erişimine yaklaşık olarak karşılık gelir ve kendi kendini normalleştirir: yalnızca yanıt veren motorlar paydaya girer. Bir motor bir soruya yanıt vermediğinde o yanıt hem paydan hem paydadan çıkar; hiçbir zaman "anmadı" diye sayılmaz.

ChatGPT

0,6

Gemini

0,25

Perplexity

0,15

Claude

0,05

Google AI Overview

0,5

Google AI Mode

0,3

Soru paneli

Varsayılan tarama 40 sorudur. Sorular, markanın sektörüne göre araştırılmış 5 alıcı personasının yapay zekâya soracağı biçimde yazılır ve her persona için aynı kategori dağılımına uyar. Panel dondurulur: aynı marka bir sonraki taramada aynı sorularla ölçülür, böylece iki dönem karşılaştırılabilir.

Kategori soruları

× 1

Karşılaştırma soruları

× 1,2

Satın alma soruları

× 1,5

• Markanın adını zaten içeren sorular ("X nasıl kullanılır?") görünürlük oranından çıkarılır: yanıt markayı anlatır, ama motorun markayı kendiliğinden seçip seçmediğini ölçmez.
• Markayı anmayan en az 5 farklı soru yoksa görünürlük oranı hiç verilmez. Tek bir sorudan hesaplanan oran, oran değildir.
• Motorların birbirinden ayrıldığı sorular, yanıt veren her motora 3 kez daha sorulur (taramanın harcama tavanı içinde) ve çoğunluk kararı kullanılır. Tüm motorların hemfikir olduğu sorular tekrarlanmaz: belirsizlik orada değildir.

Anılan gerçekten siz misiniz

Bir adın geçmesi, o markanın anıldığını kanıtlamaz: aynı adı taşıyan başka bir şirket, bir kişi ya da sorunun kendisini tekrarlayan bir yanıt olabilir. Her anılma ayrıca doğrulanır ve yanıttaki konumuna göre ağırlıklandırılır. Olumsuz bir anılma sıfır değil, eksi sayılır.

Öne çıkan seçenek olarak anıldı

1

Güçlü seçeneklerden biri olarak anıldı

0,6

Alternatifler arasında anıldı

0,35

Alıcıyı durduracak bir çekinceyle anıldı

-0,5

Kaçınılacak seçenek olarak anıldı

-1

• Doğrulanamayan bir anılma markanın lehine sayılmaz: görünürlük oranının hem payından hem paydasından çıkar.
• Anılmaların %20'sinden fazlası doğrulanamadıysa görünürlük "ölçülemedi" olarak gösterilir. Bu kadar boşlukla hesaplanan bir oran, ölçüm değil tahmindir.

Rakam ne kadar oynar

Görünürlük oranının yanında bir aralık yayımlarız. Aralık, soruları katmanlarına (persona ve kategori) sadık kalarak yeniden örnekleyen 20.000 tekrarlı bir bootstrap ile hesaplanır ve %95'lik yüzdelik aralıktır. Birim sorudur: beş motorun aynı soruya verdiği yanıtlar beş ayrı ölçüm değil, bir ölçümün beş okumasıdır.

• Bu aralık, markanın "gerçek" görünürlüğü için bir güven aralığı değildir; sorular rastgele çekilmedi, bir tasarıma göre yazıldı. Söylediği daha dar ve yine de yararlıdır: bu panel altında rakamın ne kadar kararlı olduğu.
• Aralık aynı ölçüm için her seferinde aynı çıkar; iki gösterim arasında değişmez.

Bir değişimi ne zaman değişim diye söylüyoruz

İki ölçüm yalnızca aynı soru setiyle ve aynı puanlama kurallarıyla yapıldıysa karşılaştırılır. Aradaki fark da ancak aynı sorular yeniden sorulduğunda oluşabilecek farktan büyükse "yükseldi" ya da "azaldı" diye yazılır. Aksi hâlde rapor iki sayıyı ve farkın olası aralığını verir, yön sözcüğü ve ok kullanmaz.

Aynı soruya verilen yanıtlar arasındaki benzerlik (ICC)

0,362

• Farkın aralığı, iki oranın farkı için Newcombe yöntemiyle hesaplanır. Bir sorunun her motordaki yanıtı birbirine benzediği için yanıt sayısı, bu benzerlik kadar küçültülerek kullanılır.
• Rapor en büyük değişimleri birçok satır arasından seçtiği için, her satırın eşiği karşılaştırılan satır sayısına göre yükseltilir (Šidák düzeltmesi). Çok satırdan seçilen bir farkın daha yüksek bir çıtayı geçmesi gerekir.
• Aralık sıfırı içeriyorsa değişim iddia edilmez. "Değişmedi" da yazılmaz: bu da bir iddiadır.

Puan nasıl oluşur

Toplam puan 100 birimlik beş sütunun ağırlıklı ortalamasıdır. Ölçülemeyen bir sütun sıfır sayılmaz; ağırlığı paydadan çıkar. Tek bir istisna vardır: görünürlük ölçülemediyse toplam puan ve not hiç verilmez, çünkü geriye kalan sütunlar çoğunlukla site hazırlığıdır ve toplamı yükseltir.

Görünürlük

30

Atıf

20

Algı

10

İçerik

25

Teknik

15

• Algı, markayı anmayan sorulara verilen ve tonu okunmuş en az 5 anılma olmadan hesaplanmaz. Okunamayan bir anılma "nötr" sayılmaz.
• Notlar: A+ ≥ 90 · A ≥ 80 · B ≥ 65 · C ≥ 50 · D ≥ 35 · F ≥ 0

Düşük görünürlük ne anlama gelmez

Görünürlük, yapay zekâ yanıtlarında markanın kendiliğinden ne sıklıkla anıldığını ölçer. Başka bir şeyi ölçmez. Raporlarımız düşük bir oranı aşağıdakilerin kanıtı olarak sunmaz:

• Tüketici talebinin düşük olduğu
• Marka bilinirliğinin düşük olduğu
• Pazar payının düşük olduğu
• Tüketicilerin markayı tercih etmediği
• Yapay zekânın markayı önermediği