# robots.txt ile yapay zekâ botları: GPTBot, ClaudeBot, PerplexityBot ve Google-Extended rehberi

> OpenAI, Anthropic, Perplexity ve Google botlarının görevleri resmî belgelerden: eğitimi kapatıp yapay zekâ aramasında görünür kalmak için örnek robots.txt.

Yayımlanma: 2026-10-07
<https://geomono.com/tr/blog/robots-txt-yapay-zeka-botlari-rehberi>

robots.txt, sitenizin kök dizininde duran ve tarayıcılara hangi yolları taramamalarını istediğinizi söyleyen düz metin bir dosyadır; yapay zekâ şirketlerinin botları da bu dosyayı okur. OpenAI, Anthropic ve Perplexity arama, kullanıcı isteği ve model eğitimi için ayrı bot adları kullandığından, eğitim için toplamayı kapatıp bu motorların aramasında görünür kalmak robots.txt ile mümkündür. Google'da ayrım farklı işler: Google-Extended Arama'yı etkilemez, ama yalnızca eğitimle de sınırlı değildir.

Bu rehberdeki her bot adı ve görev tanımı, şirketlerin kendi belgelerinden 7 Ekim 2026'da yeniden okundu. Bu belgeler sık güncelleniyor; kuralı yazmadan önce bağlantılara bir kez daha bakmanızı öneririz.

## robots.txt bir rica, kilit değil

robots.txt bir erişim denetimi değildir. Protokolün standart belgesi olan [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html) (Eylül 2022), bu kuralların bir erişim yetkilendirmesi biçimi olmadığını açıkça yazar ve tarayıcılardan bu kurallara uymalarını rica eder. Aşağıda adı geçen şirketler, arama ve eğitim botlarını robots.txt ile yönetmenizi kendi belgelerinde öneriyor; bir botun bu kurallara uyduğu bilgisi yasal bir yükümlülük değil, şirketin kendi beyanıdır.

Kesin bir engel gerekiyorsa kural sunucuda, güvenlik duvarında ya da CDN'de yazılır. robots.txt ise belgelenmiş botlara isteğinizi bildirmenin en sade yoludur ve çoğu karar için yeterlidir.

Protokolün iki kuralı, yapay zekâ botlarıyla ilgili hataların çoğunu açıklıyor:

- **Hangi grup uygulanır?** Bir bot, robots.txt'de kendi adının geçtiği grubu uygular. Adına özel bir grup yoksa yıldızlı gruba (`User-agent: *`) uyar. Yıldızlı grup da yoksa ona hiçbir kısıtlama uygulanmaz.
- **Değişiklik ne zaman işler?** RFC 9309, tarayıcıların robots.txt'nin önbellekteki kopyasını genellikle 24 saatten uzun kullanmaması gerektiğini söyler. OpenAI de OAI-SearchBot için bir robots.txt değişikliğinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini yazıyor.

## Üç tür yapay zekâ botu

Bir yapay zekâ şirketinin sitenize gönderdiği istekler üç görevden birine hizmet eder. Bu ayrım, robots.txt kararının temelidir:

| Görev | Ne yapar | Engellerseniz ne olur |
|---|---|---|
| Arama dizini | Sayfaları önceden okuyup motorun aramasına ekler | O motorun arama cevaplarında kaynak olarak görünme yolu kapanır |
| Kullanıcı isteği | Bir kullanıcı soru sorduğunda ya da bir adres verdiğinde sayfayı o anda açar | Motor, kullanıcının istediği anda sayfanızı okuyamaz |
| Model eğitimi | Gelecekteki modellerin eğitiminde kullanılabilecek içeriği toplar | İçeriğinizin eğitim verisine alınmaması istenmiş olur |

Sık yapılan hata, eğitim botlarını durdurmak isterken yıldızlı gruba genel bir `Disallow: /` yazıp arama botlarını da kapatmaktır. Arama botları kendi adlarıyla bir grupta yer almıyorsa yıldızlı kurala uyarlar.

## Şirket şirket botlar: resmî belgelere göre tablo

Aşağıdaki tablo, dört şirketin belgelerinde yer alan botları ve görevlerini gösteriyor. "robots.txt uygulanır mı?" sütunu şirketin kendi beyanıdır.

| Bot adı | Şirket | Görev | robots.txt uygulanır mı? |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Arama dizini (ChatGPT arama özellikleri) | Evet |
| ChatGPT-User | OpenAI | Kullanıcı isteği | OpenAI'ye göre uygulanmayabilir |
| GPTBot | OpenAI | Model eğitimi | Evet |
| Claude-SearchBot | Anthropic | Arama dizini | Evet |
| Claude-User | Anthropic | Kullanıcı isteği | Evet, Anthropic'in beyanına göre |
| ClaudeBot | Anthropic | Model eğitimi | Evet |
| PerplexityBot | Perplexity | Arama dizini | Evet, Perplexity robots.txt ile yönetilmesini öneriyor |
| Perplexity-User | Perplexity | Kullanıcı isteği | Perplexity'ye göre genellikle uygulanmaz |
| Googlebot | Google | Google Arama dizini | Evet |
| Google-Extended | Google | Ayrı bir bot değil, kontrol belirteci: Gemini eğitimi ve Gemini uygulamalarında dayanak | Evet, yalnızca robots.txt'de bir ad olarak |

### OpenAI

[OpenAI'nin tarayıcı belgesine](https://developers.openai.com/api/docs/bots) göre OAI-SearchBot, sitelerin ChatGPT'nin arama özelliklerinde gösterilmesi için kullanılır. OAI-SearchBot'u engelleyen siteler ChatGPT arama cevaplarında gösterilmez; belge, bu sitelerin yine de gezinme bağlantısı olarak görünebileceğini ekliyor.

GPTBot, OpenAI'nin üretken yapay zekâ temel modellerinde kullanılır. GPTBot'u engellemek, sitenin içeriğinin bu modellerin eğitiminde kullanılmaması gerektiğini bildirir. OpenAI ayrıca iki bota da izin verilmişse yinelenen taramayı önlemek için tek bir taramanın sonucunu iki amaç için kullanabileceğini yazıyor.

ChatGPT-User, ChatGPT'de ve özel GPT'lerde bazı kullanıcı eylemleri için sayfaları açar. OpenAI, bu eylemleri kullanıcı başlattığı için robots.txt kurallarının uygulanmayabileceğini ve ChatGPT-User'ın bir içeriğin aramada görünüp görünmeyeceğini belirlemek için kullanılmadığını belirtiyor. Arama tercihi için OAI-SearchBot'u yönetmenizi öneriyor.

### Anthropic

[Anthropic'in yardım sayfası](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) (7 Nisan 2026 güncellemesi) üç bot tanımlıyor. ClaudeBot, eğitime katkı sağlayabilecek web içeriğini toplar; ClaudeBot'u kısıtlamak, sitenin gelecekteki içeriğinin eğitim veri setlerinden çıkarılması gerektiğini bildirir.

Claude-SearchBot, kullanıcıların arama sonuçlarının kalitesini artırmak için web'i gezer; engellenirse içerik arama için dizinlenmez. Claude-User ise bir kullanıcı Claude'a soru sorduğunda siteye erişir; engellenirse Claude kullanıcının sorusuna cevap verirken içeriğinizi getiremez ve sayfa, Anthropic'in ifadesiyle kullanıcı yönlendirmeli aramada daha az görünür olabilir.

Anthropic, botlarının robots.txt'deki standart yönergelere uyduğunu ve standart dışı `Crawl-delay` uzantısını da desteklediğini yazıyor. Her bot ayrı yönetilir: ClaudeBot'u engellemek Claude-SearchBot'u ya da Claude-User'ı engellemez. Sayfa ayrıca IP adresi engellemenin, botun robots.txt'yi okumasını da engellediği için güvenilir bir tercih yolu olmayabileceği uyarısını yapıyor.

### Perplexity

[Perplexity'nin belgesine](https://docs.perplexity.ai/guides/bots) göre PerplexityBot, siteleri Perplexity'nin arama sonuçlarında göstermek ve bağlantı vermek için tasarlanmıştır ve yapay zekâ temel modelleri için içerik taramakta kullanılmaz. Perplexity, sitelerin aramada görünmesi için PerplexityBot'a robots.txt'de izin verilmesini öneriyor ve robots.txt değişikliklerinin sistemlerine yansımasının 24 saate kadar sürebileceğini yazıyor.

Perplexity-User, kullanıcı Perplexity'ye bir soru sorduğunda doğru cevap vermek için bir sayfayı ziyaret edebilir. Perplexity, bu getirme işlemini kullanıcı başlattığı için robots.txt kurallarını genellikle uygulamadığını ve bu botun eğitim için içerik toplamadığını yazıyor.

### Google

Google'da ayrı bir "yapay zekâ arama botu" yok. Googlebot, Google Arama'nın dizinini oluşturur. Google'ın [AI features and your website](https://developers.google.com/search/docs/appearance/ai-features) belgesine göre bir sayfanın AI Bakışı'nda (AI Overviews) ya da AI Modu'nda destekleyici bağlantı olarak gösterilebilmesi için dizinlenmiş olması ve Google Arama'da önizlemeyle gösterilmeye uygun olması gerekir. Googlebot'u engellemek bu yüzden iki yerden birden çıkmak demektir.

[Google'ın ortak tarayıcılar listesine](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) göre Google-Extended ayrı bir kullanıcı ajanı dizesi olan bir bot değil; tarama Google'ın mevcut botlarıyla yapılır ve Google-Extended yalnızca robots.txt'de bir kontrol adı olarak kullanılır. Google-Extended, Google'ın taradığı içeriğin gelecek Gemini modellerinin eğitiminde kullanılıp kullanılmayacağını ve Gemini uygulamalarında ve Vertex AI'daki Google Arama ile dayanak özelliğinde kullanılıp kullanılmayacağını yönetir. Aynı belge, Google-Extended'in bir sitenin Google Arama'ya dahil edilmesini etkilemediğini ve bir sıralama sinyali olarak kullanılmadığını yazıyor.

AI Bakışı'nda sayfanızdan ne kadar bilgi gösterileceğini sınırlamak istiyorsanız Google'ın gösterdiği yol robots.txt değil, sayfa düzeyindeki önizleme kontrolleridir: `nosnippet`, `data-nosnippet`, `max-snippet` ve `noindex`.

{{cta}}

## Eğitimi engelle, aramada görünür kal: örnek robots.txt

Aşağıdaki örnek, arama ve kullanıcı isteği botlarına izin veren, eğitim için toplayan botları durduran bir robots.txt'nin nasıl göründüğünü gösteriyor. Bir öneri değil, görevleri ayıran bir karar örneğidir; eğitim botlarını açık bırakmak da meşru bir tercihtir.

```text
# Arama dizini ve kullanıcı isteği botları: izinli
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Model eğitimi için toplayan botlar: kapalı
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Diğer tüm tarayıcılar (Googlebot dahil)
User-agent: *
Disallow: /yonetim/

Sitemap: https://www.ornek.com.tr/sitemap.xml
```

Bu dosyada üç şeye dikkat edin. Birincisi, bir grup birden fazla `User-agent` satırı taşıyabilir; altındaki kurallar hepsine uygulanır. İkincisi, Googlebot ayrıca yazılmadı: yıldızlı gruba uyar ve yalnızca `/yonetim/` yolu dışında her yeri tarar. Üçüncüsü, ChatGPT-User ve Perplexity-User için yazılan kural, şirketlerin kendi beyanına göre her zaman uygulanmayabilir; yine de niyetinizi açıkça yazmış olursunuz.

> [!UYARI]
> Google-Extended'i eğitim grubuna eklemek, Google'ın belgesine göre içeriğinizin Gemini eğitiminde kullanılmasını durdurur ama Gemini uygulamalarında dayanak olarak kullanılmasını da durdurur. Google Arama'yı, AI Bakışı'nı ve AI Modu'nu etkilemez. Gemini uygulamasındaki cevaplarda kaynak olmak sizin için önemliyse bu satırı ayrı bir karar olarak tartın.

Son olarak `Sitemap` satırı her gruptan bağımsızdır ve dosyanın herhangi bir yerinde durabilir. Site haritasının gerçekten bir XML dosyası döndürdüğünü, sitenizin tasarımını göstermediğini tarayıcıda açarak kontrol edin.

## Cloudflare'in 2026 varsayılanı

robots.txt izin verse bile istek sunucunuza ulaşmadan durdurulabilir. [Cloudflare 1 Temmuz 2026'da](https://blog.cloudflare.com/content-independence-day-ai-options/) yapay zekâ tarayıcılarını üç kategoriye ayırdığını duyurdu: Arama (içeriği daha sonra soruları cevaplamak için toplayan ya da dizinleyen davranış), Ajan (bir kişi adına, genellikle o anda bir işi yapan otomatik davranış) ve Eğitim (bir modeli eğitmek ya da ince ayar yapmak için içerik alan tarayıcı).

Duyuruya göre 15 Eylül 2026'dan itibaren Cloudflare'e yeni katılan alan adlarında, reklam gösteren sayfalarda Eğitim ve Ajan kategorisindeki tarayıcılar varsayılan olarak engelleniyor; Arama kategorisi izinli kalıyor. Müşteriler bu varsayılanın dışında kalmayı seçebiliyor. Arama ile eğitimi birleştiren çok amaçlı tarayıcılar ise tüm davranışlarına göre değerlendiriliyor: eğitimi engellemeyi seçen bir site, eğitim de yapan çok amaçlı bir tarayıcıyı da engellemiş olur.

Bu değişiklik bütün siteleri kapsamıyor; duyuru yeni katılan alan adlarından ve reklam gösteren sayfalardan söz ediyor. Yine de pratik sonucu açık: CDN panelindeki bir bot ayarı, robots.txt'de hiç görünmeyen bir engel üretebilir. Cloudflare'in Ajan tanımı, bir kişi adına o anda çalışan davranışı kapsıyor; bu tanım kullanıcı isteğiyle sayfa açan botlara yakın. Hangi botun hangi kategoride sayıldığını kendi CDN panelinizden kontrol edin.

## Kuralı yazdıktan sonra nasıl kontrol edilir?

Bir robots.txt kuralının işe yarayıp yaramadığı dosyaya bakarak değil, botun aldığı yanıta bakarak anlaşılır. Kontrol için dört adım öneriyoruz:

1. **Dosyanın kendisini açın.** `https://alanadiniz.com.tr/robots.txt` adresi düz metin göstermeli. Tek sayfalık uygulamalarda bu adres bazen sitenin ana sayfasını 200 koduyla döndürür; dosya varmış gibi görünür ama yoktur.
2. **Her bot için kararı ayrı okuyun.** Hangi grubun hangi bota uygulandığını, yukarıdaki eşleşme kuralına göre tek tek kontrol edin.
3. **CDN ve güvenlik duvarı ayarlarına bakın.** robots.txt izin verdiği hâlde bir bot 403 alıyorsa, kural büyük olasılıkla sunucunun önündedir.
4. **Sunucu kayıtlarınızı okuyun.** Bir botun gerçekten gelip gelmediğinin kesin kanıtı oradadır. OpenAI ve Perplexity, botlarının IP adreslerini yayımlıyor; bot adını taşıyan her istek o şirketten gelmeyebilir.

[Kayıt gerektirmeyen taramamız](/tr/tarama) bu kontrollerin bir kısmını tek seferde yapar: robots.txt kurallarınızı her yapay zekâ botu için ayrı okur, aynı sayfayı yapay zekâ botlarının adlarıyla da isteyerek sunucunun bu isteklere farklı davranıp davranmadığına bakar. Eğitim botlarının durumu ayrı ve puanı düşürmeyen bir not olarak gösterilir. Kendi tarayıcımızın kendini sunucu kayıtlarınızda nasıl tanıttığı [tarayıcı bildirimimizde](/tr/bot) yazılı.

Sayfa düzeyindeki önizleme kontrolleri ve yapısal veri gibi başka teknik sinyaller için [yapısal veri rehberimize](/tr/blog/yapisal-veri-schema-geo), llms.txt dosyasının bugünkü durumu için [llms.txt yazımıza](/tr/blog/llms-txt-ise-yariyor-mu) bakabilirsiniz.

## Sık sorulan sorular

### GPTBot'u engellersem ChatGPT'de görünmez olur muyum?

OpenAI'nin belgesine göre hayır. GPTBot model eğitimi için kullanılır; ChatGPT'nin arama cevaplarında gösterilmeyi belirleyen bot OAI-SearchBot'tur. GPTBot'u engelleyip OAI-SearchBot'a izin veren bir site, OpenAI'nin beyanına göre ChatGPT aramasında gösterilmeye uygun kalır.

### Google-Extended'i engellersem AI Bakışı'ndan çıkar mıyım?

Google'ın belgesine göre hayır. Google-Extended, bir sitenin Google Arama'ya dahil edilmesini etkilemez; AI Bakışı ve AI Modu'nda destekleyici bağlantı olmak için sayfanın Google'da dizinli ve önizlemeyle gösterilmeye uygun olması gerekir. Google-Extended ise Gemini eğitimini ve Gemini uygulamalarındaki dayanak kullanımını yönetir.

### robots.txt yapay zekâ şirketlerini yasal olarak bağlar mı?

robots.txt bir erişim denetimi değil, tarayıcılara yöneltilmiş bir ricadır; protokolün standart belgesi RFC 9309 bunu açıkça söyler. OpenAI, Anthropic, Perplexity ve Google, arama ve eğitim botlarını robots.txt ile yönetmenizi kendi belgelerinde öneriyor; bu bir yasal yükümlülük değil, şirketlerin kendi beyanıdır. Kesin bir engel için kuralın sunucuda ya da CDN'de yazılması gerekir.

### Kullanıcı isteğiyle gelen botları engellemek mantıklı mı?

Bu botlar, bir kullanıcı soru sorduğunda ya da bir adres verdiğinde sayfanızı o anda açar; engellenirse motor o anda içeriğinizi okuyamaz. OpenAI ve Perplexity bu botlarda robots.txt kurallarının uygulanmayabileceğini yazdığı için kural her zaman işlemeyebilir. Bir veri politikası gerektirmiyorsa açık bırakmak, kullanıcının sorduğu anda sayfanızın okunabilmesine imkân tanır.

### Değişiklik ne zaman etkili olur?

RFC 9309, tarayıcıların robots.txt'nin önbellekteki kopyasını genellikle 24 saatten uzun kullanmaması gerektiğini söyler. OpenAI OAI-SearchBot için yaklaşık 24 saat, Perplexity ise 24 saate kadar bir süre belirtiyor. Bir günden sonra hâlâ farklı bir davranış görüyorsanız CDN ayarlarına ve sunucu kayıtlarına bakın.

## Kaynaklar

- [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots), OpenAI, erişim 7 Ekim 2026
- [Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler), Anthropic Yardım Merkezi, güncelleme 7 Nisan 2026
- [Perplexity Crawlers](https://docs.perplexity.ai/guides/bots), Perplexity, erişim 7 Ekim 2026
- [List of Google's common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers), Google Search Central, güncelleme 14 Temmuz 2026
- [AI features and your website](https://developers.google.com/search/docs/appearance/ai-features), Google Search Central, güncelleme 10 Aralık 2025
- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html), IETF / RFC Editor, Eylül 2022
- [Your site, your rules: new AI traffic options for all customers](https://blog.cloudflare.com/content-independence-day-ai-options/), Cloudflare Blog, 1 Temmuz 2026