robots.txt ile Yapay Zekâ Botlarına İzin Verme ve Engelleme

Yapay zekâ botlarına robots.txt ile izin vermek veya erişimi sınırlamak için her sağlayıcının kullandığı User-agent token’ını ayrı değerlendirin. Arama taraması, model geliştirme için içerik toplama ve kullanıcı isteğiyle sayfa getirme farklı amaçlardır; tek bir “AI botu” kuralı hepsinin aynı sonucu doğuracağını göstermez.

İzin veya engel kararı vermeden önce hangi kullanımın sizin için önemli olduğunu belirleyin. Bir botu açık bırakmak görünürlük garantisi olmadığı gibi, birini engellemek de diğer hizmetleri otomatik olarak kapatmayabilir.

Yapay zekâ botlarının amacı neden ayrıştırılmalı?

“Yapay zekâ botu” tek bir ürün veya tek bir tarayıcı adı değildir. Sağlayıcılar, genel arama, kullanıcıya arama yanıtı sunma, model geliştirme veya kullanıcı tarafından istenen bir sayfayı getirme gibi farklı işleri ayrı User-agent’larla tanımlayabilir.

Bu ayrım, dosyayı yanlışlıkla tüm botlara kapatmamak veya yalnız istemediğiniz kullanımı sınırlayamamak için önemlidir. Önce belirli bot adını ve sağlayıcının bu bot için verdiği amacı doğrulayın. Ardından seçtiğiniz kuralın gerçekten hangi tarama işini etkilediğini okuyun.

GPTBot ve OAI-SearchBot aynı işi mi yapar?

OpenAI’nin tarayıcı dokümantasyonu GPTBot ile OAI-SearchBot’u ayrı amaçlarla tanımlar. GPTBot, içerikleri modellerin geliştirilmesinde kullanılabilecek şekilde tarar; OAI-SearchBot ise ChatGPT arama özelliklerindeki web sonuçları için kullanılır. OpenAI bu tercihlerin bağımsız olduğunu belirtir.

Bu nedenle, model geliştirme amacıyla kullanılan GPTBot’u engellemek, OAI-SearchBot için aynı kuralı otomatik olarak koyduğunuz anlamına gelmez. İki grubu ayrı tanımlayarak bir kullanım için izin verirken diğerine sınırlama getirebilirsiniz. Örnek yapı:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Örnekte arama botuna erişim açık, GPTBot içinse tüm yollar kapalıdır. Bu, her işletme için önerilen tercih değildir; yalnız iki ayrı kullanımın nasıl tanımlanabileceğini gösterir. Arama botuna izin vermek, sayfanın bir yanıtta kesin gösterileceğini veya tıklama alacağını garanti etmez.

OpenAI, ChatGPT-User adını da kullanıcı tarafından başlatılan bazı sayfa erişimleri için açıklar. Bu isteklerin otomatik web taraması olmadığını ve robots.txt kurallarının bunlara uygulanmayabileceğini belirtir. Dolayısıyla GPTBot veya OAI-SearchBot kuralının, kullanıcının doğrudan istediği sayfa getirme davranışını kesin olarak yönettiğini söylemeyin.

ClaudeBot, Claude-SearchBot ve Claude-User nasıl ayrılır?

Anthropic’in 7 Nisan 2026 tarihli açıklaması üç farklı bot tanımlar: ClaudeBot model geliştirme amacıyla içerik toplama; Claude-SearchBot arama yanıtlarının kalitesini destekleme; Claude-User ise kullanıcı sorusu üzerine web sayfası getirme için kullanılır. Anthropic, botlarının robots.txt kurallarına uyduğunu ve kullanıcıların bu botlar için ayrı tercih belirleyebileceğini söylüyor.

Bir ClaudeBot kuralını Claude-SearchBot ya da Claude-User için de geçerli varsaymayın. Hangi erişim türünü sınırlamak istediğinizi seçin ve her token için ilgili grubu tanımlayın. Anthropic, Crawl-delay gibi standart dışı bir yönergeyi desteklediğini de belirtir; fakat bu uzantının başka sağlayıcılarca uygulanacağını varsaymayın.

Bu bilgiler sağlayıcıların kendi dokümanlarında açıkladığı davranışlardır. Her isteğin gerçekten o sağlayıcıdan geldiğini yalnız User-agent metnine bakarak kanıtlayamazsınız; istemci bu metni taklit edebilir.

Google-Extended ayrı bir tarayıcı mıdır?

Google-Extended, ayrı bir HTTP User-agent dizesi değil, robots.txt içinde kullanılan bir ürün token’ıdır. Google’ın tarayıcı dokümantasyonuna göre Google’ın mevcut tarayıcılarıyla yapılan erişimlerde içerik kullanım tercihlerini yönetmek için kullanılır. Google-Extended ayarı, Google Arama’ya dahil olmayı veya Google Arama sıralamasını etkilemez.

Bu nedenle Google-Extended satırını Googlebot’un genel erişim kuralıyla karıştırmayın. Bir token’ın robots.txt dosyasında yer alması onun tek başına ayrı bir ağ tarayıcısı olduğu anlamına gelmez. İstediğiniz politika için hem token’ın tanımını hem de hangi Google ürünlerini etkilediğini resmi dokümandan kontrol edin.

Botlara izin vermeden veya engellemeden önce ne yapmalı?

Önce içerik kullanım tercihlerinizi yazılı hale getirin: Arama sonuçlarında kaynak olarak bulunmak istiyor musunuz? İçeriğin model geliştirme için toplanmasını sınırlamak istiyor musunuz? Kullanıcı sorusu üzerine sayfanın okunmasına izin vermek istiyor musunuz? Bu soruların yanıtları farklı olabilir.

Sonra dosyanın kapsadığı her ana makineyi ayrı kontrol edin. Kök alan adı, www ve önemli alt alan adları farklı robots.txt dosyalarına sahip olabilir. İçerik yönetim sistemi veya CDN dosyayı otomatik üretiyorsa, panelde yaptığınız tercihlerin canlı dosyada nasıl göründüğünü tekrar okuyun.

Özel müşteri verisini robots.txt ile saklamayın. RFC 9309’a göre bu protokol erişim yetkilendirmesi değildir; dosyada listelenen yollar da herkese açıktır. Bir sayfaya kesin erişim kısıtı gerekiyorsa oturum açma, sunucu yetkilendirmesi veya WAF gibi gerçek güvenlik kontrollerini kullanın. Cloudflare’ın AI Crawl Control gibi sağlayıcı özellikleri, robots.txt dışında ek gözlem ve erişim kontrolü sunabilir; bunlar Robots Exclusion Protocol’ün evrensel bir parçası değildir.

Yayın sonrası hangi kontroller yapılmalı?

Değişiklikten sonra her bot için ayrı senaryo hazırlayın: beklenen bot grubu, örnek sayfa yolu, eşleşen Allow veya Disallow satırı ve gerçek yanıt. Kural dosyasının beklenen hostta döndüğünü ve CMS/CDN önbelleğinin eski içeriği servis etmediğini doğrulayın.

Tarama erişimi ile içerik kullanım sinyalini de birbirinden ayırın. Bir botun URL’ye erişebilmesi, içeriğin hangi amaçla kullanılacağına dair tüm politikaların çözüldüğünü göstermez. Tersine, robots.txt ile erişimi sınırlamak da daha önce toplanmış içeriğin silindiğini veya bir model yanıtının değiştiğini kanıtlamaz.

robots.txt’yi önce nedir ve ne işe yarar? yazımızdan, ardından nasıl test edilir? rehberinden inceleyebilirsiniz. Teknik erişim tercihlerinizi site işlevleriyle birlikte değerlendirmek için Yapay Zekâya Hazır Olun hizmetimizin kapsamına bakın.

Sık sorulan sorular

GPTBot’u engellersem ChatGPT arama sonuçlarından çıkar mıyım? OpenAI GPTBot’u model geliştirme amacıyla, OAI-SearchBot’u ise ChatGPT arama özellikleri için ayrı tanımlar. GPTBot kuralı OAI-SearchBot tercihini otomatik belirlemez; arama erişimi için ilgili grubun kuralını ayrıca kontrol edin.

OAI-SearchBot’a izin verirsem ChatGPT’de kesin görünür müyüm? Hayır. İzin, yalnız botun erişimine ilişkin robots.txt tercihidir. Arama yanıtında görünme, kaynak gösterilme veya trafik garantisi sağlamaz.

Google-Extended Googlebot’un User-agent’ı mıdır? Hayır. Google bunu ayrı HTTP User-agent dizesi olarak değil, robots.txt içindeki bir ürün token’ı olarak açıklar. Tercih, Google Arama’ya dahil olmayı veya sıralamayı etkilemez.

robots.txt yapay zekâ botlarını kesin olarak durdurur mu? Hayır. RFC 9309 bunu erişim yetkilendirmesi olarak tanımlamaz. Kurallara uymayan bir istemciyi durdurmak için gerçek erişim kontrolü gerekir.

Kaynaklar

• OpenAI, “Overview of OpenAI Crawlers” (Erişim: 29 Ekim 2026)
• Anthropic, “Does Anthropic crawl data from the web, and how can site owners block the crawler?” (7 Nisan 2026)
• Google Search Central, “List of Google’s common crawlers” (Erişim: 29 Ekim 2026)
• Internet Engineering Task Force, “RFC 9309: Robots Exclusion Protocol” (Eylül 2022)
• Cloudflare, “AI Crawl Control” (14 Ağustos 2026)