Siteniz Hangi Yapay Zekâ Tarayıcılarına Açık? Nasıl Kontrol Edilir?

Bir yapay zekâ tarayıcısının sitenize açık olup olmadığını anlamak için robots.txt kurallarını, gerçek istek kayıtlarını ve istemcinin kimlik doğrulamasını ayrı ayrı kontrol edin. Dosyada izin bulunması botun geldiğini kanıtlamaz; günlükte User-agent görülmesi de isteğin gerçekten o sağlayıcıdan geldiğini tek başına doğrulamaz.

Önce hangi anlamı aradığınızı belirleyin: Bir botun kurallara göre erişmesine izin veriliyor mu, gerçekten istek gönderdi mi, yoksa içerik bir yapay zekâ arama yanıtında mı gösterildi? Bunlar birbirinden farklı sorulardır.

“Açık” kelimesi üç ayrı kanıta karşılık gelir

Robots.txt dosyasında ilgili User-agent için yolu engelleyen bir kural bulunmaması, uyumlu tarayıcıya yönelik bir erişim tercihidir. Bu, sunucunun teknik olarak herkese açık olduğu ya da botun isteğinin başarılı olacağı anlamına gelmez. WAF, CDN, oturum gereksinimi, coğrafi filtre veya ağ hatası isteği yine engelleyebilir.

İkinci kanıt, gerçek istek kaydıdır. Sunucu veya CDN günlüklerinde zaman, istenen yol, yanıt kodu, kaynak IP ve User-agent gibi alanları arayın. Bir kayıt, ilgili uç noktanın o anda bir istek aldığını gösterir; sayfanın başka bir amaçla kullanıldığını ya da arama sonucunda gösterildiğini kanıtlamaz.

Üçüncü düzey, istemci kimliğinin doğrulanmasıdır. HTTP User-agent metni istemci tarafından gönderilir ve taklit edilebilir. Bu nedenle yalnızca “GPTBot” veya “Googlebot” yazan bir başlığa dayanarak botun kim olduğunu kesinleştirmeyin.

Önce doğru alan adındaki robots.txt dosyasını inceleyin

Test ettiğiniz URL’nin protokolünü ve ana makinesini kaydedin. www bulunan ve bulunmayan alan adları, alt alan adları ve HTTP ile HTTPS ayrı robots.txt kapsamları olabilir. Her alan adı için kök dizindeki dosyayı açın ve yönlendirme varsa başlangıç adresini, hedef adresi ve son yanıtı not edin.

Ardından test edeceğiniz botun gerçek User-agent token’ını sağlayıcının resmi dokümanından bulun. Örneğin OpenAI, GPTBot’u model geliştirme, OAI-SearchBot’u ChatGPT arama özellikleri için ayrı açıklar. ChatGPT-User ise kullanıcı tarafından başlatılan bazı sayfa erişimleri içindir ve otomatik web tarayıcısı olarak tanımlanmaz. Bir bot için yazılan Allow veya Disallow kuralını diğerine otomatik olarak uygulamayın.

Anthropic de ClaudeBot, Claude-SearchBot ve Claude-User için farklı kullanım amaçları yayımlar. Googlebot otomatik arama tarayıcılarından biridir; Google-Extended ise ayrı bir HTTP User-agent değildir, robots.txt’de kullanılan bir ürün tercih token’ıdır. Bot adını doğru seçmek, ölçümün ilk adımıdır.

Daha önceki robots.txt nedir? ve robots.txt nasıl test edilir? yazılarımızda bu dosyanın kapsamını ve kural eşleşmesini adım adım ele alıyoruz.

Gerçek istek kayıtlarında hangi alanlara bakılır?

Web sunucusu, CDN veya WAF günlüklerinde bot adı, IP adresi, URL yolu, zaman damgası ve yanıt kodunu birlikte değerlendirin. 200, isteğin içerik döndürdüğünü; 403 veya 429 gibi yanıtlar ise erişim ya da hız sınırı uygulandığını gösterebilir. Tek bir günlük satırı yerine bir zaman aralığına ve birden fazla isteğe bakın.

Site Cloudflare gibi bir proxy arkasındaysa, origin sunucusunun gördüğü kaynak IP çoğu zaman ziyaretçinin değil proxy’nin adresidir. İstemci IP’si yalnız güvenilir biçimde yapılandırılmış proxy başlığından veya Cloudflare kayıtlarından alınmalıdır. Bu başlığa istemci tarafından sahte değer eklenebileceğini unutmayın; uygulamanız proxy kaynağını doğrulamadan onu güvenilir kabul etmemelidir.

Cloudflare AI Crawl Control gibi bir görünüm, trafiği bot adına, sağlayıcıya, alan adına veya yola göre incelemeyi kolaylaştırabilir. Ücretsiz plandaki tespit User-agent metnine dayanabildiğinden, bu sınıflandırma tek başına kriptografik kimlik doğrulaması değildir. Bulguya “günlükte GPTBot User-agent’ı görüldü” gibi kanıt düzeyine uygun bir açıklama yazın.

Bot kimliğini nasıl doğrularsınız?

Önce ilgili sağlayıcının resmî IP listesi, doğrulama yöntemi veya bot dokümanı olup olmadığına bakın. Google, bazı tarayıcı isteklerini kaynak IP aralığıyla eşleştirmeyi veya ters DNS sorgusunu yapıp sonra ileri DNS ile aynı IP’ye döndüğünü doğrulamayı anlatır. Bu kontrol yalnız Google için belgelenen yöntemdir; bütün sağlayıcılara aynı DNS maskesini uygulamayın.

Bir sağlayıcı doğrulama yöntemi yayımlamıyorsa veya elinizde kaynak IP bulunmuyorsa, User-agent kaydını kesin kimlik kanıtı gibi sunmayın. Sonucu “öz-kimlik bildiren User-agent görüldü; kaynak doğrulanamadı” şeklinde kaydedin. Bu, hem yanlış bot atfını hem de gereksiz güvenlik kuralı eklenmesini önler.

Robots izni ile fiilî erişimi çapraz kontrol edin

Her bot için küçük bir test çizelgesi oluşturun: doğru host, User-agent, örnek yol, eşleşen robots kuralı, gerçek istek kaydı ve HTTP sonucu. Örneğin robots.txt OAI-SearchBot için bir yolu açık bırakırken WAF 403 döndürebilir. Bu durumda robots tercihi açık, fiilî erişim başarısızdır. Bunları tek “açık” etiketiyle birleştirmeyin.

Aynı şekilde bir botun sayfayı başarıyla alması da içeriğin eğitimde kullanıldığını, arama sonuçlarında göründüğünü veya bir yanıtta kaynak gösterildiğini kanıtlamaz. Bunlar içerik kullanımı ve görünürlük hakkında ayrı iddialardır. Robots.txt’nin güvenlik sınırı için GPTBot ve yapay zekâ botları yazısına bakın. Erişim tercihlerinizi işletme işlevleriyle birlikte değerlendirmek için Yapay Zekâya Hazır Olun hizmetimizin kapsamını inceleyebilirsiniz.

Sık sorulan sorular

Robots.txt dosyasında Allow varsa botun geldiğini anlar mıyım? Hayır. Allow bir erişim tercihini bildirir. Botun gerçekten istek gönderip göndermediğini görmek için sunucu, CDN veya WAF günlüklerini kontrol edin.

Günlükte GPTBot yazması isteğin OpenAI’den geldiğini kanıtlar mı? Hayır. User-agent başlığı taklit edilebilir. Sağlayıcının yayımladığı IP aralıkları veya doğrulama yöntemi varsa onu kullanın; yoksa kimliği doğrulanamadı olarak kaydedin.

200 yanıtı botun içeriği yapay zekâ cevabında kullandığını gösterir mi? Hayır. 200 yalnızca isteğe başarılı yanıt verildiğini gösterir. Arama sonucu veya kaynak gösterilme ayrı ölçüm gerektirir.

Cloudflare AI Crawl Control tüm botları kesin tanımlar mı? Her planda ve durumda aynı kesinlikte değil. Ücretsiz planın tespiti bilinen User-agent dizgelerine dayanabilir; User-agent taklit edilebilir.

Kaynaklar

• OpenAI, “Overview of OpenAI Crawlers” (Erişim: 29 Ekim 2026)
• Anthropic Privacy Center, “Does Anthropic crawl data from the web, and how can site owners block the crawler?” (7 Nisan 2026)
• Google Crawling Infrastructure, “Verify requests from Google crawlers and fetchers” (Erişim: 29 Ekim 2026)
• Cloudflare, “Get started with AI Crawl Control” (Erişim: 29 Ekim 2026)
• Internet Engineering Task Force, “RFC 9309: Robots Exclusion Protocol” (Eylül 2022)