Cloudflare Yapay Zekâ Botlarını Engelliyor mu?

Cloudflare yapay zekâ botlarını robots.txt tercihleriyle veya ağ katmanında engelleyebilir; hangi davranışın etkin olduğu alan adı ve seçilen güvenlik ayarlarına bağlıdır. Bir robots.txt satırı, Cloudflare WAF engeli ve AI Crawl Control içindeki bot politikası aynı mekanizma değildir. Bu nedenle yalnız dosyayı okuyarak “Cloudflare bütün AI botlarını durduruyor” sonucuna varmayın.

Cloudflare’ın ürün adları ve varsayılanları zaman içinde değişebilir. 2026 dokümantasyonunda Search, Agent ve Training gibi kullanım türlerine göre politika seçenekleri bulunuyor; eski tek düğmeli ayar da ayrıca ele alınıyor. Kontrolü canlı dosya, panel ayarı ve gerçek istek yanıtıyla birlikte yapın.

Önce hangi Cloudflare özelliğini kastettiğinizi ayırın

Cloudflare AI Crawl Control, alan adınıza ulaşan AI crawler trafiğini izleyip seçilen botları engellemek için kullanılabilir. Bu özellikten yararlanmak için alan adının Cloudflare’a bağlı olmasının yanında trafiğin Cloudflare üzerinden proxy edilmesi gerekir. Yalnız DNS’i Cloudflare’da tutmak, trafiğin de Cloudflare proxy’sinden geçtiğini tek başına kanıtlamaz.

Security Settings içindeki AI bot politikaları farklı bir yüzeydir. Cloudflare’ın güncel dokümanları Search, Agent ve Training kullanım grupları için ayrı tercihleri anlatır. Bunlar “sonradan arama yanıtı üretmek için tarama”, “kullanıcı adına gerçek zamanlı işlem yapan ajanlar” ve “model eğitimi için içerik toplama” gibi farklı davranışları tanımlar. Her sitenin bu kategorilerdeki kararı aynı olmak zorunda değildir.

Ağ katmanında engelleme robots.txt’den nasıl ayrılır?

Robots.txt, uyumlu botlara hangi içerik yollarına erişmemelerini istediğinizi bildirir. Cloudflare’ın managed robots.txt özelliği ayarlıysa bu yönergeleri dosyanıza ekleyebilir. Bu, dosyanın yayımladığı bir tercihtir; kendi başına her isteği ağda kesen bir güvenlik kuralı değildir.

Bot politikaları, AI Crawl Control veya WAF kuralı ise isteğe doğrudan blok ya da başka bir müdahale uygulayabilir. Bir URL robots.txt içinde Disallow olduğu halde HTTP 200 dönebilir; bu, protokolün doğası gereğidir. Tersine, robots.txt yolu açık olsa bile WAF 403 veya meydan okuma yanıtı verebilir. İki durumu ayrı raporlayın.

Cloudflare’ın dokümanı, AI Crawl Control’ün crawler engellerini WAF özel kurallarıyla uyguladığını ve bunların diğer güvenlik kurallarıyla etkileşebileceğini belirtir. Bu nedenle bir bot beklenmedik şekilde engelleniyorsa yalnız AI bot düğmesini değil, eşleşen WAF ve özel kuralları da inceleyin.

Search, Agent ve Training ayarlarını nasıl okuyalım?

Cloudflare’ın 2026 tarihli AI bot politikaları, davranış türlerini ayrı yönetmeye yöneliktir. “Search” içerik hakkında yanıt üretmek üzere tarama ve dizinleme; “Agent” gerçek zamanlı kullanıcı görevi sırasında çalışan bot davranışı; “Training” ise model eğitimi veya ince ayar için içerik toplanması olarak açıklanır. Bir sağlayıcının tek botu birden fazla amaç için kullanılıyorsa Cloudflare sınıflandırması, sağlayıcının kendi adlandırmasıyla bire bir aynı olmayabilir.

Her politika için ekrandaki eylemi okuyun: tüm sayfalarda engelleme, yalnız reklam gösterilen sayfalarda engelleme veya izin verme seçenekleri farklı sonuçlar doğurur. Cloudflare, 15 Eylül 2026’dan itibaren yeni alan adları için bazı varsayılanları değiştirdiğini ve eski tek “Block AI Bots” ayarının kullanımdan kaldırılacağını belirtmiştir. Panelde eski ayar veya önceki tercih görüyorsanız bunu güncel davranış varsaymayın; alan adınızın yapılandırmasını doğrudan kontrol edin.

Managed robots.txt ve Bot Preference Sync

Cloudflare, Bot Preference Sync etkin olduğunda seçilen Search, Agent ve Training politikalarından robots.txt yönergeleri üretebilir. Dokümantasyona göre bu yönergeler mevcut robots.txt içeriğinin önüne eklenebilir; tüm tercihler izinliyse eklenecek bir yönerge olmayabilir. Dolayısıyla canlı dosyada gördüğünüz içerik yalnız WordPress’te veya origin sunucuda duran statik metinden farklı olabilir.

Cloudflare AI Training için Disallow tercihinin managed yönerge eklemenin yanında kenar katmanında engelleme davranışıyla ilişkili olduğunu ayrıca açıklar. Bu nedenle “dosyada Disallow var” bulgusunu, etkin ve test edilmiş bir WAF engeliyle aynı kabul etmeyin. Panel durumunu, servisten alınan dosyayı ve günlüklerdeki gerçek durum kodlarını karşılaştırın.

Kendi alan adınızda güvenli biçimde nasıl doğrularsınız?

Önce alan adının proxy durumunu ve hangi Cloudflare zone’a bağlı olduğunu doğrulayın. Sonra Security Settings’te Search, Agent ve Training tercihlerini; Bot Preference Sync’i; AI Crawl Control’deki engel eylemlerini ve varsa WAF özel kurallarını kaydedin. Bu inceleme sırasında ayarları değiştirmeyin.

Ardından robots.txt dosyasını canlı host üzerinden alın ve Cloudflare’ın eklediği yönergeler olup olmadığını kontrol edin. Son olarak Cloudflare Security Analytics veya AI Crawl Control günlüklerinde ilgili botun yolunu ve yanıtını inceleyin. Canlı trafikte gerçek botla deneme yapamıyorsanız, yalnız yapılandırma okumasına dayanarak “engellendi” demeyin; sonucu “panelde politika seçili, gerçek istekte doğrulanmadı” şeklinde yazın.

Robots kuralının ayrıntılarını robots.txt nasıl test edilir? yazımızda, protokolün sınırlarını robots.txt nedir? makalesinde ele alıyoruz. Site erişim ayarlarınızı genel teknik hazırlıkla birlikte değerlendirmek için Yapay Zekâya Hazır Olun hizmetimizi inceleyin.

Sık sorulan sorular

Cloudflare DNS kullanıyorsam AI botları otomatik engellenir mi? Hayır. Alan adının Cloudflare üzerinden proxy edilip edilmediğini, güvenlik politikalarını ve robots.txt yönetimini ayrı kontrol edin.

Robots.txt’de Disallow varsa Cloudflare isteği keser mi? Tek başına hayır. Robots.txt bir crawler yönergesidir. Cloudflare’da ayrıca bir engel politikası veya eşleşen güvenlik kuralı olup olmadığını kontrol edin.

AI Crawl Control ile robots.txt aynı şey mi? Hayır. Robots.txt kurallara uyan tarayıcılar için tercih bildirir. AI Crawl Control ise bot trafiğini gözlemleyip seçilen crawler’lara yönelik kontrol sağlar.

Bir botu Cloudflare’da engellersem yapay zekâ yanıtlarında artık görünmem mi? Bu sonuç garanti edilemez. Engelleme isteğin içeriğe erişimini etkileyebilir; daha önce toplanmış içerik veya başka botlar üzerinden görünürlük ayrı konulardır.

Kaynaklar

• Cloudflare, “Block AI Bots” (Son güncelleme: 1 Temmuz 2026; varsayılan değişikliği 15 Eylül 2026)
• Cloudflare, “robots.txt setting” (Son güncelleme: 22 Ekim 2026)
• Cloudflare, “Get started with AI Crawl Control” (Erişim: 29 Ekim 2026)
• Cloudflare, “AI Crawl Control with Cloudflare WAF” (Son güncelleme: 3 Ağustos 2026)
• Internet Engineering Task Force, “RFC 9309: Robots Exclusion Protocol” (Eylül 2022)