Yapay Zekâ Botları Nedir? Sitenizi Kimler Tarıyor?

Yapay zekâ botu, bir sağlayıcının web sayfalarını otomatik taramak veya kullanıcı isteği üzerine getirmek için kullandığı yazılım istemcisidir. Botların amaçları aynı değildir: bazıları arama özelliklerini destekler, bazıları model geliştirme için içerik toplar, bazılarıysa bir kişinin talebiyle sayfa açar.

Bu ayrım önemlidir; robots.txt’de bir bot için verdiğiniz tercih başka bir kullanım türünü otomatik olarak yönetmeyebilir. Ayrıca botun bir sayfayı alması, içeriğin bir modelde kullanıldığını veya arama yanıtında gösterileceğini kanıtlamaz.

Yapay zekâ botlarını hangi amaçlara göre ayırabiliriz?

Birinci grup arama ve indeksleme için çalışan tarayıcılardır. Bu botlar web sayfalarını bulup, arama veya yanıt üretme işlevlerini desteklemek üzere içerik toplar. İkinci grup model eğitimi veya ince ayar için içerik toplayan tarayıcılardır. Üçüncü grup, kullanıcının sorduğu soruya yanıt vermek ya da onun adına web’de işlem yapmak için gerçek zamanlı sayfa getiren botlardır.

Bu sınıflar pratik bir açıklama sağlar, fakat her sağlayıcının bot listesi ve davranışı farklıdır. Bir bot birden fazla amaçla kullanılabilir; bazı sağlayıcılar aynı içeriği farklı ürünlerde değerlendirebilir. Bu nedenle yalnız “AI bot” etiketiyle kural yazmak yerine gerçek User-agent adını ve sağlayıcının tanımını kontrol edin.

GPTBot, OAI-SearchBot ve ChatGPT-User ne yapar?

OpenAI, GPTBot ile OAI-SearchBot’u ayrı amaçlarla tanımlar. GPTBot, içerikleri modellerin geliştirilmesinde kullanılabilecek şekilde tarar; OAI-SearchBot, ChatGPT arama özelliklerindeki web sonuçlarını desteklemek için kullanılır. OpenAI bu iki bot için robots.txt tercihlerini bağımsız açıklar.

ChatGPT-User ise bazı kullanıcı tarafından başlatılan sayfa erişimlerinde kullanılabilir. OpenAI, bunun otomatik web taraması olmadığını ve robots.txt kurallarının bu istek türüne uygulanmayabileceğini belirtir. Dolayısıyla GPTBot’u engellemek, OAI-SearchBot’u veya kullanıcı isteğiyle açılan sayfaları da otomatik engellediğinizi göstermez.

Bot adlarının ve amaçlarının ayrıntısı için GPTBot ve yapay zekâ botları ile robots.txt nedir? yazılarımıza bakabilirsiniz.

ClaudeBot, Claude-SearchBot ve Claude-User nasıl ayrılır?

Anthropic’in 7 Nisan 2026 tarihli açıklamasında ClaudeBot model geliştirmeye katkı sağlayabilecek içerikleri toplamak; Claude-SearchBot arama yanıtlarının kalitesini desteklemek; Claude-User ise kişinin isteği üzerine web içeriği getirmek için ayrı ayrı tanımlanır. Anthropic, botlarının robots.txt’deki yönergelere uyduğunu ve her biri için ayrı tercih belirlenebileceğini açıklar.

Bu adların farklı olması, her zaman farklı şirketlerden veya tamamen farklı ağ altyapılarından istek geldiğini tek başına kanıtlamaz. Gerçek bir isteğin hangi sağlayıcıya ait olduğunu anlamak için günlüklerdeki User-agent metnine ek olarak sağlayıcının yayımladığı doğrulama yöntemini inceleyin. Kimlik doğrulanamıyorsa bunu raporda açıkça belirtin.

Googlebot ile Google-Extended arasındaki fark nedir?

Googlebot, Google’ın otomatik tarayıcılarından biridir ve Google Arama da dahil çeşitli ürünler için sayfa keşfedebilir. Google-Extended ise ayrı bir HTTP tarayıcı adı değildir; robots.txt içinde kullanılan bir token’dır. Google, bu token’ın içerik kullanım tercihleriyle ilgili olduğunu ve Google Arama’ya dahil olmayı veya sıralamayı etkilemediğini açıklar.

Bu nedenle Google-Extended satırını gerçek istek günlüğünde bir User-agent görmüş gibi sunmayın. Dosya kuralı ürün tercihine dair kanıttır; hangi ağ istemcisinin istekte bulunduğunu göstermez. Google ayrıca Googlebot gibi isteklerin doğrulanmasında kaynak IP aralığı veya ters ve ileri DNS kontrolü kullanılabileceğini açıklar.

Cloudflare botları nasıl sınıflandırır?

Cloudflare’ın 2026 bot politikaları Search, Agent ve Training gibi davranış gruplarını kullanır. Search sonradan yanıt üretmek üzere içerik taramasını; Agent gerçek zamanlı kullanıcı görevleri sırasında çalışan otomasyonları; Training ise model eğitimi için içerik toplamayı ifade eder. Bu sınıflandırma Cloudflare’ın güvenlik ürünündeki politika modelidir; tüm web sağlayıcılarının tek ve evrensel bot taksonomisi değildir.

Bir Cloudflare kuralı bu gruplardaki botlara erişimi sınırlayabilir veya belirli sayfalarda farklı davranabilir. Ancak botun sınıfını, verdiğiniz robots.txt tercihini ve gerçek HTTP blok kararını ayrı kanıt olarak kaydedin. Cloudflare ayarı, sağlayıcının içerik saklama veya model kullanımıyla ilgili bütün politikalarını açıklamaz.

Sitenizi tarayan botları nasıl doğru yorumlarsınız?

Üç kanıt katmanını ayrı tutun: robots.txt’de yayımlanan tercih, sunucu/CDN/WAF günlüklerindeki istek ve bot kimliğinin doğrulanması. Dosyada Allow bulunması bir ziyaret kanıtı değildir; User-agent kaydı da tek başına kimlik doğrulaması sayılmaz. HTTP 200 yanıtı sayfanın isteğe yanıt verdiğini gösterir, ama arama görünürlüğünü veya içerik kullanımını kanıtlamaz.

Bir tabloyla her bot için beklenen grubu, sağlayıcının açıkladığı amacı, robots.txt kuralını, görülen istekleri, yanıt kodunu ve kimlik doğrulama durumunu takip edebilirsiniz. Sağlayıcının belirli bir doğrulama yöntemi yoksa “kaynak doğrulanamadı” sonucunu koruyun. Bir botun hiç görülmemiş olması da sisteminizin o botu engellediği anlamına gelmez; günlük kapsamı ve gözlem süresi sınırlı olabilir.

Bu ölçümleri yaparken sayfa görünürlüğü için kesin vaatlerden kaçının. Bir arama crawler’ına erişim vermek, içeriğin bir yanıtta çıkmasını garanti etmez; içeriği taramaya kapatmak da önceki kopyaların silindiğini göstermez. Robots.txt’nin temel kapsamını robots.txt nedir? yazımızda okuyabilirsiniz. İşletmenizin teknik erişim hazırlığını değerlendirmek için Yapay Zekâya Hazır Olun hizmetimizin kapsamına bakabilirsiniz.

Sık sorulan sorular

Bütün yapay zekâ botları aynı User-agent adını mı kullanır? Hayır. Sağlayıcılar amaçlara göre farklı bot veya token adları yayımlar. Her adın kapsamını ilgili sağlayıcının dokümanından kontrol edin.

GPTBot’u kapatırsam ChatGPT arama botunu da kapatmış olur muyum? OpenAI GPTBot ve OAI-SearchBot’u ayrı tanımlar. GPTBot için yazılan kuralı OAI-SearchBot’a otomatik uygulanmış saymayın.

Google-Extended sitenize ayrı istek gönderen bir bot mudur? Hayır. Google bunu ayrı HTTP User-agent dizgesi değil, robots.txt içindeki ürün token’ı olarak açıklar.

Bir User-agent botun gerçek kimliğini kanıtlar mı? Hayır. Başlık metni taklit edilebilir. Sağlayıcı doğrulama yöntemi yayımlamışsa kaynak IP veya diğer resmi kanıtları kontrol edin.

Kaynaklar

• OpenAI, “Overview of OpenAI Crawlers” (Erişim: 29 Ekim 2026)
• Anthropic Privacy Center, “Does Anthropic crawl data from the web, and how can site owners block the crawler?” (7 Nisan 2026)
• Google Crawling Infrastructure, “List of Google’s common crawlers” (Erişim: 29 Ekim 2026)
• Google Crawling Infrastructure, “Verify requests from Google crawlers and fetchers” (Erişim: 29 Ekim 2026)
• Cloudflare, “Block AI Bots” (Son güncelleme: 1 Temmuz 2026)