GPTBot ve Yapay Zekâ Botları: Siteniz Onları Engelliyor mu?

GPTBot, OpenAI'nin web içeriğini taramak için kullandığı botlardan biridir; robots.txt içindeki kuralı ise yalnızca bu botun erişim talebine yönelik bir tercih belirtir. Bir dosyadaki tek bir “AI botları” ayarı bütün yapay zekâ hizmetlerini aynı anda yönetmez. Hangi botun hangi amaçla kullanıldığını ve kuralın hangi alan adı ile yolları kapsadığını ayrı ayrı değerlendirmek gerekir.

Bu yazıda GPTBot, ChatGPT-user ve Google-Extended adlarının neyi ifade ettiğini, robots.txt kurallarının nasıl okunduğunu ve hangi sonuçların bu dosyadan çıkarılamayacağını anlatıyoruz. Böylece erişime izin verme veya engelleme kararını, görünürlük vaadine değil, doğrulanabilir teknik bilgiye dayandırabilirsiniz.

GPTBot nedir, OpenAI’nin tarayıcısı ne yapar?

OpenAI, 2023 tarihli açıklamasında GPTBot'u web içeriğini tarayan bir bot olarak tanımlamış ve site sahiplerine robots.txt aracılığıyla bu botun erişimini engelleme seçeneği sunduğunu belirtmiştir. Aynı açıklamada, kamuya açık internet içeriğinin modellerin geliştirilmesinde kullanılan kaynaklardan biri olduğu da anlatılır. Bu nedenle GPTBot'a yönelik tercih, site sahibinin OpenAI'nin bu tarayıcıyla erişmesine ilişkin tercihidir; bir yapay zekâ yanıtında görünme sözü değildir.

Burada iki ayrımı korumak önemlidir:

• GPTBot'a izin vermek, içeriğin ChatGPT'de mutlaka gösterileceğini veya kaynak olarak kullanılacağını kanıtlamaz.
• GPTBot'u engellemek, daha önce erişilmiş veya başka yollardan edinilmiş içeriğin her yerde silindiği anlamına gelmez.

İkinci ifade özellikle önemlidir: robots.txt bir gelecekteki erişim talebine ilişkin kuraldır. Geçmişteki veri kullanımı, model çıktısı veya başka sistemlerin davranışı hakkında tek başına hüküm vermez.

GPTBot ile ChatGPT-user aynı şey mi?

Hayır. OpenAI'nin 2023 açıklaması GPTBot'un yanında ChatGPT-user adlı ayrı bir kullanıcı aracısı da tanımlar. Açıklamada ChatGPT-user, bir kullanıcı ChatGPT veya eklentiler aracılığıyla bir web sayfasına erişim istediğinde kullanılan işaret olarak anlatılır. Bu iki ad ayrı amaçları gösterir; User-agent: GPTBot satırı ChatGPT-user adını kendiliğinden kapsamaz.

Bu ayrım, “OpenAI botlarını kapat” gibi genel bir kararın teknik olarak yetersiz kalabileceğini gösterir. Her bot için sağlayıcının ilgili açıklamasını ve kullanım amacını kontrol edin. Buradaki iki kullanıcı aracısı hakkında verdiğimiz tanım, OpenAI'nin 2023 tarihli açıklamasıyla sınırlıdır; daha sonraki ürün davranışları veya başka bot adları hakkında varsayım yapmıyoruz.

Google-Extended Google Arama'yı etkiler mi?

Google-Extended, Google'ın 28 Eylül 2023 tarihli doküman günlüğünde, yayıncıların içeriklerinin Bard ve Vertex üretken yapay zekâ API'lerini iyileştirmeye katkısını yönetmek için kullanabilecekleri bir kullanıcı aracısı jetonu olarak duyuruldu. Google'ın 8 Şubat 2024 tarihli güncellemesi ise Bard'ın Gemini Uygulamaları olarak yeniden adlandırıldığını ve Google-Extended'ın Google Arama'yı etkilemediğini açıkladı.

Bu kayıtlar belirli tarihlerde açıklanmış ürün kapsamını gösterir. GPTBot ile Google-Extended'ın aynı politika, aynı hizmet veya aynı sonucu kontrol ettiği anlamına gelmez. Birini engelleyip diğerine izin vermek teknik olarak farklı tercihlerdir. Bu yazı, bu tarihli açıklamalardan bugünkü tüm Google veya OpenAI sistemlerinin davranışını genellemez.

robots.txt içinde bot kuralları nasıl yazılır?

robots.txt, web hizmetinin kök yolunda yer alır. RFC 9309'a göre dosyanın adresi şema ve yetkili alan adıyla birlikte değerlendirilir; örneğin HTTPS ve www olmayan alan adı için kullanılan dosya, başka bir alan adının dosyasıyla aynı kabul edilmemelidir. Bu nedenle değişiklikten önce sitenizin kullandığı gerçek host ve protokol altında doğru dosyayı açtığınızdan emin olun.

Aşağıdaki örnek, iki botu ayrı gruplarda ve yalnız /icerik-arsivi/ yolu için engeller:

User-agent: GPTBot
Disallow: /icerik-arsivi/

User-agent: Google-Extended
Disallow: /icerik-arsivi/

Bu örnek yalnız sözdizimini gösterir; hangi yolu engellemeniz gerektiği konusunda öneri değildir. Kuralı yayımlamadan önce yolun gerçekten hassas olup olmadığını değerlendirin. robots.txt gizli içerik saklama yöntemi değildir; dosya herkese açık olarak okunabilir ve içinde listelenen yollar keşfedilebilir.

RFC 9309'da kullanıcı aracısı adı büyük-küçük harften bağımsız eşleştirilir. Aynı gruptaki Allow ve Disallow kuralları istenen yol ile karşılaştırılır; en belirgin, yani en uzun eşleşme kullanılır. Eşdeğer uzunluktaki bir Allow ve Disallow kuralı varsa standart Allow seçimini önerir. Eşleşen kural yoksa ilgili grup bakımından yol serbesttir. Uygulamanız bu ayrıntılara bağlıysa dosyayı yalnız gözle okumayın; gerçek URL ile kullandığınız test aracında da sonucu kontrol edin.

User-agent: * bütün yapay zekâ botlarını mı yönetir?

User-agent: *, “bütün yapay zekâ botları” anlamına gelen özel bir sınıf değildir. RFC 9309'da bu grup, kendisi için daha özel bir grup eşleşmeyen tarayıcılar için varsayılan grup olarak tanımlanır. GPTBot veya Google-Extended gibi belirli adlar ayrıca eşleşiyorsa o adlara ait kuralların kapsamı ayrıca değerlendirilir.

Bu yüzden herkese açık genel kuralı, bot sağlayıcılarına özel kurallarla karıştırmayın. Bir dosyada hem User-agent: * hem belirli bot adları bulunabilir. Hangi grubun uygulanacağı, isteği yapan istemcinin tanımladığı ürün jetonu ile eşleşmeye bağlıdır. Tek bir Disallow: / satırını her bot için otomatik, evrensel bir kapatma gibi yorumlamak doğru değildir.

Birden fazla alan adı veya alt alan adı kullanıyorsanız her birinin robots.txt dosyasını ayrıca kontrol edin. Kuralları tek hostta değiştirmek başka hosttaki dosyanın içeriğini değiştirmez. Aynı şekilde bir CDN, güvenlik duvarı veya sunucu erişim kuralı robots.txt'den bağımsız olarak isteği etkileyebilir.

robots.txt güvenlik duvarı yerine geçer mi?

Hayır. RFC 9309, Robots Exclusion Protocol kurallarının erişim yetkilendirmesi olmadığını açıkça söyler. Bir bot kuralına uymayabilir; dosya da oturum açma, kimlik doğrulama veya sunucu tarafı erişim kontrolü sağlamaz. Özel veya müşteri bilgisi içeren bir sayfayı yalnız robots.txt ile korumaya çalışmayın. Bu tür içerikler için uygulamanın gerçek erişim denetimi kullanılmalıdır.

Benzer biçimde, tarayıcıyı robots.txt'den engellemek web sunucusunun o URL'ye erişimi teknik olarak kapattığını göstermez. RFC bu protokolü erişim yetkisi değil, tarayıcıların uyması beklenen bir kural olarak tanımlar. Gerçek erişim kısıtlaması gerekiyorsa sunucu veya uygulama katmanında ayrıca koruma gerekir.

Hangi botu engelleyeceğinize nasıl karar verirsiniz?

Önce kararın hangi sonuca yönelik olduğunu açıkça yazın: belirli bir tarayıcının içeriğe erişmesini mi istemiyorsunuz, yoksa özel içeriği yetkisiz kullanıcılardan mı korumanız gerekiyor? İkinci durumda robots.txt uygun güvenlik aracı değildir. İlk durumda ise bot adını ve sağlayıcının açıkladığı kullanım amacını doğrulayın.

Ardından kuralları, farklı kullanıcı aracılarını ayrı ayrı ve temsilî sayfa yollarında kontrol edin. Değişiklikten sonra doğru alan adındaki dosyanın yayımlandığını, başka bir kuralın sonucu değiştirmediğini ve sitenin kendi erişim güvenliğinin ayrı çalıştığını gözden geçirin. Günlüklerde görülen bir user-agent değerini tek başına botun gerçek kimliğinin kanıtı saymayın; bu yazı, IP doğrulama yöntemi veya sağlayıcıların güncel ağ aralıkları hakkında iddiada bulunmuyor.

Yapay zekâ sistemlerinde görünürlük; tek bir robots.txt satırından çıkarılamaz. GEO (üretken yapay zekâ arama optimizasyonu) nedir? yazısında bu görünürlük konusunun kapsamını okuyabilir, teknik dosya ve erişim kontrolleri için Yapay Zekâya Hazır Olun hizmetimizin neleri kapsadığını inceleyebilirsiniz. Bu kontrollerin yapılması belirli bir platformda görünme veya önerilme garantisi vermez.

Sık sorulan sorular

GPTBot'u robots.txt ile engellemek OpenAI'nin daha önce edindiği içeriği siler mi? Hayır. robots.txt bir erişim kuralıdır; geçmişte edinilmiş verilerin silindiğini veya bir model yanıtının değiştiğini kanıtlamaz.

Google-Extended'ı engellersem Google Arama'dan çıkar mıyım? Google'ın 8 Şubat 2024 tarihli açıklaması, Google-Extended'ın Google Arama'yı etkilemediğini belirtir. Bu, başka Google arama kurallarının veya teknik durumların sonucu hakkında tek başına hüküm vermez.

GPTBot'a izin verirsem ChatGPT'de görünür olur muyum? Bunu söyleyemeyiz. robots.txt'de izin vermek yalnızca o bot için erişim kuralıdır; görünürlük veya kaynak gösterilme garantisi değildir.

Yapay zekâ botlarını tek satırla engelleyebilir miyim? Tek bir User-agent: * grubu, RFC 9309'da belirli bir bot grubuyla eşleşmeyen tarayıcılar için varsayılandır. Belirli bot adlarının ve sunucu erişim kontrollerinin kapsamını ayrıca inceleyin.

robots.txt özel sayfaları gizler mi? Hayır. RFC 9309 bunu erişim yetkilendirmesi saymaz; dosyada listelenen yolların kendisi de herkese açık biçimde keşfedilebilir.

Kaynaklar

• OpenAI, “Our approach to frontier risk” (26 Ekim 2023)
• Google Search Central, “Google-Extended ürün jetonunun eklenmesi” (28 Eylül 2023)
• Google Search Central, “Google-Extended ürün jetonu açıklamasının güncellenmesi” (8 Şubat 2024)
• Internet Engineering Task Force, “RFC 9309: Robots Exclusion Protocol” (Eylül 2022)