Google’ın John Mueller, robots.txt dosyasının Google tarafından yaklaşık 24 saat boyunca önbelleğe alındığını belirtti ve bu nedenle düzenli olarak robots.txt dosyasını güncellemenin mantıklı olmadığını vurguladı.
Günlük Değişiklik Yapmanın Anlamı
Google, sabah 7’de bir sayfanın taranmasını istemediğinizi ve ardından 9’da bu sayfanın taranmasını istediğinizi hemen göremeyebilir. Bu bağlamda, dosyanızı sürekli değiştirmenin etkisi sınırlıdır.
Soru ve Cevap Üzerine
Bluesky’de bir kullanıcının gönderdiği soru, bir teknisyenin sabah robots.txt dosyasını Googlebot’u engellemek için yükleyip, öğleden sonra tekrar yükleyerek taramayı açmayı önerip öneremeyeceğiydi. Kullanıcının belirttiğine göre, web sitesi oldukça büyük ve tarama işleminin sunucuyu zorlayabileceği düşünülüyor.
SORU:
Bir teknisyenimiz sabah robots.txt dosyasını yükleyerek Googlebot’u engelleyebileceğini ve öğleden sonra başka bir dosya yükleyerek onu tekrar taramasına izin verebileceğini sordu. Web sitemiz kapsamlı olduğu için sunucuyu zorlamamak adına böyle bir uygulama düşünüyorlar. Bu iyi bir uygulama olur mu?
Mueller, bu durumun kötü bir fikir olduğunu belirtti ve ekledi:
robots.txt dosyası 24 saate kadar önbelleğe alınabilir. Bu yüzden gün içerisinde dinamik bir şekilde robots.txt dosyasını değiştirmeyi tavsiye etmiyoruz. Eğer tarama fazla geliyorsa, bu durumu yönetmek için 503/429 hata kodlarını kullanın.
Önemli Bir Hatırlatma
Bu bilgiler yeni bir durum değil; Google tarafından 10 yıl önce de benzer uyarılar yapılmıştı. Kullanıcılara, dinamik olarak üretilen robots.txt dosyalarından kaçınmaları gerektiği iletilmişti. Önceki bilgiler doğrultusunda 24 saatlik önbellek süresi konusuna dikkat edilmesi gerektiği hatırlatılmaktadır.
