robots.txt - nedeni bu
Bir web sitesi çalıştırıyorsanız, muhtemelen FTP programınızda robots.txt adlı bir dosya keşfettiniz. Bu metin dosyasının arkasında ne olduğunu ve bu pratik ipucunda neden önemli olduğunu öğrenebilirsiniz.
robots.txt - Arama motorları için gereksinimler
Her alan adında bir robots.txt olmalıdır. SEO'nun önemli bir parçasıdır.
- Arama motorları tarayıcılarla çalışır. Bunlar küçük, bağımsız çalışan programlardır. İnternette içerik ararlar. Web siteleri okunur ve dizine eklenir.
- Tarayıcılar bağımsız olarak çalıştığı için bunlara arama motoru botları veya robotları da denir.
- Web sitenizin robots.txt dosyası, bu tarayıcılara hangi dizinlerin okunabileceğini ve okunamayacağını söyler.
- Bu bilgileri almak için tarayıcılar önce bir alan adının robots.txt dosyasını arar. Bu nedenle robots.txt dosyası, dizin yapısının en üst düzeyinde olmalıdır. Bir dizine taşınmamalıdır - botlar bu metin dosyalarını bulamaz.
- Basitçe söylemek gerekirse, robots.txt arama motorlarına iki bilgi taramasını sağlar. "Kullanıcı-aracı:" girişi hangi robotun olduğunu belirtir - bu robots.txt dosyasında kullanıcı-aracı olarak ele alınır - aşağıdaki talimat geçerlidir.
- Bunu "allow:" veya "disallow:" girişi izler. Botun taramasına izin verilen dizinler ve alt dizinler ve indeksleme sırasında hangi dizinleri bırakması daha sonra listelenir.
- "Allow:" girişi daha az önemlidir. Açıkça hariç tutulmayan herhangi bir şey yine de robot tarafından dizine eklenir.
- Drupal gibi bazı CMS'ler kurulum sırasında doğrudan robots.txt oluşturur. WordPress'te bir eklenti kullanarak robots.txt dosyasını oluşturabilirsiniz.
Google'a "Alışılmadık sayıda istek" mesajı alırsanız, bir sonraki pratik ipucumuzda neler yapabileceğinizi öğrenebilirsiniz.