Robots.txt Nedir, Nasıl Oluşturulur?
Robots.txt nedir? Robots.txt; arama motorunu tarayan botların, sitenizi tararken erişmesini istemediğiniz yerleri belirli kodlarla belirttiğiniz dosyaya denir. Sitenizin kök dizinine ekleyebileceğiniz robots.txt dosyası basit bir metin dosyasıdır ve arama motoru botları için adeta bir kılavuz niteliğindedir. Bu kılavuzluk sayesinde, botların sitenizi tararken, indeks alırken daha hızlı olmasını ve sitenizde arama motorları tarafından görünmesini istemediğiniz sayfaların atlanmasını sağlarsınız çünkü botlar eğer sitenizin bir robots.txt dosyası varsa öncelikle o dosyayı tarayacaktır. Böylelikle neleri indeksleyip indekslemeyeceğini anlayacak; düzenli ve sağlıklı bir şekilde çalışacaktır.
Robots.txt dosyasını oluşturmak için köklü bir yazılım bilgisi gerekmemekle birlikte herkesçe kullanılabilecek standartlar kodlar kullanılır ve bu kodlar hem arama motorları için hem de SEO için oldukça büyük önem teşkil eder. Bu nedenle dikkatlice kullanılmalı ve doğru strateji gerçekleştirilmelidir.
Robots.txt Nasıl Oluşturulur?
Robots.txt dosyasını oluşturmak örneklerimizde de göreceğiniz üzere oldukça basittir. Burada dikkat edilmesi ve bilinmesi gereken nokta, kullanılacak ifadelerin açılımlarıdır.
Robots.txt dosyası 2 gruptan oluşan standart kodlarla oluşturulur. İlki;
User-agent:
Allow: /
İkincisi ise;
User-agent:
Disallow: /
Anlamlarına bakacak olursak da;
User-agent: Google botunun adı
Disallow: İzin vereceğimiz komutların yer aldığı bölge olarak isimlendirilirler.
Yani user-agent bölümüne hangi Google botunun ismini yazarsak, indekslemeyi o bot gerçekleştirecek; allow/disallow bölümlerine de hangi komutları yazarsak bot ona göre indeks alacaktır. Dilerseniz bir örnek üzerinden görelim:
Örnek:
User-agent: *
Disallow: /
Burada ‘*’ tüm Google botlarının sitenizi taramasına izin verdiğiniz anlamını taşır. Disallow bölümündeki ‘/’ ise sitenizi taramaya gelecek Google botunun sitenizdeki hiçbir dosyayı taramamasını istediğiniz anlamına gelir.
Dilerseniz bir örnekle daha durumu pekiştirelim.
Örnek1:
User-agent: *
Allow: /dosya/site.html/
Disallow: /dosya/
Bu şekilde oluşturulan bir kodda ise istenen, tüm Google botlarının gelerek ‘dosya’ dizininin içerisinde yer alan ‘site.html’ dosyası hariç diğer hiçbir dosyayı taramaması ve indekslememesidir. Yani sadece ‘site.html’ dosyası indekslenecektir.
Google botlar kendi içerisinde Googlebot (desktop), Googlebot (mobile), Googlebot Video, Googlebot News gibi isimlerle ayrılırlar. Hepsinin farklı bir görevi ve alanı vardır. Buna göre Googlebot ismi belirlenirken dikkat edilmeli ve ona göre seçim yapılmalıdır.
