Anasayfa / Seo / Robots.txt Nedir ve Nasıl Yapılır ?

Robots.txt Nedir ve Nasıl Yapılır ?

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk robots.txt dosyasına girecektir, dosya içerisinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır.

Google web tarama botlarından sitenizde yer alan klasörlerinizi korumak istiyorsanız robots.txt dosyasını kullanmalısınız. Örneğin bir klasör (webgemisi klasörü olsun) ve içerisinde yer alan tüm dosyalarınızı Google botlarından bloklamak için yazmanız gereken kod:

User-agent: Googlebot
Disallow: /webgemisi

Dosya tiplerini bloklamak için: Bu kod ile google botlarına .gif dosyalarını indexlemesin diyoruz.

User-agent: Googlebot
Disallow: /*.gif$

Dinamik web sayfalarını bloklamak için:

User-agent: Googlebot
Disallow: /*?

Ayrıca indexlenmesini istemediğiniz tekil sayfalar varsa meta tag bölümüne aşağıdaki kodu ekleyerek botların o sayfayı indexlemesini önleyebiliriz:

<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />

Önemli Not: robots.txt dosyanızı sadece root klasörünüze atmalısınız. Alt klasörlere koymamalısınız. Tekil dosyalar için yukarıdaki metatagı kullanmanız faydalı olacaktır. Eğer robots.txt kullanmazsanız google botları varsayılan olarak sitenize ulaşabildiği tüm sayfa ve klasörleri indexleyecektir.

Hakkında

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir