Bilgi Bankası Ne Nedir

Robots.TXT nedir?

Robots.txt, not defteri gibi herhangi bir metin editörüyle kazırlayabileceğiniz basit bir dosya. Dosyanın içerisinde hangi robotun hangi kısımları indekslememesi gerektiğini aşağıdaki şekilde belirtiyorsunuz:

User-agent: [Robot İsmi]
Disallow: [ Klasör ya da Dosya İsmi]

Yukarıda gördüğünüz girişi değişik robotlar ve değişik klasörler/dosyalar için tekrarlayabilirsiniz. Örneğin kik dizininizde “ozel” adında bir klasör olduğunu ve Google’ın bu klasörü indekslemesini istemediğinizi düşünelim. Bunun için Robots.txt dosyanıza aşağıdaki satırları eklemelisiniz.

User-agent: Googlebot
Disallow:/ozel/

Koyduğunuz yasağın tüm robotlar için geçerli olmasını istiyorsanız, yukarıdaki örnekte “Googlebot” yazdığımız yere * (yıldız işareti) koymalısınız. Tüm robotların tüm siteyi indeksleyebilmesini istiyorsanız, Robots.txt dosyanız şöyle olmalı:

User-agent: *
Disallow:

Robots.txt dosyasını hazırlamak bir kaç saniyenizi alacak kadar basit bir iş olsa da dikkati elden bırakmamalısınız. Zira yukarıdaki gibi bir dosyada “Disallow:” ifadesinin karşısına “/” işaretini koyarsanız (Disallow: /) hiçbir robot sitenizin hiçbir yerini indekslemeyecektir.

Leave a Comment