Tüm robotların site'nizin tamamını indekslemesini engellemek için;
Kod:
User-agent: *
Disallow: /
Site'nizin tamamının robotların birisi tarafından indekslenmesini engellemek için;
Kod:
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:
Tüm robotların site'nizin tamamını indekslemesi için;
Kod:
User-agent: *
Disallow:
Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.
Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;
Kod:
User-agent: *
Disallow: /dizin-adi/
Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;
Kod:
User-agent: *
Disallow: /dizin-adi/ozel-sayfa.html
Robots.txt dosyasında “/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinleri teker teker belirtmek zorundasınız. Tabii ki hariç tuttuğunuz bir dizinin içindeki dosyaları ayrıca belirtmenize gerek yok
Örnek bir kod aşağıdaki şekilde olabilir;
Alıntıdır.
Yer imleri