Belirli sayfaların, hatta Web sitenizin tüm alanlarının dizine eklenmesini engellemek isteyebilirsiniz. Engellemek isteyebileceğiniz sayfalara veya alanlara birkaç örnek:

• Yapım aşamasında olan sayfalar
• Eğer don sitenin Alanları ' t gerçekten arama motorları tarafından dizine istiyorum
• Dahili kullanım amaçlı bilgiler içeren sayfalar (elbette sitenin o alanını da parola ile korumalısınız)

Geçmişte, birçok Webmaster ayrıca komut dosyalarını ve CSS stil sayfalarını depoladıkları dizinleri de engellemişti. Bununla birlikte, Google bugünlerde komut dosyalarını ve stil sayfalarını gerçekten okuduğu ve yorumladığı için bunu yapmamanızı önerir.

ROBOTS meta etiketini veya robots.txt dosyasını kullanarak arama motorlarına uzak durmasını söyleyebilirsiniz. Meta etiket şöyle görünür:

Kod:
<META NAME = "robotlar" CONTENT = "noindex, nofollow">
Bu etiket iki şey yapar: noindex “Bu sayfayı dizine ekleme” ve nofollow “Bu sayfadaki bağlantıları takip etme” anlamına gelir.

Web sitenizdeki tüm dizinleri engellemek için robots.txt adlı bir metin dosyası oluşturun ve sitenizin kök dizinine yerleştirin; bu, ana sayfanızla aynı dizindir. Bir arama motoru bir siteye baktığında, genellikle önce robots.txt dosyasını ister; yani, http: // www ister. domainame.com/robots.txt.

Robots.txt dosyası, belirli arama motorlarını engellemenize ve başkalarına izin vermenize izin verir, ancak Web Yöneticileri nadiren bunu yapar. Dosyada, hangi arama motorunu (kullanıcı aracısı) engellemek istediğinizi ve hangi dizinlerden veya dosyalardan olacağını belirtirsiniz. Bunu nasıl yapacağınız aşağıda açıklanmıştır:

Kod:
User-agent: * 
Disallow: /includes/ 
Disallow: /scripts/ 
Disallow: /info/scripts/ 
Disallow: /staff.html
User-agent * olarak ayarlandığından, tüm arama botları www. domainname.com/includes/, www.domainname.com/scripts/, www. domainname.com/info/scripts/ dizinleri ve www.domainname. com.tr / staff.html dosyası. (Engellemek istediğiniz belirli bir arama botunun adını biliyorsanız, yıldız işaretini bu adla değiştirin.)

Robots.txt dosyanıza dikkat edin. Eksik değişiklikler yaparsanız ve aşağıdaki kodla sonuçlanırsanız, tüm arama motorlarını sitenizin tamamından engellediniz:

Kod:
User-agent: * 
Disallow: /
Aslında, bu teknik bazen hain olarak kullanılır; Birisinin bir siteye saldırıya uğradığı ve Disallow: / komutunu robots.txt dosyasına yerleştirdiği bir vakayı biliyorum - ve Google siteyi dizininden bıraktı!