Search Box
Blogroll
Robots.txt dosyası hakkında kullanışlı ipuçları
Posted by Seobilgi
Hassas içerik için daha güvenli metotlar kullanın : Hassas veya gizli bilginin robots.txt ile bloke edilmesi sizi tamamen rahat ettirmemeli. Bunun nedenlerinden birisi, eğer bu linkler internette başka bir yerde referans olarak verilmişse (örneğin referans bloglarda), bloke ettiğiniz URLler arama sonuçlarında referans olarak görüntülenebilir (sadece URL gösterilir, başlık veya özet bilgi verilmez). Ayrıca, Robots Exclusion Standard ile uyumlu olmayan bazı arama motorları robots.txt dosyasında belirttiğiniz tanımlamalara uygun davranmayabilir. Son olarak, meraklı bir kullanıcı robots.txt dosyanızdaki dizin ve alt dizinleri inceleyebilir ve görünmesini istemediğiniz içeriğe ulaşabilecek URLyi tahmin edebilir. Şifreleme veya .htaccess ile parola kullanımı daha
güvenli alternatiflerden bazılarıdır.
- arama sonuçlarına benzer sayfaların taranmasına olanak verilmemesi gerekir (kullanıcılar bir arama sayfasından diğer bir arama sayfasına erişmekten hoşlanmazlar)
- aynı içeriğe sahip, çok az farklar bulunan otomatik oluşturulmuş sayfaların taranmasına olanak verilmemesi gerekir: “Birbirinin neredeyse aynısı 100 000 sayfanın arama motorları tarafından indekslenmesi gerekir mi?”
- proxy hizmetleri tarafından oluşturulan URLlerin indekslenmemesi gerekir
Yorum Yapın