robots.txt
Sitenin kök dizininde duran ve arama motoru botlarına hangi bölümleri tarayıp hangilerini taramayacaklarını söyleyen düz metin dosyasıdır.
robots.txt, sitenizin kökünde (alan-adiniz.com/robots.txt) duran düz metin dosyasıdır. Arama motoru botları siteyi taramadan önce bu dosyayı okur ve hangi adresleri taramamaları gerektiğini öğrenir.
Nasıl yazılır?
Basit bir örnek:
User-agent: *Disallow: /sepet/Disallow: /hesabim/Sitemap: https://ornekmagaza.com/sitemap.xml
User-agentkuralın hangi bota uygulanacağını söyler;*hepsi demektir.Disallowtaranmayacak yolu,Allowistisnayı belirtir.Sitemapsatırı site haritasının adresini bildirir.
robots.txt ve noindex farkı
robots.txt yalnız taramayı engeller. Engellenen bir sayfaya başka sitelerden bağlantı varsa adres yine arama sonuçlarında görünebilir. Bir sayfanın sonuçlarda hiç çıkmamasını istiyorsanız sayfaya <meta name="robots" content="noindex"> etiketi ekleyin ve sayfayı robots.txt ile engellemeyin; bot etiketi görebilmek için sayfayı okuyabilmelidir.
Dikkat:
Disallow: /satırı bütün siteyi taramaya kapatır. Geliştirme ortamından canlıya geçerken bu satırın kalmadığını kontrol edin.
KuleConnect'te
KuleConnect web sitenizin robots.txt dosyasını yönetmez; dosyayı sitenizin altyapısında ya da barındırma panelinde düzenlersiniz. KuleConnect'te oluşturduğunuz kayıt formlarının sayfası noindex etiketi taşır; form adresiniz arama sonuçlarında çıkmaz.
İlgili rehber
Kayıt formunu sitenize gömme ve paylaşma için Kayıt formu oluşturma ve sitenize ekleme yazısına bakın.
Sık sorulanlar
Hayır. robots.txt yalnız taramayı engeller. Bir sayfanın arama sonuçlarında çıkmaması için sayfaya noindex etiketi eklenmeli ve sayfa taranabilir bırakılmalıdır.
Alan adının kökünde olur: alan-adiniz.com/robots.txt. Alt klasöre konan dosya dikkate alınmaz.