Robots.txt Oluşturucu
Web siteniz için robots.txt dosyası oluşturun ve arama motoru botlarını yönetin
Robots.txt Ayarları
Arama motoru botları için kurallarınızı belirleyin
Robots.txt Nedir?
Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceğini veya tarayamayacağını söyleyen bir dosyadır. Bu dosya, web sitenizin SEO performansını ve arama motoru görünürlüğünü yönetmenize yardımcı olur.
Nasıl Çalışır?
- User-agent: Hangi bot için kural belirleneceğini belirtir (örn: Googlebot, Bingbot)
- Allow: Botun erişebileceği dizinleri belirtir
- Disallow: Botun erişemeyeceği dizinleri belirtir
- Crawl-delay: Botların istekler arasında beklemesi gereken süreyi belirtir
- Sitemap: Sitemap dosyanızın konumunu belirtir
Örnek Kullanım Senaryoları
- Yönetim panelini gizlemek için:
Disallow: /wp-admin/ - Belirli bir botu engellemek için:
User-agent: BadBot+Disallow: / - Tüm botlara izin vermek için:
User-agent: *+Allow: / - Sitemap eklemek için:
Sitemap: https://example.com/sitemap.xml
Önemli: Robots.txt dosyası bir güvenlik önlemi değildir. Hassas bilgileri korumak için daha güvenli yöntemler kullanmalısınız.