Çalışma Saatleri 10:00 - 20:00
info@softinays.com
0539 110 65 74
Ürünler Sepet Anasayfa İletişim Hesap

Robots.txt Oluşturucu

Web siteniz için robots.txt dosyası oluşturun ve arama motoru botlarını yönetin

Robots.txt Ayarları

Arama motoru botları için kurallarınızı belirleyin

1
Sitemap dosyanızın tam URL'ini girin
Botların istekler arasında beklemesi gereken saniye sayısı (0-60)

Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceğini veya tarayamayacağını söyleyen bir dosyadır. Bu dosya, web sitenizin SEO performansını ve arama motoru görünürlüğünü yönetmenize yardımcı olur.

Nasıl Çalışır?

  • User-agent: Hangi bot için kural belirleneceğini belirtir (örn: Googlebot, Bingbot)
  • Allow: Botun erişebileceği dizinleri belirtir
  • Disallow: Botun erişemeyeceği dizinleri belirtir
  • Crawl-delay: Botların istekler arasında beklemesi gereken süreyi belirtir
  • Sitemap: Sitemap dosyanızın konumunu belirtir

Örnek Kullanım Senaryoları

  • Yönetim panelini gizlemek için: Disallow: /wp-admin/
  • Belirli bir botu engellemek için: User-agent: BadBot + Disallow: /
  • Tüm botlara izin vermek için: User-agent: * + Allow: /
  • Sitemap eklemek için: Sitemap: https://example.com/sitemap.xml

Önemli: Robots.txt dosyası bir güvenlik önlemi değildir. Hassas bilgileri korumak için daha güvenli yöntemler kullanmalısınız.