Robots.txt Oluşturma

Bu yazım ile robots.txt dosyanızı oluşturabilirsiniz, ya da aşağıdaki robots.txt dosyasına bakabilirsiniz.

robots.txt

robots.txt dosyasını oluşturmak

# robots.txt Dosyası

# Bu robots.txt dosyası, WordPress siteler için hazırlanmıştır.

# Ana botları, tüm içeriği taramasına izin veririz.
User-agent: *
Disallow:

# Arşiv sayfalarını engelleriz, çünkü genellikle çift içerik sorunlarına neden olabilirler.
Disallow: /archives/

# Etiket sayfalarını engelleriz, çünkü çift içerik sorunlarına neden olabilirler.
Disallow: /tag/

# Kategori sayfalarını engelleriz, çünkü çift içerik sorunlarına neden olabilirler.
Disallow: /category/

# Yazar sayfalarını engelleriz, çünkü çift içerik sorunlarına neden olabilirler.
Disallow: /author/

# Arama sonuçlarını engelleriz, çünkü çift içerik sorunlarına neden olabilirler.
Disallow: /search/

# İletişim sayfasını engelleriz, çünkü genellikle özel bilgiler içerir.
Disallow: /contact/

# Özel sayfaları engelleriz, çünkü bunlar genellikle gizli içeriği içerir.
Disallow: /private/

# Admin sayfalarını engelleriz, çünkü bunlara sadece yöneticilerin erişmesi gerekir.
Disallow: /wp-admin/

# Kullanıcı profili sayfalarını engelleriz, çünkü bu kişisel bilgiler içerir.
Disallow: /wp-includes/

# Yedekleme ve geçici dosyaları engelleriz, çünkü bunlar genellikle gereksizdir.
Disallow: /wp-content/uploads/

# CSS ve JavaScript dosyalarını engelleriz, çünkü bunlar tarama için önemsizdir.
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

# Eklenti dosyalarını engelleriz, çünkü bunlar genellikle tarama için önemsizdir.
Disallow: /plugins/

# Tema dosyalarını engelleriz, çünkü bunlar genellikle tarama için önemsizdir.
Disallow: /themes/

# Htaccess dosyasını engelleriz, çünkü bu web sunucusu yapılandırma dosyasıdır.
Disallow: /.htaccess

# Sitemap dosyasını belirtiriz.
Sitemap: https://www.example.com/sitemap.xml

Robots.txt

Sitemap: https://siteniz.com/sitemap_index.xml

# Google Image
User-agent: Googlebot-Image
Allow: /*
Disallow: 

# Google AdSense
User-agent: Mediapartners-Google*
Disallow: 

# dugg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /comments/
Disallow: */trackback/
Disallow: */comments/
Disallow: /*?
5/5 - (1 vote)

Yorum yapın