Bu yazım ile robots.txt dosyanızı oluşturabilirsiniz, ya da aşağıdaki robots.txt dosyasına bakabilirsiniz.
robots.txt
Aşağıdaki örnek robots.txt metni düzenlenmiş olarak, Özer Irmak’ın Seo derslerinde örnek gösterdiği dosyadır. Bu dosyadan bazı şeyleri çıkardım.
robots.txt dosyasını oluşturmak
# robots.txt Dosyası
# Bu robots.txt dosyası, WordPress siteler için hazırlanmıştır.
# Ana botları, tüm içeriği taramasına izin veririz.
User-agent: *
Disallow:
# Arşiv sayfalarını engelleriz, çünkü genellikle çift içerik sorunlarına neden olabilirler.
Disallow: /archives/
# Etiket sayfalarını engelleriz, çünkü çift içerik sorunlarına neden olabilirler.
Disallow: /tag/
# Kategori sayfalarını engelleriz, çünkü çift içerik sorunlarına neden olabilirler.
Disallow: /category/
# Yazar sayfalarını engelleriz, çünkü çift içerik sorunlarına neden olabilirler.
Disallow: /author/
# Arama sonuçlarını engelleriz, çünkü çift içerik sorunlarına neden olabilirler.
Disallow: /search/
# İletişim sayfasını engelleriz, çünkü genellikle özel bilgiler içerir.
Disallow: /contact/
# Özel sayfaları engelleriz, çünkü bunlar genellikle gizli içeriği içerir.
Disallow: /private/
# Admin sayfalarını engelleriz, çünkü bunlara sadece yöneticilerin erişmesi gerekir.
Disallow: /wp-admin/
# Kullanıcı profili sayfalarını engelleriz, çünkü bu kişisel bilgiler içerir.
Disallow: /wp-includes/
# Yedekleme ve geçici dosyaları engelleriz, çünkü bunlar genellikle gereksizdir.
Disallow: /wp-content/uploads/
# CSS ve JavaScript dosyalarını engelleriz, çünkü bunlar tarama için önemsizdir.
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
# Eklenti dosyalarını engelleriz, çünkü bunlar genellikle tarama için önemsizdir.
Disallow: /plugins/
# Tema dosyalarını engelleriz, çünkü bunlar genellikle tarama için önemsizdir.
Disallow: /themes/
# Htaccess dosyasını engelleriz, çünkü bu web sunucusu yapılandırma dosyasıdır.
Disallow: /.htaccess
# Sitemap dosyasını belirtiriz.
Sitemap: https://www.example.com/sitemap.xml
3.07.2024’te Güncellendi :
AdSense için bir engelleme olmaması için google-partners bölümünü çıkardım
ve boş disallow’u çıkardım.
Robots.txt
Sitemap: https://siteniz.com/sitemap_index.xml
# Google Image
User-agent: Googlebot-Image
Allow: /*
# dugg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?