Dizine eklenmiş tüm URL'ler kontrol edilirse, robots.txt tarafından engellenmiş olsa bile, bu bağlantıların tüm arama sayfaları, arama etiketi sayfası ve gezinti sayfasında olduğunu görebilirsiniz.
Blog sayfalarınız robots.txt tarafından engellenmiş olsa bile dizine eklenir. Bunun nedeni Blogger'ın robots.txt dosyasını aşağıdaki gibi kullanmasından kaynaklanıyor.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.memursite.com/sitemap.xmlYukarıdaki robots.txt, tüm arama sayfalarının taranmasına izin verilmediğini gösteriyor.
Ancak, arama sayfaları bir "breadcrumb", "menü" veya etiket widget'ındaki gibi veya bir "blog-pager next prev"deki (sayfa bağlantıları), sayfalar yine de bot tarafından taranır.
Bu sorunu gidermek için, bu sayfaların botlar tarafından taranmasına ve arama sonuçlarında gösterilmesine izin verilmesi gerekir.
Yukarıdaki gibi robots.txt dosyası kullanıyorsanız, lütfen robots.txt dosyasını aşağıdaki kodla değiştirin.
User-agent: *
Disallow:
Sitemap: https://www.memursite.com/sitemap.xml
Sitemap: https://www.memursite.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.memursite.com/feeds/posts/default
Sitemap: https://www.memursite.com/sitemap-pages.xmlLütfen blogunuzun alan adı (domain) ile yukarıda işaretlenmiş yerleri değiştirin.
Blog gönderileriniz (yayınlarınız) 500'ün üzerindeyse aşağıdaki gibi yeni bir satır oluşturun.
Sitemap: https://www.memursite.com/atom.xml?redirect=false&start-index=501&max-results=500Eğer, blog gönderileriniz (yayınlarınız) 1000'in üzerindeyse tekrar aşağıdaki gibi yeni bir satır oluşturun.
Sitemap: https://www.memursite.com/atom.xml?redirect=false&start-index=1001&max-results=500Blog sitenizin arşiv sayfasındaki botları engellemek için aşağıdaki meta etiket (meta tag noindex) kodunu blogunuzun <head> bölümüne kaydedin. Böylece yinelenen içeriği Google arama sayfasında göstermemiş olursunuz.
<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>Burada dikkat etmeniz gereken husus, Blogger arşiv widget'ını kullanıp kullanmadığınız. Çünkü bu meta etiketi arşiv widget'inde bulunan bağlantıların indeks almasını engelleyecektir.
Yukarıdaki adımları gerçekleştirdikten sonra, yeni eklemiş olduğunuz robots.txt dosyasını Google arama konsolunda bulunan robots.txt test aracı hızlı bir şekilde robots.txt dosyasını tanımlar.
Tüm işlemler bittikten sonra, bazı sayfa bağlantılarının robots.txt tarafından engellenmiş ve dizin uyarısı alınmış olsa bile doğrulama işlemini yapın ve arama konsolunu takip edin.
Diğer sonuçlar için bu yayını daha sonra güncelleyeceğiz.