Bir Sayfayı Dizinlememenin Doğru Yolu

Yayınlanan: 2022-12-02

Mantıksız görünebilir, ancak web sitenizdeki her sayfa arama sonuçlarında görünmemelidir. Arama motoru optimizasyonu (SEO), arama görünürlüğünü ve organik trafiği artırmaya çalışır ve bazen, arama sonuçlarında hangi içeriğin görünebileceğini kısıtlayarak bu hedefe en iyi şekilde ulaşabilirsiniz.

Kafanızı kaşıyorsanız veya blöfümü görüyorsanız, bir sayfayı veya alt dizini noindexlemenin değerini ve noindex etiketlerinin nasıl uygulanacağını keşfetmek için okumaya devam edin.

Noindex'in Anlamı Nedir?

"noindex" terimi, arama tarayıcılarına sayfayı arama motoru sonuç sayfalarından (SERP'ler) hariç tutmalarını söyleyen bir robots meta etiketindeki özel bir yönergedir. Bu, arama yapanların sayfaya arama yoluyla erişemeyeceği anlamına gelir.

Herhangi bir teknik SEO stratejisinin değerli bir parçası olan robots meta etiketleri, arama yapanlara değer sağlamayan veya arama sonuçlarında görünmesini istemediğiniz bilgileri içeren sayfaları hariç tutmanıza olanak tanır, örneğin:

  • Onay ve teşekkür sayfaları
  • Giriş sayfaları
  • Gizlilik politikası veya hizmet şartları sayfası
  • Kapılı içerik
  • Hata mesajları

Robots Meta Etiketi ve Robots.txt ve X-Robots Etiketi

Robots meta etiketi genellikle robots.txt dosyası ve x-robots etiketiyle karıştırılır. Üçü de, tarayıcıları sayfalar hakkında aramak için talimatlar verir ve robot dışlama protokolünün (REP) bir parçasıdır. Daha basit bir ifadeyle: Google'a, Google Arama'ya neleri koyacağını ve neleri dışarıda tutacağını ve ayrıca hangi sayfaları taramaları gerektiğini söylerler. Ancak birbirlerinin yerine kullanılamazlar ve kullanılmamalıdırlar.

Robotlar Meta Etiketi

Belirli bir web sayfasının <head> bölümüne bir robots meta etiketi eklenir ve yalnızca o belirli sayfayla ilgili talimatları iletir. Genellikle noindex etiketi veya noindex meta etiketi olarak adlandırılan robots meta etiketi, bir arama tarayıcısına bir sayfayı dizine eklememesini söylemekten daha fazlasını yapabilir.

Tarayıcılardan bağlantıları takip etmemelerini, bir sayfayı çevirmemelerini, belirli bir arama botunu engellememelerini veya önbelleğe alınmış bir bağlantının SERP'lerde görünmesini engellemelerini istemek için de kullanılabilir.

Ortak robotlar meta etiketi yönergeleri şunları içerir:
  • Noindex, nofollow — <meta name=”robots” content=”noindex, nofollow”>
    Googlebot ve diğer web tarayıcıları sayfaya erişebilir, ancak dizine eklememeli veya bağlantılarını takip etmemelidir.
  • Noindex, takip edin — <meta name=”robots” content=”noindex”>
    Googlebot ve diğer web tarayıcıları sayfaya erişebilir ve sayfadaki bağlantıları takip edebilir, ancak sayfanın kendisini dizine eklememeleri gerekir. Varsayılan değer olduğu için meta etikete "takip et" eklemenize gerek yoktur.

robots.txt

Robots.txt, site sahiplerinin arama motorlarına sitelerinin hangi bölümlerinin taranmasını istemediklerini söylemelerini sağlayan bir dosyadır. Bu, alanınızın veya alt alanınızın kök dizininde asılı web siteniz için kişisel bir Rahatsız Etmeyin işareti gibidir.

Bir robots.txt dosyası, tek tek sayfalar yerine tüm alt dizinlere erişilmesini ve taranmasını engellemek için en iyisidir. Arama tarayıcılarının aşağıdakilere erişmesini ve dizine eklemesini engellemek için kullanın:

  • Dahili arama sayfaları
  • URL parametreleri
  • Kullanıcı tarafından oluşturulan istenmeyen e-postaların sorunlara neden olabileceği forumlar
  • Yalnızca çalışanlara özel olanlar gibi dahili alt dizinler

Bir robots.txt dosyası oluşturmak için bu adımları izleyin ve XML site haritanıza bağlantı verdiğinizden emin olun.

robots.txt dosyanızda bulunan bir sayfaya bağlantı verirseniz, arama sonuçlarında görünmemesini sağlamak için bu sayfaya bir robots meta etiketi de eklemek isteyebilirsiniz. Unutmayın — robots.txt, tarayıcıların bir sayfaya erişmesini engeller, dizine eklemesini engellemez. Robots.txt yönergeleriniz kapsamındaki sayfalar harici bağlantılar alırsa, arama motorları bunları dizine ekleyebilir. Bunu önlemek için robots.txt dosyasıyla birlikte bir robots meta etiketi kullanın.

X-Robots Etiketi

Bir PDF, video veya görüntünün SERP'lerde görünmesini engellemek için bir x-robots etiketi kullanın. Robots meta etiketleri için belirtilen direktiflerin aynısı x-robots için de kullanılır. Ancak, bir sayfanın HTML başlığında bulunan robots meta etiketinden farklı olarak, HTTP başlık yanıtına bir x-robots etiketi yerleştirilir.

Direktif şöyle görünür:

 X-Robots-Tag: noindex

Bir Sayfa Ne Zaman Dizine Eklenmez?

Bordür Endeksi Şişkinliği

Dizin şişkinliği, Google, arama yapanlar için çok az değeri olan veya hiç değeri olmayan sayfaları dizine eklediğinde gerçekleşir. Bu gereksiz sayfalar, kaynakları daha değerli sayfalardan uzaklaştırır. Arama sonuçlarında hangi sayfaların görüneceğini yönetmek için bir robots meta etiketi kullanın.

Anahtar Kelime Yamyamlığını Ortadan Kaldırın

Anahtar kelime yamyamlığı, iki sayfa benzer bir anahtar kelimeyi ve arama amacını paylaştığında, SERP'lerde birbirleriyle rekabet etmelerine neden olduğunda gerçekleşir.

Birbirini yamyam eden iki sayfanız varsa ve her ikisini de içeriğini değiştirmeden tutmak istiyorsanız, noindex one. Bununla birlikte, bunu yalnızca, indekslemediğiniz sayfa diğer sayfanın sağlamadığı anahtar kelimelerden trafik çekmiyorsa yapmalısınız. Böyle bir durumda, yamyamlık sorununu çözmek için sayfalardan birinde veya her ikisinde içeriği yeniden işlemeniz gerekebilir.

Geçitli Açılış Sayfalarını Koruyun

İletişim bilgileri karşılığında müşterilere yüksek değerli bir kaynak sunduğunuzda, başka bir şekilde erişilemeyeceğinden emin olun. Sayfayı noindex yapmak için bir robots meta etiketi ekleyin ve SERP'lerde görünmesini engelleyin.

Popüler Olmayan Ürünleri Aramadan Hariç Tut

E-ticaret siteleri, çok fazla talep olmamasına rağmen genellikle belirli müşterilere hizmet vermek için ürünler taşırlar. Örneğin, bir araba parçası satıcısı veya başka bir teknik şirket, belirli modellere veya nadir donanıma yönelik ürünlere sahip olabilir. Bu ürün veya kategori sayfaları organik trafik çekmiyorsa, genellikle endekslenemezler.

Bir Web Sayfasını Noindex Nasıl Yapılır?

noindex meta etiketi, bir sayfanın HTML'sinin başlığına gider. Kod büyük/küçük harfe duyarlı değildir ve şöyle görünür:

 <meta name="robots" content="noindex">

"Robotlar", yönergenin herhangi bir tarayıcı için geçerli olduğu anlamına gelir, ancak "robotları" "Googlebot" veya "bingbot" gibi bilinen tarayıcı adlarıyla değiştirerek tarayıcıları ayırabilirsiniz.

Siz ayrıca bir nofollow komutu eklemediğiniz sürece tarayıcılar sayfadaki bağlantıları izlemeye devam edecektir. Bunu, bağlantı eşitliğinin sayfa boyunca akmasını önlemek veya bir tarayıcının güvenlikli içeriğe giden bir bağlantıyı izlemesini önlemek için yapabilirsiniz.

Bir nofollow değeri eklemek için, onu noindex direktifinden virgülle ayırın.

 <meta name="robots" content="noindex, nofollow">

Not: Bir sayfayı noindexing yapmadan önce, Google Search Console'da herhangi bir gelen organik trafik olup olmadığını kontrol edin. Varsa, sayfayı indekslemeden önce sitenizin bu trafiği yakalamaya nasıl devam edebileceğini belirleyin.

HTML Kodunuza Robots Meta Etiketi Nasıl Eklenir?

  1. Noindex yapmak istediğiniz sayfanın kaynak kodunu açın.
  2. Sayfanın üst kısmındaki başlığı bulun. <head> ile başlar ve </head> ile biter. Başlıkta muhtemelen başka kodlar da olacaktır.
  3. <head> ve </head> etiketleri arasında göründüğünden emin olarak robots meta etiketini yeni bir satıra ekleyin.

Bu kadar! Sayfanız zaten dizine eklenmişse, URL'sini URL inceleme aracına yapıştırarak Google'dan yeniden taramasını isteyebilirsiniz.

Zaten Dizine Eklendiniz mi? URL Kaldırma Aracını kullanın

Yeni bir içerik sayfasına noindex etiketi eklediğinizde, Googlebot sayfayı taradığında yönergeyi görecek ve dizine eklemeyecektir.

Ancak, zaten dizine eklenmiş bir sayfaya etiketi ekliyorsanız, sayfa yeniden taranana ve botlar yeni noindex talimatlarını görene kadar arama sonuçlarında görünmeye devam eder. Google'dan, URL Denetleme Aracı aracılığıyla Google Search Console'daki URL'yi yeniden taramasını isteyebilirsiniz, ancak bu, sayfayı SERP'lerden anında kaldırmaz.

Bir sayfayı SERP'den hemen kaldırmanız gerekirse, Google Search Console'daki Kaldırma aracını kullanın. Bu, sayfaları yaklaşık altı ay boyunca Google arama sonuçlarının dışında tutacaktır. O zamana kadar, noindex meta etiketi çalışmalıdır.

WordPress'te Bir Sayfayı Noindex Nasıl Yapılır?

WordPress'teki her sayfa varsayılan olarak dizine eklenir. WordPress'te bir sayfayı kod yazmadan noindex yapmak için Yoast SEO eklentisini kullanabilirsiniz. İşte nasıl.

Yoast SEO meta kutusundaki 'Gelişmiş' sekmesine tıklayın.

bir sayfayı noindex yapmak için yoast seo eklentisinde 'gelişmiş'i seçin

'Arama motorlarının bu Gönderiyi arama sonuçlarında göstermesine izin verilsin mi?' sorusunun altında açılan kutudan 'Hayır'ı seçin.

wordpress noindexing sayfası

Bu ayar, Google'a yayını dizine eklememesi talimatını verse de, botlar diğer sayfaları taramak için sayfadaki bağlantıları otomatik olarak izlemeye devam edecektir.

Bir nofollow yönergesi eklemek istiyorsanız, 'Arama motorları bu Gönderideki bağlantıları izlemeli mi?' sorusunun altındaki 'Hayır' düğmesini seçin.

Robotlar Meta Etiketi SSS

Tüm arama motorları bir noindex direktifine uyuyor mu?

Google, Bing ve diğer meşru arama motorlarının bir robots meta etiketine uymasını bekleyebilirsiniz.

Dizinlenmemiş sayfalara bağlantı verebilir miyim?

Evet. noindex etiketi, arama botlarına bir sayfayı tararken ve dizine eklerken nasıl davranacaklarını söyler. Bir sayfaya bağlantı verme yeteneğinizi etkilemez. Bu, arama sonuçlarında görünmemesi gereken ancak botlara olması gereken değerli sayfalara bağlantılar sağlayabilen bir blogdaki kategori sayfaları için yararlı olabilir.

Bir robots meta etiketini ne zaman kullanmalıyım?

Bir teşekkür sayfası veya yazıcı dostu bir sayfa gibi arama yapanlara herhangi bir değer sunmayan bir sayfanız varsa, SERP'lerde görünmesini engellemek için onu bir robots meta etiketiyle nondexleyin.

Noindex direktifini ne zaman kullanmamalıyım?

Yinelenen içerik sorunlarını ve bazı tarama bütçesi sorunlarını noindex yönergeleriyle teknik olarak çözebilirsiniz, ancak bunu yapmanın en iyi yolu bu değildir. Yinelenen içerik en iyi şekilde, yinelenenlerden gelen bağlantı eşitliğini standart sayfaya yoğunlaştıran standart etiketler kullanılarak işlenir. Tarama bütçesinden tasarruf etmeye çalışıyorsanız, sitenin o bölümünün taranmasına izin vermemek için robots.txt dosyasını kullanmalısınız.

Dizinlenmeyen sayfalar bağlantı eşitliğini iletir mi?

Evet. Bir sayfa dizine eklenmemiş olsa bile, oluşturulmuş herhangi bir sıralama yetkisini paylaşabilir. Bununla birlikte, arama tarayıcılarının, bağlantı eşitliğinin akması için sayfadaki bağlantıları takip etme becerisine sahip olması gerekir. Bir sayfa noindex ve nofollow olarak ayarlanmışsa, bağlantı eşitliğini geçemez.

Bir sayfanın noindexlenmesi onu Google SERP'lerinden otomatik olarak kaldırır mı?

Sayfanız zaten dizine eklenmişse, bir robots meta etiketi eklemek onu otomatik olarak arama sonuçlarından çıkarmaz. Zaten indekslenmiş sayfaların SERP'lerden kaybolması biraz zaman alır. Arama botlarının noindex etiketini görmek için sayfaları yeniden taraması gerekir. Daha hızlı sonuçlar için Google'dan sayfayı yeniden taramasını ve URL kaldırma aracını kullanmasını isteyin.

SEO Denetimi ile Sorunlu Sayfaları Ortaya Çıkarın

Zayıf veya yinelenen içeriğin arama görünürlüğünüzü etkilemesine izin vermeyin. Sayfalarınıza sıralama için en iyi şansı verdiğinizden emin olun. 200+ Noktalı SEO Denetimimiz, yinelenen içerik, eksik bir robots.txt dosyası, yanlış uygulanmış robots meta etiketleri, dizin şişkinliği ve daha fazlası gibi sorunları işaretler. SEO denetim hizmetimizin çevrimiçi görünürlüğünüzü nasıl en üst düzeye çıkarabileceğini ve işletmenizin büyümesine nasıl yardımcı olabileceğini görmek için ücretsiz bir SEO danışmanlığı için kaydolun.