Tarama Bütçesi Optimizasyonu: Boşa Harcanan Tarama Bütçesini Durdurmak için 8 İpucu

Tarama Bütçesi Nedir?

Tarama bütçeniz, sitenizin Google'ın herhangi bir günde taradığı sayfa sayısını ifade eder. Tarama hızı sınırınıza ve tarama talebinize bağlıdır.

Tarama hızı sınırınız , web sitenizin kullanıcı deneyimini etkilemeden Google'ın tarayabileceği sayfa sayısıdır. Esasen Google, sunucunuzu isteklerle aşırı yüklemek istemez, bu nedenle sunucunuzun üstesinden gelebilecekleri (sunucu kaynaklarınız) ile sitenizi ne kadar taramak "istediği" arasında mutlu bir ortam bulur.

Tarama talebiniz , bir URL'nin ne kadar popüler olduğuna ve güncelliğine göre belirlenir. Bir URL eskiyse ve birkaç kişi onu arıyorsa, Google onu daha az sıklıkta tarar.

Tarama hızınızı etkileyemeseniz de, yeni içerik oluşturarak, sitenizi en iyi SEO uygulamalarıyla optimize ederek ve 404'ler ve gereksiz yönlendirmeler gibi SEO sorunlarıyla mücadele ederek tarama talebinizi etkileyebilirsiniz.

Tarama Bütçesi Optimizasyonu Nedir?

Tarama bütçesi optimizasyonu, arama tarayıcısında gezinilebilirliği iyileştirerek ve tarama bütçesi israfını azaltarak Googlebot'un sitenize erişmesini, taramasını ve dizine eklemesini kolaylaştırma sürecidir. Bu, hataları ve bozuk bağlantıları azaltmayı, dahili bağlantı oluşturmayı iyileştirmeyi, yinelenen içeriği indekslememe ve daha fazlasını içerir.

Google, sitenizdeki sayfaları yeterince taramadığında veya bunları yeterince sık taramadığında, tarama bütçesi bir sorun haline gelebilir.

Çalışmak için yalnızca belirli sayıda kaynağa sahip olduğundan, Google herhangi bir siteye herhangi bir günde yalnızca bu kadar çok tarama tahsis edebilir. Büyük bir siteniz varsa, bu, Google'ın günlük olarak site sayfalarınızın yalnızca küçük bir bölümünü taramak için kaynaklara sahip olabileceği anlamına gelir. Bu, sayfalarınızın dizine eklenmesinin veya içerik güncellemelerinin Google sıralamalarına yansıtılmasının ne kadar süreceğini etkileyebilir.

Neyse ki, sitenizin Google tarama bütçesi sorunları yaşıyor olabileceğini düşünüyorsanız, sitenizi optimize etmek ve tarama bütçenizden en iyi şekilde yararlanmak için yapabileceğiniz bazı şeyler var.

Tarama İstatistikleri Raporunuzu Nasıl Kontrol Edebilirsiniz?

Google Search Console'daki tarama istatistiklerinizi kontrol ederek veya sunucu dosya günlüklerinizi analiz ederek tarama bütçesi sorunlarını belirleyebilirsiniz.

Google Search Console'da tarama istatistikleri raporunuzu görüntülemek, Googlebot'un web sitenizle nasıl etkileşimde bulunduğunu daha iyi anlamanıza yardımcı olabilir. Google tarayıcısının neler yaptığını görmek için bunu nasıl kullanabileceğiniz aşağıda açıklanmıştır.

Google Arama Konsolunu açın, giriş yapın ve web sitenizi seçin. Ardından Arama Konsolu menüsünden 'Ayarlar' seçeneğini seçin.

Tarama istatistikleri bölümünde son 90 güne ait tarama raporunuzu görebilirsiniz. 'Raporu Aç'ı tıklayarak açın.

Tarama İstatistik Raporunuz Ne Anlama Geliyor?

Artık Googlebot'un etkinliğini görebildiğinize göre, verilerin kodunu çözmenin zamanı geldi. İşte tarama raporunuzdan alabileceğiniz bilgi türlerinin kısa bir dökümü.

Ana tarama grafiği, size Googlebot'un tarama etkinliğinin görsel bir temsilini gösterecektir. Burada (1) Google'ın son 90 gün içinde kaç tarama isteği gönderdiğini ve (2) sitenizin sunucusunun ortalama yanıt süresini ve tarama sırasında indirilen toplam bayt miktarını görebilirsiniz.

'Ana bilgisayar durumu' bölümü (3), tarayıcının web sitenize erişirken herhangi bir kullanılabilirlik sorunuyla karşılaşıp karşılaşmadığını size bildirecektir.

Beyaz onay işaretli yeşil bir daire, Googlebot'un herhangi bir sorunla karşılaşmadığı anlamına gelir ve ana makinenizin sorunsuz çalıştığını gösterir.

Yeşil onay işaretli beyaz bir daire, Googlebot'un bir haftadan uzun bir süre önce bir sorunla karşılaştığını ancak şu anda her şeyin yolunda gittiğini gösterir.

Beyaz ünlem işaretli kırmızı bir daire, Googlebot'un geçen hafta içinde en az bir önemli sorunla karşılaştığını gösterir.

Tarama istekleri dökümü, Google'ın tarayıcılarının sitenizle nasıl etkileşim kurduğu hakkında daha ayrıntılı bilgiler sağlar.

Yanıtla

Bakılacak ilk bölüm 'Yanıtla' bölümüdür. Bu bölüm, sitenizdeki sayfaları taramaya çalışırken Googlebot'un ne tür yanıtlar aldığını anlatır. Google, aşağıdakileri iyi yanıtlar olarak değerlendirir:

• Tamam (200)
• Kalıcı olarak taşındı (301)
• Geçici olarak taşındı (302)
• Taşındı (diğer)
• Değiştirilmedi (304)

İdeal olarak, yanıtların çoğunluğu 200 olmalıdır (bazı 301'ler de uygundur). 'Bulunamadı (404)' gibi kodlar, web sitenizde muhtemelen tarama bütçenizi etkileyen çıkmaz sokaklar olabileceğine dair bir uyarıdır.

Dosya tipi

'Dosya türüne göre' bölümü, Googlebot'un tarama sırasında ne tür bir dosyayla karşılaştığını size söyler. Gördüğünüz yüzde değerleri, her dosya türünün bayt yüzdesini değil, o türdeki yanıtların yüzdesini temsil eder.

amaca göre

'Amaca göre' bölümü, taranan sayfanın tarayıcının daha önce gördüğü bir sayfa mı (yenileme) yoksa tarayıcı için yeni bir sayfa mı (keşif) olduğunu gösterir.

Googlebot Türüne Göre

Son olarak, 'Googlebot türüne göre' bölümü, istekte bulunmak ve sitenizi taramak için kullanılan Googlebot tarama aracılarının türleri hakkında bilgi verir. Örneğin, 'Akıllı telefon' türü, Google'ın akıllı telefon tarayıcısının ziyaretini belirtirken, 'AdsBot' türü, Google'ın AdsBot tarayıcılarından birinin taramasını belirtir. Ek bir not olarak, robots.txt dosyasını düzenleyerek belirli Googlebot türlerinin web sitenizi taramasını her zaman devre dışı bırakabilirsiniz.

Tarama raporunuzdaki verilerin nasıl yorumlanacağı hakkında daha fazla bilgi edinmek istiyorsanız, Google'ın Search Console tarama raporları kılavuzuna bakın.

Tarama Bütçenizi Boşa Harcadığınızı Nasıl Anlarsınız?

Tarama bütçesini optimize etmenin Googlebot'un daha fazla sayfanızı taramasına yardımcı olup olmayacağını belirlemenin hızlı bir yolu, sitenizin sayfalarının günlük olarak yüzde kaçının tarandığını görmektir.

Web sitenizde tam olarak kaç benzersiz sayfanız olduğunu öğrenin ve bunu "günlük taranan ortalama" sayıya bölün. Günde taranan sayfalardan on kat veya daha fazla toplam sayfanız varsa, tarama bütçesi optimizasyonunu düşünmelisiniz.

Tarama bütçesi sorunları yaşadığınızı düşünüyorsanız, tarayıcının ne tür hatalarla karşılaşabileceğini görmek için 'Yanıtla' bölümüne bakarak başlayın. Bütçenizi tam olarak neyin tükettiğini görmek için muhtemelen daha derin bir analiz yapmanız gerekecek. Sunucu günlüklerinize bir göz atmak, tarayıcının sitenizle nasıl etkileşim kurduğu hakkında size daha fazla bilgi verebilir.

Sunucu Günlüklerinizi Kontrol Edin

Tarama bütçesini boşa harcayıp harcamadığınızı kontrol etmenin başka bir yolu da sitenizin sunucu günlüklerine bakmaktır. Bu günlükler, sitenizi taradığında Googlebot'un yaptığı istekler de dahil olmak üzere web sitenize yapılan her isteği saklar. Sunucu günlüklerinizi analiz etmek, Google'ın web sitenizi ne sıklıkta taradığını, tarayıcının en sık hangi sayfalara eriştiğini ve tarayıcı botunun ne tür hatalarla karşılaştığını size söyleyebilir.

Bu verileri araştırmak biraz sıkıcı olsa da, bu günlükleri manuel olarak kontrol edebilirsiniz. Neyse ki, birkaç farklı günlük analiz aracı, SEMRush günlük dosyası analizörü veya Screaming Frog SEO günlük dosyası analizörü gibi günlük verilerinizi sıralamanıza ve anlamlandırmanıza yardımcı olabilir.

Tarama Bütçesi SEO: Tarama Bütçenizi Optimize Etmenin 8 Yolu

Boşa harcanan tarama bütçesini ortaya çıkardınız mı? Tarama bütçesi SEO optimizasyon stratejileri, israfı engellemenize yardımcı olabilir. Daha iyi performans için SEO tarama bütçenizi optimize etmenize yardımcı olacak sekiz ipucu.

1. Finetune Robots.txt ve Meta Robot Etiketleri

Boşa harcanan tarama bütçesini azaltmanın bir yolu, Google tarayıcısının ilk etapta belirli sayfaları taramasını engellemektir. Googlebot'u dizine eklenmesini istemediğiniz sayfalardan uzak tutarak, dikkatini daha önemli sayfalarınıza odaklayabilirsiniz.

Robots.txt dosyası, hangi sayfaların taranmasını istediğinizi ve hangilerinin yasak olduğunu bildiren arama tarayıcıları için sınırlar belirler. robots.txt dosyanıza bir izin vermeme komutu eklemek, bu sayfaları gösteren bağlantılar olmadığı sürece tarayıcıların belirtilen alt dizinlere erişmesini, taramasını ve dizine eklemesini engeller.

Sayfa düzeyinde, belirli sayfaları noindex için meta robot etiketlerini kullanabilirsiniz. Noindex etiketi, Googlebot'un sayfanıza erişmesine ve sayfadaki bağlantılarını izlemesine izin verir, ancak Googlebot'a sayfanın kendisini dizine eklemekten kaçınmasını söyler. Bu etiket doğrudan HTML kodunuzun <head> öğesine gider ve şöyle görünür:

 <meta name=”robots” content=”noindex” />

2. İçeriği Budama

Sitenizde düşük değerli URL'ler veya yinelenen içerik barındırmak, tarama bütçenizi zorlayabilir. Web sitenizin sayfalarını derinlemesine incelemek, tarama bütçesini tüketebilecek ve daha değerli içeriğin taranmasını ve dizine eklenmesini engelleyebilecek gereksiz sayfaları belirlemenize yardımcı olabilir.

Düşük değerli bir URL olarak nitelendirilen nedir? Google'a göre, düşük değerli URL'ler genellikle birkaç kategoriden birine girer:

• Yinelenen içerik
• Oturum tanımlayıcıları
• Yumuşak hata sayfaları
• Saldırıya uğramış sayfalar
• Düşük kaliteli ve spam içerik

Yinelenen içeriğin belirlenmesi her zaman kolay değildir. Bir sayfadaki içeriğin çoğu başka bir sayfanınkiyle aynıysa - daha fazla içerik eklemiş veya bazı sözcükleri değiştirmiş olsanız bile - Google onu önemli ölçüde benzer olarak görür. Dizine eklenmesi gereken orijinal sayfanın hangisi olduğunu belirtmek için noindex meta etiketlerini ve kurallı etiketleri kullanın.

Düşük değerli olarak kaydedilebilecek içeriği güncelleyerek, kaldırarak veya dizine eklemeden, Googlebot'a sitenizde gerçekten önemli olan sayfaları taramak için daha fazla fırsat verirsiniz.

3. JavaScript'i Kaldırın veya Oluşturun

Googlebot'un HTML okumada bir sorunu yoktur, ancak JavaScript'i okuyup dizine ekleyebilmesi için önce JavaScript'i oluşturması gerekir. Bu nedenle, bir sayfadaki bir JavaScript öğesini taramak ve dizine eklemek yerine Google, sayfadaki HTML içeriğini tarar ve ardından sayfayı oluşturma kuyruğuna yerleştirir. Oluşturmaya ayıracak zamanı ve kaynakları olduğunda, JavaScript'i oluşturacak ve "okuyacak", ardından son olarak dizine ekleyecektir. Bu ekstra adım yalnızca daha fazla zaman almaz, aynı zamanda daha fazla tarama bütçesi gerektirir.

JavaScript, sayfa yükleme sürelerinizi de etkileyebilir ve site hızı ve sunucu yükü, tarama bütçenizi etkilediğinden, çok fazla JavaScript ile tıkanmışsa, Google sitenizi istediğinizden daha az tarayabilir.

Tarama bütçesinden tasarruf etmek için sayfaları JavaScript ile noindex oluşturabilir, JavaScript öğelerinizi kaldırabilir veya Prerender gibi dinamik JavaScript içeriğini statik HTML olarak oluşturan ve Google'ın anlamasını ve taramasını kolaylaştıran bir araç kullanabilirsiniz.

4. 301 Yönlendirme Zincirlerini Kaldırın

301 yönlendirmeleri, trafiği ve bağlantı hakkını, kaldırmak istediğiniz bir URL'den başka bir ilgili URL'ye aktarmanın kullanışlı ve SEO dostu bir yoludur.

Ancak, yönlendirmelerinizi izlemiyorsanız, yanlışlıkla yönlendirme zincirleri oluşturmak kolaydır. Bu, yalnızca sitenizin ziyaretçileri için daha uzun yükleme sürelerine yol açmakla kalmaz, aynı zamanda tarayıcıların yalnızca bir gerçek içerik sayfasına erişmek için birden çok URL'yi taramasına da neden olabilir. Bu, Google'ın hedef sayfaya ulaşmak için yönlendirme zincirindeki her URL'yi taraması gerekeceği ve bu süreçte tarama bütçenizi tüketeceği anlamına gelir.

Bunu önlemek için, tüm yönlendirmelerinizin nihai hedeflerine işaret ettiğinden emin olun. Mümkün olduğunda yönlendirme zincirlerini kullanmaktan kaçınmak her zaman iyi bir uygulamadır. Yine de hatalar olabilir, bu nedenle sitenizi manuel olarak gözden geçirmek için biraz zaman ayırın veya herhangi bir 301 yönlendirme zincirini tespit etmek ve temizlemek için bir yönlendirme kontrol aracı kullanın.

5. XML Site Haritası En İyi Uygulamalarını Takip Edin

Site haritanız, tüm önemli sayfalarınızı arama tarayıcılarıyla paylaşır - veya en azından öyle olmalıdır. Arama motorları, sayfaları kolayca bulmak için site haritalarını tarar. Google, sayfalarınızı bulmak için birine ihtiyaç duymadığını söylese de, yine de bir tane tutmak iyi bir fikirdir.

İyi çalışması için site haritanız yalnızca dizine eklenmesini istediğiniz sayfaları içermelidir. Dizine eklenmemiş veya yeniden yönlendirilmiş URL'leri site haritanızdan kaldırmalısınız. Bunu yapmanın kolay bir yolu, dinamik olarak oluşturulmuş bir XML site haritasıdır. Dinamik olarak oluşturulmuş site haritaları kendilerini günceller, böylece uyguladığınız her 301'den sonra kendinizinkini düzenleme konusunda endişelenmenize gerek kalmaz.

Sitenizde birden fazla alt dizininiz varsa, alt dizinlerinizin site haritalarının her birine bağlantılar içeren bir site haritası dizini kullanın. Bu, web sitenizin mimarisini sergilemenize yardımcı olur ve arama tarayıcılarının izlemesi için kolay bir yol haritası sağlar.

6. Bir Dahili Bağlantı Stratejisi Oluşturun

Dahili bağlantılar yalnızca site ziyaretçilerinin gezinmesine yardımcı olmaz; ayrıca paletli botlar için daha net bir hareket yolu oluştururlar.

İyi geliştirilmiş bir dahili bağlantı stratejisi, tarayıcıları taranmasını istediğiniz sayfalara yönlendirebilir. Tarayıcılar diğer sayfaları bulmak için bağlantıları kullandığından, daha derindeki sayfaları daha üst düzey içerikle birbirine bağlamak, tarayıcının bunlara daha hızlı erişmesine yardımcı olabilir. Aynı zamanda, tarama bütçenize girmesini istemediğiniz düşük öncelikli sayfalardan bağlantıları kaldırmak, onları sıranın en arkasına itmeye ve ilk önce önemli sayfalarınızın taranmasını sağlamaya yardımcı olabilir.

7. Site Hatalarını Düzeltin

Site hataları, arama tarayıcılarını tetikleyebilir ve değerli tarama bütçesini boşa harcayabilir. İdeal olarak, tarayıcının gerçek bir sayfayla veya o sayfaya tek bir yönlendirmeyle karşılaşmasını istersiniz. Yönlendirme zincirleriyle veya bir 404 hata sayfasıyla karşılaşıyorsa, tarama bütçesini boşa harcıyorsunuz demektir.

Tarayıcının nerede hatalarla karşılaştığını ve bunların ne tür hatalar olduğunu belirlemek için Google Arama Konsolu tarama raporunuzu kullanın. Tanımlanabilir hataların giderilmesi, Googlebot için daha sorunsuz bir tarama deneyimi sağlayacaktır.

8. Kırık Bağlantıları Kontrol Edin

Bir URL temelde iki sayfa arasında bir köprüdür. Arama motoru tarayıcısına yeni sayfalar bulmak için bir yol sağlar - ancak bazı URL'ler hiçbir yere gitmez. Bozuk bir bağlantı, arama motoru tarayıcıları için bir çıkmaz sokaktır ve sınırlı tarama bütçenizin boşa gitmesidir.

Arama tarayıcılarını ölü sayfalara gönderebilecek bozuk bağlantılar için sitenizi kontrol etmek için biraz zaman ayırın ve bunları düzeltin veya kaldırın. Tarama bütçesi israfını azaltmanın yanı sıra, bozuk bağlantıları kaldırarak ziyaretçinin göz atma deneyimini de iyileştirmiş olacaksınız, bu nedenle periyodik bağlantı kontrolü yapmak her zaman iyi bir fikirdir.

Bir SEO Denetimi ile Boşa Harcanan Tarama Bütçesini Durdurun

Bunalmış hissediyor musunuz veya sitenizin tarama bütçesini veya genel SEO'sunu optimize etmeye nereden başlayacağınızdan emin değil misiniz? Tek başına gitmeye gerek yok. Victorious ile bugün bir danışma rezervasyonu yapın ve uzmanlarımızın bir SEO denetimi gerçekleştirme ve sitenizin SEO'sunu optimize etmek için bir strateji geliştirme sürecinde size yardımcı olmasına izin verin.