Site Tarama, Dizin Oluşturma ve XML Site Haritalarının Arkasındaki 3 Yaygın Miti Debunking

Çoğumuz, bir XML site haritasıyla donatılmış bir web sitesi başlatmanın, tüm sayfalarının otomatik olarak taranacağını ve dizine ekleneceğine yanlışlıkla inanıyoruz.

Bu bağlamda, bazı mitler ve yanlış anlamalar oluşur. En yaygın olanları:

• Google tüm siteleri otomatik olarak tarar ve bunu hızlı bir şekilde yapar.
• Bir web sitesini tararken, Google tüm bağlantıları takip eder ve tüm sayfalarını ziyaret eder ve hepsini hemen Dizine dahil eder.
• Bir XML site haritası eklemek, tüm site sayfalarının taranmasını ve dizine eklenmesini sağlamanın en iyi yoludur.

Ne yazık ki, web sitenizi Google'ın dizinine sokmak biraz daha karmaşık bir iştir. Tarama ve dizin oluşturma sürecinin nasıl çalıştığı ve bir XML site haritasının bu süreçte oynadığı rol hakkında daha iyi bir fikir edinmek için okumaya devam edin.

Yukarıda bahsedilen efsaneleri çürütmeye başlamadan önce, bazı temel SEO kavramlarını öğrenelim:

Tarama , arama motorları tarafından Web'in her yerinden URL'leri izlemek ve toplamak için uygulanan bir etkinliktir.

İndeksleme , taramayı takip eden süreçtir. Temel olarak, daha sonra arama motoru sorguları için sonuçlar sunarken kullanılan Web verilerini ayrıştırmak ve depolamakla ilgilidir. Arama Motoru Dizini, toplanan tüm Web verilerinin daha fazla kullanım için depolandığı yerdir.

Tarama Sıralaması , Google'ın sitenize ve sayfalarına atadığı değerdir. Bu metriğin arama motoru tarafından nasıl hesaplandığı hala bilinmiyor. Google, indeksleme sıklığının sıralamayla ilgili olmadığını defalarca onayladı, bu nedenle bir web sitesi sıralama yetkilisi ile tarama sıralaması arasında doğrudan bir ilişki yoktur.

Haber siteleri, değerli içeriğe sahip siteler ve düzenli olarak güncellenen sitelerin düzenli olarak taranma şansı daha yüksektir.

Tarama Bütçesi , arama motorunun bir web sitesine ayırdığı tarama kaynağı miktarıdır. Google genellikle bu tutarı sitenizin Tarama Sırasına göre hesaplar.

Tarama Derinliği , Google'ın bir web sitesini keşfederken bir web sitesi düzeyini detaylandırma derecesidir.

Tarama Önceliği , bir site sayfasına atanan ve sayfanın taramayla ilgili önemini belirten bir sıra sayısıdır.

Şimdi, sürecin tüm temellerini bilerek, XML site haritalarının, taramanın ve dizin oluşturmanın ardındaki 3 efsaneyi ortadan kaldıralım!

Efsane 1. Google, tüm siteleri otomatik olarak tarar ve bunu hızlı bir şekilde yapar.

Google, Web verilerini toplamanın çevik ve esnek olduğunu iddia ediyor.

Ancak gerçeği söylemek gerekirse, şu anda Web'de trilyonlarca sayfa olduğu için, teknik olarak arama motoru hepsini hızlı bir şekilde tarayamaz.

Tarama Bütçesi Ayrılacak Web Sitelerini Seçme

Akıllı Google algoritması (aka Crawl Budget), arama motoru kaynaklarını dağıtır ve hangi sitelerin taranmaya değer olup hangilerinin olmadığına karar verir.

Genellikle Google, belirlenen gereksinimlere karşılık gelen ve diğer sitelerin nasıl ölçüldüğünü tanımlamanın temeli olarak hizmet eden güvenilir web sitelerine öncelik verir.

Bu nedenle, henüz yeni çıkmış bir web siteniz veya kazınmış, yinelenen veya zayıf içeriğe sahip bir web siteniz varsa, düzgün bir şekilde taranma olasılığı oldukça düşüktür.

Tarama bütçesinin tahsis edilmesini de etkileyebilecek önemli faktörler şunlardır:

• web sitesi boyutu,
• genel durumu (bu ölçüm grubu, her sayfada sahip olabileceğiniz hataların sayısına göre belirlenir),
• ve gelen ve dahili bağlantıların sayısı.

Tarama bütçesi alma şansınızı artırmak için sitenizin yukarıda belirtilen tüm Google gereksinimlerini karşıladığından ve tarama verimliliğini optimize ettiğinden emin olun (makaledeki sonraki bölüme bakın).

Tarama Zamanlamasını Tahmin Etme

Google, Web URL'lerini tarama planlarını açıklamaz. Ayrıca, arama motorunun bazı siteleri hangi aralıklarla ziyaret ettiğini tahmin etmek zor.

Bir site için günde en az bir kez tarama yapabilirken, bazıları için ayda bir veya daha az sıklıkta ziyaret edilebilir.

• Taramaların periyodikliği şunlara bağlıdır:
• site içeriğinin kalitesi,
• Bir web sitesinin sunduğu bilgilerin yeniliği ve uygunluğu,
• ve arama motorunun site URL'lerinin ne kadar önemli veya popüler olduğunu düşündüğü hakkında.

Bu faktörleri göz önünde bulundurarak, Google'ın web sitenizi ne sıklıkla ziyaret edebileceğini tahmin etmeye çalışabilirsiniz.

Dış/iç bağlantıların ve XML site haritalarının rolü

Yol olarak, Googlebot'lar site sayfalarını ve web sitesini birbirine bağlayan bağlantıları kullanır. Böylece arama motoru, Web'de bulunan trilyonlarca birbirine bağlı sayfaya ulaşır.

Arama motoru, web sitenizi mutlaka ana sayfadan değil, herhangi bir sayfadan taramaya başlayabilir. Tarama giriş noktasının seçimi, gelen bağlantının kaynağına bağlıdır. Diyelim ki, ürün sayfalarınızdan bazılarında çeşitli web sitelerinden gelen çok sayıda bağlantı var. Google, noktaları birleştirir ve bu tür popüler sayfaları ilk turda ziyaret eder.

XML site haritası, iyi düşünülmüş bir site yapısı oluşturmak için harika bir araçtır. Ayrıca site tarama sürecini daha hedefli ve akıllı hale getirebilir.

Temel olarak site haritası, tüm site bağlantılarını içeren bir merkezdir. İçerisindeki her bağlantı bazı ekstra bilgilerle donatılabilir: son güncelleme tarihi, güncelleme sıklığı, sitedeki diğer URL'lerle ilişkisi vb.

Tüm bunlar, Googlebot'lara ayrıntılı bir web sitesi tarama yol haritası sağlar ve taramayı daha bilinçli hale getirir. Ayrıca, tüm ana arama motorları, bir site haritasında listelenen URL'lere öncelik verir.

Özetle, site sayfalarınızı Googlebot'un radarına almak için harika içeriğe sahip bir web sitesi oluşturmanız ve dahili bağlantı yapısını optimize etmeniz gerekir.

paket servisler

• Google, tüm web sitelerinizi otomatik olarak taramaz.
• Site taramasının periyodikliği, sitenin ve sayfalarının ne kadar önemli veya ne kadar popüler olduğuna bağlıdır.
• İçeriği güncellemek, Google'ın bir web sitesini daha sık ziyaret etmesini sağlar.
• Arama motoru gereksinimlerine uymayan web sitelerinin düzgün bir şekilde taranması pek olası değildir.
• Dahili/harici bağlantıları olmayan web siteleri ve site sayfaları genellikle arama motoru botları tarafından göz ardı edilir.
• Bir XML site haritası eklemek, web sitesi tarama sürecini iyileştirebilir ve daha akıllı hale getirebilir.

Efsane 2. Bir XML site haritası eklemek, tüm site sayfalarının taranmasını ve dizine eklenmesini sağlamanın en iyi yoludur.

Her web sitesi sahibi, Googlebot'un tüm önemli site sayfalarını (dizine eklenmeyenler hariç) ziyaret etmesini ve yeni ve güncel içeriği anında keşfetmesini ister.

Ancak, arama motorunun kendi site tarama öncelikleri vizyonu vardır.

Bir web sitesini ve içeriğini kontrol etmeye gelince, Google, tarama bütçesi adı verilen bir dizi algoritma kullanır. Temel olarak, arama motorunun kendi kaynaklarını bilinçli bir şekilde kullanırken site sayfalarını taramasına izin verir.

Bir web sitesi tarama bütçesini kontrol etme

Sitenizin nasıl tarandığını ve herhangi bir tarama bütçesi sorununuz olup olmadığını anlamak oldukça kolaydır.

Sadece yapmanız gerekenler:

• sitenizdeki ve XML site haritanızdaki sayfaların sayısını sayın,
• Google Search Console'u ziyaret edin, Tarama -> Tarama İstatistikleri bölümüne atlayın ve sitenizde günlük kaç sayfa tarandığını kontrol edin,
• site sayfalarınızın toplam sayısını günde taranan sayfa sayısına bölün.

Sahip olduğunuz sayı 10'dan büyükse (sitenizde Google'ın günlük olarak taradığından 10 kat daha fazla sayfa var), size kötü bir haberimiz var: web sitenizde tarama sorunları var.

Ama onları nasıl düzelteceğinizi öğrenmeden önce, başka bir kavramı anlamanız gerekir, yani…

Tarama derinliği

Tarama derinliği, Google'ın bir web sitesini belirli bir düzeye kadar keşfetmeye devam etme derecesidir.

Genel olarak ana sayfa 1. seviye, 1 tık ötedeki sayfa 2. seviye vb. olarak kabul edilir.

Derin düzeydeki sayfaların Pagerank'ı daha düşüktür (veya hiç yoktur) ve Googlebot tarafından taranma olasılıkları daha düşüktür. Genellikle, arama motoru 4. seviyeden daha derine inmez.

İdeal senaryoda, belirli bir sayfa ana sayfadan veya ana site kategorilerinden 1-4 tıklama uzakta olmalıdır. Bu sayfaya giden yol ne kadar uzunsa, arama motorlarının ona ulaşmak için o kadar fazla kaynak ayırması gerekir.

Bir web sitesinde bulunuyorsanız, Google yolun çok uzun olduğunu tahmin eder, daha fazla taramayı durdurur.

Tarama derinliğini ve bütçeyi optimize etme

Googlebot'un yavaşlamasını önlemek, web sitenizin tarama bütçesini ve derinliğini optimize etmek için yapmanız gerekenler:

• tüm 404, JS ve diğer sayfa hatalarını düzeltin;

Aşırı miktarda sayfa hatası, Google'ın tarayıcısının hızını önemli ölçüde yavaşlatabilir. Tüm ana site hatalarını bulmak için Google (Bing, Yandex) Web Yöneticisi Araçları panelinize giriş yapın ve burada verilen tüm talimatları izleyin.

• sayfalandırmayı optimize edin;

Çok uzun sayfalandırma listeleriniz varsa veya sayfalandırma düzeniniz listede birkaç sayfadan daha fazla tıklamaya izin vermiyorsa, arama motoru tarayıcısının böyle bir sayfa yığınını kazmayı bırakması muhtemeldir.

Ayrıca, bu tür sayfa başına birkaç öğe varsa, ince içerikli olarak kabul edilebilir ve taranmaz.

• navigasyon filtrelerini kontrol edin;

Bazı gezinme şemaları, yeni sayfalar oluşturan birden çok filtreyle gelebilir (örneğin, katmanlı gezinmeyle filtrelenen sayfalar). Bu tür sayfalar organik trafik potansiyeline sahip olsalar da arama motoru tarayıcılarında istenmeyen yükler de oluşturabilirler.

Bunu çözmenin en iyi yolu, filtrelenmiş listelere sistematik bağlantıları sınırlamaktır. İdeal olarak, maksimum 1-2 filtre kullanmalısınız. Örneğin, 3 LN filtreli (renk/beden/cinsiyet) bir mağazanız varsa, sadece 2 filtrenin (ör. renk-beden, cinsiyet-beden) sistematik kombinasyonuna izin vermelisiniz. Daha fazla filtre kombinasyonu eklemeniz gerekirse, bunlara manuel olarak bağlantılar eklemelisiniz.

• URL'lerde izleme parametrelerini optimize edin;

Çeşitli URL izleme parametreleri (örn. '?source=bu sayfa'), çok sayıda yeni URL oluşturdukları için tarayıcılar için tuzaklar oluşturabilir. Bu sorun, "benzer ürünler" veya "ilgili hikayeler" içeren sayfalar için tipikse, bu parametrelerin kullanıcıların davranışlarını izlemek için kullanıldığı durumlarda engeller.

Bu durumda tarama verimliliğini optimize etmek için, izleme bilgilerini URL'nin sonunda bir "#" işaretinin arkasına iletmeniz önerilir. Bu şekilde, böyle bir URL değişmeden kalacaktır. Ek olarak, izleme parametreleri olan URL'leri aynı URL'lere, ancak izleme olmadan yönlendirmek de mümkündür.

• aşırı 301 yönlendirmelerini kaldırın;

Diyelim ki, sonunda eğik çizgi olmadan bağlantılı büyük bir URL yığınınız var. Arama motoru botu bu tür sayfaları ziyaret ettiğinde eğik çizgi ile sürüme yönlendirilir.

Bu nedenle, bot olması gerekenin iki katını yapmak zorundadır ve sonunda pes edip emeklemeyi durdurabilir. Bunu önlemek için, URL'leri her değiştirdiğinizde sitenizdeki tüm bağlantıları güncellemeyi deneyin.

Tarama önceliği

Yukarıda belirtildiği gibi, Google web sitelerinin taranmasına öncelik verir. Bu nedenle, taranan bir web sitesindeki sayfalarla aynı şeyi yapması şaşırtıcı değildir.

Web sitelerinin çoğu için en yüksek tarama önceliğine sahip sayfa ana sayfadır.

Ancak, daha önce de belirtildiği gibi, bazı durumlarda en popüler kategori veya en çok ziyaret edilen ürün sayfası da olabilir. Googlebot tarafından daha fazla taranan sayfaları bulmak için sunucu günlüklerinize bakmanız yeterlidir.

Google, bir site sayfasının tarama önceliğini muhtemelen etkileyebilecek faktörlerin olduğunu resmi olarak açıklamasa da:

• bir XML site haritasına dahil etme (ve en önemli sayfalar için Öncelik etiketlerini* ekleyin),
• gelen bağlantıların sayısı,
• iç bağlantıların sayısı,
• sayfa popülerliği (ziyaret sayısı),
• Sayfa Sıralaması.

Ancak arama motoru botlarının web sitenizi taramasının yolunu temizledikten sonra bile, onu yine de görmezden gelebilirler. Nedenini öğrenmek için okumaya devam edin.

Tarama önceliğinin nasıl olduğunu daha iyi anlamak için Gary Illyes'in bu sanal açılış konuşmasını izleyin.

Bir XML site haritasındaki Öncelik etiketleri hakkında konuşurken, bunlar manuel olarak veya sitenizin temel aldığı platformun yerleşik işlevselliğinin yardımıyla eklenebilir. Ayrıca bazı platformlar, süreci basitleştiren üçüncü taraf XML site haritası uzantılarını/uygulamalarını destekler.
XML site haritası Öncelik etiketini kullanarak, farklı site sayfası kategorilerine aşağıdaki değerleri atayabilirsiniz:

• 0.0-0.3 yardımcı program sayfalarına, güncel olmayan içeriğe ve önemsiz tüm sayfalara,
• 0.4-0.7 blog makalelerinize, SSS ve bilgili sayfalara, ikincil öneme sahip kategori ve alt kategori sayfalarına ve
• 0.8-1.0 ana site kategorilerinize, önemli açılış sayfalarınıza ve Ana Sayfanıza.

paket servisler

• Google, tarama sürecinin öncelikleri konusunda kendi vizyonuna sahiptir.
• Arama motoru Dizinine girmesi gereken bir sayfa, ana sayfadan, ana site kategorilerinden veya en popüler site sayfalarından 1-4 tıklama uzakta olmalıdır.
• Googlebot'un web sitenizin tarama bütçesini ve tarama derinliğini yavaşlatmasını ve optimize etmesini önlemek için, 404, JS ve diğer sayfa hatalarını bulmalı ve düzeltmeli, site sayfalandırma ve gezinme filtrelerini optimize etmeli, aşırı 301 yönlendirmelerini kaldırmalı ve URL'lerdeki izleme parametrelerini optimize etmelisiniz.
• Önemli site sayfasının tarama önceliğini artırmak için, bunların bir XML site haritasına (Öncelik etiketleriyle) dahil edildiğinden ve diğer site sayfalarıyla iyi bir şekilde bağlantılı olduklarından, diğer ilgili ve yetkili web sitelerinden gelen bağlantılara sahip olduklarından emin olun.

Efsane 3. Bir XML site haritası, tüm tarama ve dizin oluşturma sorunlarını çözebilir.

Bir XML site haritası, sitenizin URL'leri ve bunlara ulaşmanın yolları hakkında Google'ı uyaran iyi bir iletişim aracı olmakla birlikte, sitenizin arama motoru botları tarafından ziyaret edileceğine dair HİÇBİR garanti vermez (tüm site sayfalarını Dizine dahil etmekten başka bir şey söylemez) .

Ayrıca, site haritalarının site sıralamanızı iyileştirmenize yardımcı olmayacağını anlamalısınız. Bir sayfa taranıp arama motoru Dizinine dahil edilse bile, sıralama performansı tonlarca başka faktöre (iç ve dış bağlantılar, içerik, site kalitesi vb.) bağlıdır.

Ancak, doğru kullanıldığında bir XML site haritası, site tarama verimliliğinizi önemli ölçüde artırabilir. Aşağıda, bu aracın SEO potansiyelini en üst düzeye çıkarmak için bazı tavsiyeler bulunmaktadır.

Tutarlı olun

Bir site haritası oluştururken, bunun Google tarayıcıları için bir yol haritası olarak kullanılacağını unutmayın. Bu nedenle, yanlış yönler vererek arama motorunu yanıltmamak önemlidir.

Örneğin, bazen XML site haritanıza bazı yardımcı program sayfalarını ( Bize Ulaşın veya Hizmet Şartları sayfaları, oturum açma sayfaları, kayıp şifre sayfasını geri yükleme, içerik paylaşma sayfaları vb.) dahil edebilirsiniz.

Bu sayfalar genellikle noindex robots meta etiketleri ile dizine eklenmekten gizlenir veya robots.txt dosyasında izin verilmez.

Bu nedenle, bunları bir XML site haritasına dahil etmek yalnızca Googlebot'ların kafasını karıştırır ve bu da web siteniz hakkında bilgi toplama sürecini olumsuz etkileyebilir.

Düzenli olarak güncelleyin

Web'deki çoğu web sitesi neredeyse her gün değişir. Özellikle ürün ve kategorilerin düzenli olarak siteye girip çıktığı e-ticaret web sitesi.

Google'ı iyi bilgilendirmek için XML site haritanızı güncel tutmanız gerekir.

Bazı platformlar (Magento, Shopify), XML site haritalarınızı periyodik olarak güncellemenize izin veren yerleşik işlevlere sahiptir veya bu görevi gerçekleştirebilen bazı üçüncü taraf çözümlerini destekler.

Örneğin, Magento 2'de site haritası güncelleme döngülerinin periyodikliğini yapabilirsiniz. Platformun yapılandırma ayarlarında tanımladığınızda, site sayfalarınızın belirli bir zaman aralığında (saatlik, haftalık, aylık) güncellendiğini ve sitenizin bir kez daha taranmaya ihtiyacı olduğunu tarayıcıya bildirirsiniz.

Bu konuda daha fazla bilgi edinmek için buraya tıklayın.

Ancak, site haritası güncellemeleri için öncelik ve sıklık belirlemenin yardımcı olmasına rağmen, gerçek değişiklikleri yakalamayabileceğini ve bazen gerçek bir resim veremeyebileceğini unutmayın.

Bu nedenle site haritanızın yakın zamanda yapılan tüm değişiklikleri yansıttığından emin olun.

Site içeriğini segmentlere ayırın ve doğru tarama önceliklerini belirleyin

Google, genel site kalitesini ölçmek ve yalnızca en iyi ve en alakalı web sitelerini ortaya çıkarmak için çok çalışıyor.

Ancak çoğu zaman olduğu gibi, tüm siteler eşit olarak oluşturulmaz ve gerçek değer sunma yeteneğine sahip değildir.

Diyelim ki bir web sitesi 1.000 sayfadan oluşabilir ve bunlardan sadece 50 tanesi “A” notudur. Diğerleri ya tamamen işlevseldir, içeriği eskidir ya da hiç içeriği yoktur.

Google böyle bir web sitesini keşfetmeye başlarsa, düşük değerli, spam içerikli veya güncel olmayan sayfaların yüksek yüzdesi nedeniyle büyük olasılıkla oldukça değersiz olduğuna karar verecektir.

Bu nedenle, bir XML site haritası oluştururken, web sitesi içeriğini bölümlere ayırmanız ve arama motoru botlarını yalnızca uygun site alanlarına yönlendirmeniz önerilir.

Ve hatırlayabileceğiniz gibi, XML site haritanızdaki en önemli site sayfalarına atanan Öncelik etiketleri de çok yardımcı olabilir.

paket servisler

• Bir site haritası oluştururken, noindex robots meta etiketleri ile dizine eklenmeyen veya robots.txt dosyasına izin verilmeyen sayfaları eklemediğinizden emin olun.
• Web sitesi yapısında ve içeriğinde değişiklik yaptıktan hemen sonra XML site haritalarını (manuel veya otomatik olarak) güncelleyin.
• Site içeriğinizi, site haritasına yalnızca «A» sınıfı sayfaları dahil edecek şekilde bölümlere ayırın.
• Farklı sayfa türleri için tarama önceliğini ayarlayın.

Temelde bu.

Konuyla ilgili söyleyeceğiniz bir şey var mı? Aşağıdaki yorumlar bölümünde tarama, dizine ekleme veya site haritaları hakkındaki görüşlerinizi paylaşmaktan çekinmeyin.