Membongkar 3 Mitos Umum Dibalik Perayapan Situs, Pengindeksan, dan Peta Situs XML

Banyak dari kita secara keliru percaya bahwa meluncurkan situs web yang dilengkapi dengan peta situs XML akan secara otomatis membuat semua halamannya dirayapi dan diindeks.

Dalam hal ini, beberapa mitos dan kesalahpahaman membangun. Yang paling umum adalah:

• Google secara otomatis merayapi semua situs dan melakukannya dengan cepat.
• Saat merayapi situs web, Google mengikuti semua tautan dan mengunjungi semua halamannya dan langsung memasukkan semuanya ke dalam Indeks.
• Menambahkan peta situs XML adalah cara terbaik untuk membuat semua halaman situs dirayapi dan diindeks.

Sayangnya, memasukkan situs web Anda ke dalam indeks Google adalah tugas yang sedikit lebih rumit. Baca terus untuk mendapatkan ide yang lebih baik tentang cara kerja proses perayapan dan pengindeksan, dan peran apa yang dimainkan peta situs XML di dalamnya.

Sebelum kita mulai membongkar mitos yang disebutkan di atas, mari kita pelajari beberapa pengertian SEO yang penting:

Perayapan adalah aktivitas yang diterapkan oleh mesin pencari untuk melacak dan mengumpulkan URL dari seluruh Web.

Pengindeksan adalah proses yang mengikuti perayapan. Pada dasarnya, ini tentang mengurai dan menyimpan data Web yang nantinya digunakan saat menyajikan hasil untuk kueri mesin telusur. Indeks Mesin Pencari adalah tempat di mana semua data Web yang dikumpulkan disimpan untuk penggunaan lebih lanjut.

Peringkat Perayapan adalah nilai yang diberikan Google ke situs Anda dan halamannya. Masih belum diketahui bagaimana metrik ini dihitung oleh mesin pencari. Google mengkonfirmasi beberapa kali bahwa frekuensi pengindeksan tidak terkait dengan peringkat, jadi tidak ada korelasi langsung antara otoritas peringkat situs web dan peringkat perayapannya.

Situs web berita, situs dengan konten berharga, dan situs yang diperbarui secara teratur memiliki peluang lebih tinggi untuk dirayapi secara teratur.

Anggaran Perayapan adalah jumlah sumber daya perayapan yang dialokasikan mesin telusur ke situs web. Biasanya, Google menghitung jumlah ini berdasarkan Peringkat Perayapan situs Anda.

Kedalaman Perayapan adalah sejauh mana Google menelusuri tingkat situs web saat menjelajahinya.

Prioritas Perayapan adalah nomor urut yang ditetapkan ke halaman situs yang menandakan pentingnya dalam kaitannya dengan perayapan.

Sekarang, mengetahui semua dasar prosesnya, mari kita selesaikan 3 mitos di balik peta situs XML, perayapan, dan pengindeksan!

Mitos 1. Google secara otomatis merayapi semua situs dan melakukannya dengan cepat.

Google mengklaim bahwa dalam hal pengumpulan data Web, itu sangat gesit dan fleksibel.

Tapi sejujurnya, karena saat ini ada triliunan halaman di Web, secara teknis, mesin pencari tidak dapat dengan cepat merayapi semuanya.

Memilih Situs Web untuk Mengalokasikan Anggaran Perayapan untuk

Algoritme Google yang cerdas (alias Anggaran Perayapan) mendistribusikan sumber daya mesin telusur dan memutuskan situs mana yang layak untuk dirayapi dan mana yang tidak.

Biasanya, Google memprioritaskan situs web tepercaya yang sesuai dengan persyaratan yang ditetapkan dan berfungsi sebagai dasar untuk menentukan ukuran situs lain.

Jadi, jika Anda memiliki situs web baru, atau situs web dengan konten tergores, duplikat, atau tipis, kemungkinannya untuk dirayapi dengan benar cukup kecil.

Faktor penting yang juga dapat mempengaruhi pengalokasian anggaran perayapan adalah:

• ukuran situs web,
• kesehatan umumnya (kumpulan metrik ini ditentukan oleh jumlah kesalahan yang mungkin Anda miliki di setiap halaman),
• dan jumlah tautan masuk dan tautan internal.

Untuk meningkatkan peluang Anda mendapatkan anggaran perayapan, pastikan situs Anda memenuhi semua persyaratan Google yang disebutkan di atas, serta optimalkan efisiensi perayapannya (lihat bagian selanjutnya dalam artikel).

Memprediksi Jadwal Perayapan

Google tidak mengumumkan rencananya untuk merayapi URL Web. Juga, sulit untuk menebak periodisitas mesin pencari yang mengunjungi beberapa situs.

Bisa jadi untuk satu situs, mungkin melakukan perayapan setidaknya sekali per hari, sementara untuk beberapa situs lainnya dikunjungi sekali per bulan atau bahkan lebih jarang.

• Periodisitas perayapan tergantung pada:
• kualitas konten situs,
• kebaruan dan relevansi informasi yang diberikan situs web,
• dan tentang seberapa penting atau populernya URL situs menurut mesin pencari.

Dengan mempertimbangkan faktor-faktor ini, Anda dapat mencoba memprediksi seberapa sering Google mengunjungi situs web Anda.

Peran tautan eksternal/internal dan peta situs XML

Sebagai jalur, Googlebots menggunakan tautan yang menghubungkan halaman situs dan situs web satu sama lain. Dengan demikian, mesin pencari mencapai triliunan halaman yang saling berhubungan yang ada di Web.

Mesin pencari dapat mulai memindai situs web Anda dari halaman mana pun, tidak harus dari halaman rumah. Pemilihan titik masuk perayapan tergantung pada sumber tautan masuk. Katakanlah, beberapa halaman produk Anda memiliki banyak tautan yang berasal dari berbagai situs web. Google menghubungkan titik-titik dan mengunjungi halaman-halaman populer seperti itu pada putaran pertama.

Peta situs XML adalah alat yang hebat untuk membangun struktur situs yang dipikirkan dengan baik. Selain itu, dapat membuat proses perayapan situs lebih terarah dan cerdas.

Pada dasarnya, peta situs adalah hub dengan semua tautan situs. Setiap tautan yang disertakan di dalamnya dapat dilengkapi dengan beberapa info tambahan: tanggal pembaruan terakhir, frekuensi pembaruan, hubungannya dengan URL lain di situs, dll.

Semua itu memberi Googlebots peta jalan perayapan situs web yang terperinci dan membuat perayapan lebih terinformasi. Juga, semua mesin pencari utama memberikan prioritas ke URL yang terdaftar di peta situs.

Ringkasnya, untuk mendapatkan halaman situs Anda di radar Googlebot, Anda perlu membangun situs web dengan konten hebat dan mengoptimalkan struktur tautan internalnya.

Takeaways

• Google tidak secara otomatis merayapi semua situs web Anda.
• Periode perayapan situs bergantung pada seberapa penting atau seberapa populer situs dan halamannya.
• Memperbarui konten membuat Google mengunjungi situs web lebih sering.
• Situs web yang tidak sesuai dengan persyaratan mesin telusur tidak mungkin dirayapi dengan benar.
• Situs web dan halaman situs yang tidak memiliki tautan internal/eksternal biasanya diabaikan oleh bot mesin pencari.
• Menambahkan peta situs XML dapat meningkatkan proses perayapan situs web dan membuatnya lebih cerdas.

Mitos 2. Menambahkan peta situs XML adalah cara terbaik untuk membuat semua halaman situs dirayapi dan diindeks.

Setiap pemilik situs web ingin Googlebot mengunjungi semua halaman situs penting (kecuali yang tersembunyi dari indeksasi), serta langsung menjelajahi konten baru dan yang diperbarui.

Namun, mesin pencari memiliki visinya sendiri tentang prioritas perayapan situs.

Saat memeriksa situs web dan kontennya, Google menggunakan serangkaian algoritme yang disebut anggaran perayapan. Pada dasarnya, ini memungkinkan mesin pencari untuk memindai halaman situs, sambil dengan cerdas menggunakan sumber dayanya sendiri.

Memeriksa anggaran perayapan situs web

Cukup mudah untuk mengetahui bagaimana situs Anda dirayapi dan apakah Anda memiliki masalah anggaran perayapan.

Anda hanya perlu:

• hitung jumlah halaman di situs Anda dan di peta situs XML Anda,
• kunjungi Google Search Console, lompat ke bagian Perayapan -> Statistik Perayapan, dan periksa berapa banyak halaman yang dirayapi di situs Anda setiap hari,
• bagi jumlah total halaman situs Anda dengan jumlah halaman yang dirayapi per hari.

Jika jumlah yang Anda dapatkan lebih besar dari 10 (ada 10x lebih banyak halaman di situs Anda daripada yang dirayapi Google setiap hari), kami punya kabar buruk untuk Anda: situs web Anda memiliki masalah perayapan.

Namun sebelum Anda mempelajari cara memperbaikinya, Anda perlu memahami pengertian lain, yaitu…

Kedalaman perayapan

Kedalaman perayapan adalah sejauh mana Google terus menjelajahi situs web hingga ke tingkat tertentu.

Umumnya, beranda dianggap sebagai level 1, halaman yang berjarak 1 klik adalah level 2, dll.

Halaman tingkat dalam memiliki Pagerank yang lebih rendah (atau tidak memilikinya sama sekali) dan kecil kemungkinannya untuk dirayapi oleh Googlebot. Biasanya, mesin pencari tidak menggali lebih dalam dari level 4.

Dalam skenario ideal, halaman tertentu harus berjarak 1-4 klik dari beranda atau kategori situs utama. Semakin panjang jalur ke halaman itu, semakin banyak sumber daya yang harus dialokasikan mesin pencari untuk menjangkaunya.

Jika berada di sebuah situs web, Google memperkirakan bahwa jalurnya terlalu panjang, ia berhenti merangkak lebih jauh.

Mengoptimalkan kedalaman dan anggaran perayapan

Untuk mencegah Googlebot melambat, mengoptimalkan anggaran dan kedalaman perayapan situs web Anda, Anda perlu:

• perbaiki semua 404, JS dan kesalahan halaman lainnya;

Jumlah kesalahan halaman yang berlebihan dapat secara signifikan memperlambat kecepatan perayap Google. Untuk menemukan semua kesalahan situs utama, masuk ke panel Alat Webmaster Google (Bing, Yandex) Anda dan ikuti semua instruksi yang diberikan di sini.

• mengoptimalkan pagination;

Jika Anda memiliki daftar pagination yang terlalu panjang, atau skema pagination Anda tidak memungkinkan untuk mengklik lebih dari beberapa halaman di bawah daftar, crawler mesin pencari kemungkinan akan berhenti menggali tumpukan halaman tersebut.

Juga, jika ada beberapa item per halaman tersebut, itu dapat dianggap sebagai konten tipis, dan tidak akan dirayapi.

• periksa filter navigasi;

Beberapa skema navigasi mungkin datang dengan beberapa filter yang menghasilkan halaman baru (misalnya halaman yang difilter oleh navigasi berlapis). Meskipun halaman tersebut mungkin memiliki potensi lalu lintas organik, mereka juga dapat membuat beban yang tidak diinginkan pada perayap mesin pencari.

Cara terbaik untuk mengatasi ini adalah dengan membatasi tautan sistematis ke daftar yang difilter. Idealnya, Anda harus menggunakan maksimal 1-2 filter. Misalnya, jika Anda memiliki toko dengan 3 filter LN (warna/ukuran/gender), Anda harus mengizinkan kombinasi sistematis hanya 2 filter (misalnya, ukuran warna, ukuran gender). Jika Anda perlu menambahkan kombinasi lebih banyak filter, Anda harus menambahkan tautan ke filter tersebut secara manual.

• Optimalkan parameter pelacakan di URL;

Berbagai parameter pelacakan URL (misalnya '?source=halaman ini') dapat membuat jebakan untuk perayap, karena mereka menghasilkan sejumlah besar URL baru. Masalah ini biasa terjadi pada halaman dengan blok "produk serupa" atau "cerita terkait", di mana parameter ini digunakan untuk melacak perilaku pengguna.

Untuk mengoptimalkan efisiensi perayapan dalam kasus ini, disarankan untuk mengirimkan informasi pelacakan di belakang '#' di akhir URL. Dengan cara ini, URL seperti itu akan tetap tidak berubah. Selain itu, dimungkinkan juga untuk mengalihkan URL dengan parameter pelacakan ke URL yang sama tetapi tanpa pelacakan.

• hapus pengalihan 301 yang berlebihan;

Katakanlah, Anda memiliki sebagian besar URL yang ditautkan tanpa garis miring. Ketika bot mesin pencari mengunjungi halaman tersebut, itu akan diarahkan ke versi dengan garis miring.

Dengan demikian, bot harus melakukan dua kali lipat dari yang seharusnya, dan pada akhirnya bot bisa menyerah dan berhenti merangkak. Untuk menghindarinya, coba perbarui semua tautan di dalam situs Anda setiap kali Anda mengubah URL.

Prioritas perayapan

Seperti yang dikatakan di atas, Google memprioritaskan situs web untuk dirayapi. Jadi tidak heran ia melakukan hal yang sama dengan halaman dalam situs web yang dirayapi.

Untuk sebagian besar situs web, halaman dengan prioritas perayapan tertinggi adalah beranda.

Namun, seperti yang dikatakan sebelumnya, dalam beberapa kasus itu juga bisa menjadi kategori paling populer atau halaman produk yang paling banyak dikunjungi. Untuk menemukan laman yang mendapatkan jumlah perayapan lebih besar oleh Googlebot, lihat saja log server Anda.

Meskipun Google tidak secara resmi mengumumkan bahwa faktor-faktor yang diduga dapat mempengaruhi prioritas perayapan halaman situs adalah:

• penyertaan ke dalam peta situs XML (dan tambahkan tag Prioritas* untuk halaman yang paling penting),
• jumlah tautan masuk,
• jumlah tautan internal,
• popularitas halaman (# kunjungan),
• Peringkat halaman.

Tetapi bahkan setelah Anda membuka jalan bagi bot mesin pencari untuk merayapi situs web Anda, mereka mungkin masih mengabaikannya. Baca terus untuk mengetahui alasannya.

Untuk lebih memahami bagaimana prioritas perayapan, tonton keynote virtual ini oleh Gary Illyes.

Berbicara tentang tag Prioritas dalam peta situs XML, tag tersebut dapat ditambahkan secara manual, atau dengan bantuan fungsionalitas bawaan dari platform yang menjadi dasar situs Anda. Selain itu, beberapa platform mendukung ekstensi/aplikasi peta situs XML pihak ketiga yang menyederhanakan proses.
Dengan menggunakan tag Prioritas peta situs XML, Anda dapat menetapkan nilai berikut ke berbagai kategori halaman situs:

• 0,0-0,3 ke halaman utilitas, konten usang, dan halaman apa pun yang tidak terlalu penting,
• 0,4-0,7 untuk artikel blog Anda, FAQ dan halaman pengetahuan, halaman kategori dan subkategori dengan kepentingan sekunder, dan
• 0.8-1.0 ke kategori situs utama Anda, halaman arahan utama, dan Beranda.

Takeaways

• Google memiliki visinya sendiri tentang prioritas proses perayapan.
• Halaman yang seharusnya masuk ke Indeks mesin pencari harus berjarak 1-4 klik dari beranda, kategori situs utama, atau halaman situs paling populer.
• Untuk mencegah Googlebot memperlambat dan mengoptimalkan anggaran perayapan situs web dan kedalaman perayapan, Anda harus menemukan dan memperbaiki kesalahan 404, JS dan halaman lainnya, mengoptimalkan paginasi situs dan filter navigasi, menghapus pengalihan 301 yang berlebihan, dan mengoptimalkan parameter pelacakan di URL.
• Untuk meningkatkan prioritas perayapan halaman situs penting, pastikan mereka disertakan ke dalam peta situs XML (dengan tag Prioritas) dan tertaut dengan baik dengan halaman situs lain, memiliki tautan yang berasal dari situs web lain yang relevan dan otoritatif.

Mitos 3. Peta situs XML dapat menyelesaikan semua masalah perayapan dan pengindeksan.

Meskipun menjadi alat komunikasi yang baik yang memberi tahu Google tentang URL situs Anda dan cara menjangkaunya, peta situs XML TIDAK memberikan jaminan bahwa situs Anda akan dikunjungi oleh bot mesin pencari (untuk tidak memasukkan semua halaman situs ke dalam Indeks) .

Juga, Anda harus memahami bahwa peta situs tidak akan membantu Anda meningkatkan peringkat situs Anda. Bahkan jika sebuah halaman dirayapi dan dimasukkan ke dalam Indeks mesin pencari, kinerja peringkatnya bergantung pada banyak faktor lain (tautan internal dan eksternal, konten, kualitas situs, dll.).

Namun, bila digunakan dengan benar, peta situs XML dapat meningkatkan efisiensi perayapan situs Anda secara signifikan. Di bawah ini adalah beberapa saran tentang cara memaksimalkan potensi SEO dari alat ini.

Konsisten

Saat membuat peta situs, ingatlah bahwa peta itu akan digunakan sebagai peta jalan untuk perayap Google. Oleh karena itu, penting untuk tidak menyesatkan mesin pencari dengan memberikan arah yang salah.

Misalnya, Anda kadang-kadang dapat memasukkan ke dalam peta situs XML Anda beberapa halaman utilitas ( Hubungi Kami, atau halaman TOS, halaman untuk login, halaman memulihkan kata sandi yang hilang, halaman untuk berbagi konten , dll.).

Halaman-halaman ini biasanya disembunyikan dari pengindeksan dengan tag meta robots noindex atau tidak diizinkan di file robots.txt.

Jadi, memasukkannya ke dalam peta situs XML hanya akan membingungkan Googlebot, yang dapat berdampak negatif pada proses pengumpulan informasi tentang situs web Anda.

Perbarui secara teratur

Sebagian besar situs web di Web berubah hampir setiap hari. Terutama situs web eCommerce dengan produk dan kategori yang secara teratur mengocok dan mematikan situs.

Agar Google tetap mendapat informasi yang baik, Anda harus selalu memperbarui peta situs XML Anda.

Beberapa platform (Magento, Shopify) memiliki fungsionalitas bawaan yang memungkinkan Anda memperbarui peta situs XML Anda secara berkala, atau mendukung beberapa solusi pihak ketiga yang mampu melakukan tugas ini.

Misalnya, di Magento 2, Anda dapat mengatur periodisitas siklus pembaruan peta situs. Saat Anda menentukannya di pengaturan konfigurasi platform, Anda memberi sinyal kepada crawler bahwa halaman situs Anda diperbarui pada interval waktu tertentu (per jam, mingguan, bulanan), dan situs Anda membutuhkan crawl lagi.

Klik di sini untuk mempelajari lebih lanjut tentangnya.

Tapi ingat bahwa meskipun pengaturan prioritas dan frekuensi untuk pembaruan peta situs membantu, mereka mungkin tidak mengejar perubahan nyata dan kadang-kadang tidak memberikan gambaran yang benar.

Itulah mengapa pastikan bahwa peta situs Anda mencerminkan semua perubahan yang baru saja dibuat.

Segmentasikan konten situs dan tetapkan prioritas perayapan yang tepat

Google bekerja keras untuk mengukur kualitas situs secara keseluruhan dan hanya menampilkan situs web terbaik dan paling relevan.

Namun seperti yang sering terjadi, tidak semua situs dibuat sama dan mampu memberikan nilai nyata.

Katakanlah, sebuah situs web dapat terdiri dari 1.000 halaman, dan hanya 50 di antaranya yang memiliki peringkat «A». Yang lain murni fungsional, memiliki konten usang atau tidak ada konten sama sekali.

Jika Google mulai menjelajahi situs web semacam itu, mungkin akan diputuskan bahwa itu cukup sampah karena tingginya persentase halaman bernilai rendah, berisi spam, atau usang.

Itu sebabnya saat membuat peta situs XML, disarankan untuk mengelompokkan konten situs web dan memandu bot mesin pencari hanya ke area situs yang layak.

Dan seperti yang mungkin Anda ingat, tag Prioritas, yang ditetapkan ke halaman situs paling penting di peta situs XML Anda juga bisa sangat membantu.

Takeaways

• Saat membuat peta situs, pastikan Anda tidak menyertakan halaman yang disembunyikan dari pengindeksan dengan tag meta robots noindex atau tidak diizinkan dalam file robots.txt.
• Perbarui peta situs XML (secara manual atau otomatis) tepat setelah Anda membuat perubahan pada struktur dan konten situs web.
• Segmentasikan konten situs Anda untuk hanya menyertakan halaman kelas «A» ke dalam peta situs.
• Tetapkan prioritas perayapan untuk berbagai jenis halaman.

Itu pada dasarnya.

Memiliki sesuatu untuk dikatakan tentang topik tersebut? Jangan ragu untuk membagikan pendapat Anda tentang perayapan, pengindeksan, atau peta situs di bagian komentar di bawah.