Cara yang Benar Untuk Noindex Halaman

Diterbitkan: 2022-12-02

Ini mungkin tampak berlawanan dengan intuisi, tetapi tidak setiap halaman di situs web Anda akan muncul di hasil pencarian. Optimisasi mesin pencari (SEO) berusaha untuk meningkatkan visibilitas pencarian dan lalu lintas organik — dan terkadang, Anda dapat mencapai tujuan tersebut dengan cara terbaik dengan membatasi konten mana yang dapat muncul di hasil pencarian.

Jika Anda menggaruk-garuk kepala atau menggertak saya, baca terus untuk menemukan nilai noindexing halaman atau subdirektori dan bagaimana menerapkan tag noindex.

Apa Arti Noindex?

Istilah "noindex" adalah arahan khusus dalam tag meta robot yang memberi tahu crawler pencarian untuk mengecualikan halaman dari halaman hasil mesin pencari (SERP). Itu berarti pencari tidak akan dapat mengakses halaman melalui pencarian.

Bagian berharga dari setiap strategi teknis SEO, tag meta robot memungkinkan Anda untuk mengecualikan halaman yang tidak memberikan nilai bagi pencari atau yang menyimpan informasi yang tidak ingin Anda tampilkan di hasil pencarian, seperti:

  • Halaman konfirmasi dan ucapan terima kasih
  • Halaman masuk
  • Kebijakan privasi atau halaman persyaratan layanan
  • Konten yang terjaga keamanannya
  • Pesan kesalahan

Tag Meta Robot vs. Robots.txt vs. Tag X-Robot

Tag meta robot sering disamakan dengan file robots.txt dan tag x-robots. Ketiganya memberikan instruksi untuk menelusuri perayap tentang halaman dan merupakan bagian dari protokol pengecualian robot (REP). Sederhananya: Mereka memberi tahu Google apa yang harus dimasukkan ke dalam Google Penelusuran dan apa yang harus dihindari, serta halaman mana yang harus mereka rayapi. Namun, mereka tidak dapat dan tidak boleh digunakan secara bergantian.

Tag Meta Robot

Tag meta robots ditambahkan ke bagian <head> halaman web tertentu dan hanya menyampaikan instruksi tentang halaman spesifik tersebut. Sering disebut tag noindex atau tag meta noindex, tag meta robot dapat melakukan lebih dari sekadar memberi tahu perayap penelusuran agar tidak mengindeks laman.

Itu juga dapat digunakan untuk meminta perayap untuk tidak mengikuti tautan, menerjemahkan halaman, memblokir bot pencarian tertentu, atau menyimpan tautan yang di-cache agar tidak muncul di SERP.

Direktif tag meta robot yang umum meliputi:
  • Noindex, nofollow — <meta name=”robots” content=”noindex, nofollow”>
    Googlebot dan perayap web lainnya dapat mengakses laman tersebut, tetapi mereka tidak boleh mengindeksnya atau mengikuti tautannya.
  • Noindex, ikuti — <meta name=”robots” content=”noindex”>
    Googlebot dan perayap web lainnya dapat mengakses laman dan mengikuti tautan di dalamnya, tetapi mereka tidak boleh mengindeks laman itu sendiri. Anda tidak perlu menyertakan "ikuti" di tag meta karena itu adalah defaultnya.

Robots.txt

Robots.txt adalah file yang memungkinkan pemilik situs memberi tahu mesin telusur bagian mana dari situs mereka yang tidak ingin dirayapi. Ini seperti tanda Jangan Ganggu pribadi untuk situs web Anda yang nongkrong di direktori root domain atau subdomain Anda.

File robots.txt paling baik untuk memblokir seluruh subdirektori agar tidak diakses dan dirayapi daripada untuk setiap halaman. Gunakan itu untuk memblokir crawler pencarian dari mengakses dan mengindeks:

  • Halaman pencarian internal
  • parameter URL
  • Forum tempat spam buatan pengguna dapat menyebabkan masalah
  • Subdirektori internal, seperti yang hanya untuk karyawan

Ikuti langkah-langkah ini untuk membuat file robots.txt, dan pastikan untuk menautkan ke peta situs XML Anda.

Jika Anda menautkan ke halaman yang disertakan dalam file robots.txt, Anda mungkin ingin menambahkan tag meta robot ke halaman tersebut untuk memastikannya tidak muncul di hasil penelusuran. Ingat — robots.txt hanya memblokir perayap untuk mengakses halaman, bukan untuk mengindeksnya. Jika laman yang tercakup dalam arahan robots.txt Anda menerima tautan eksternal, mesin telusur dapat mengindeksnya. Gunakan tag meta robot bersama dengan file robots.txt untuk menghindari hal ini.

Label X-Robot

Untuk memblokir PDF, video, atau gambar agar tidak muncul di SERP, gunakan tag x-robots. Arahan yang sama yang ditentukan untuk tag meta robot digunakan untuk x-robots. Namun, tidak seperti tag meta robots, yang berada di header HTML laman, tag x-robots ditempatkan di respons header HTTP.

Direktifnya terlihat seperti ini:

 X-Robots-Tag: noindex

Kapan Untuk Noindex Halaman

Batasi Indeks Kembung

Penggembungan indeks terjadi ketika Google mengindeks halaman dengan nilai kecil atau tidak sama sekali bagi pencari. Halaman asing ini mengurangi sumber daya dari halaman yang lebih berharga. Gunakan tag meta robot untuk mengelola halaman mana yang muncul di hasil pencarian.

Memberantas Kanibalisasi Kata Kunci

Kanibalisasi kata kunci terjadi ketika dua halaman berbagi kata kunci dan maksud pencarian yang serupa, sehingga menyebabkan mereka bersaing satu sama lain di SERP.

Jika Anda memiliki dua halaman yang saling mengkanibal dan ingin mempertahankan keduanya tanpa mengubah kontennya, noindex satu. Yang mengatakan, Anda hanya harus melakukan ini jika halaman yang Anda noindex tidak mengarahkan lalu lintas dari kata kunci yang halaman lain tidak. Dalam situasi seperti ini, Anda mungkin perlu mengerjakan ulang konten di salah satu atau kedua halaman untuk mengatasi masalah kanibalisasi.

Lindungi Halaman Arahan Terjaga

Saat Anda menawarkan sumber daya bernilai tinggi kepada pelanggan dengan imbalan informasi kontak, pastikan itu tidak dapat diakses dengan cara lain. Tambahkan tag meta robot ke noindex halaman dan jaga agar tidak muncul di SERP.

Kecualikan Produk Tidak Populer dari Penelusuran

Situs e-niaga sering kali membawa produk untuk melayani pelanggan tertentu meskipun permintaannya tidak terlalu banyak. Misalnya, pengecer suku cadang mobil atau perusahaan teknis lainnya mungkin memiliki produk untuk model tertentu atau peralatan langka. Jika halaman produk atau kategori ini tidak mengarahkan lalu lintas organik, biasanya halaman tersebut tidak diindeks.

Cara Noindex Halaman Web

Tag meta noindex berada di header HTML halaman. Kode tidak peka huruf besar-kecil dan terlihat seperti ini:

 <meta name="robots" content="noindex">

“Robot” berarti arahan berlaku untuk perayap apa pun, tetapi Anda dapat memilih perayap dengan mengganti “robot” dengan nama perayap yang dikenal, seperti “Googlebot” atau “bingbot”.

Perayap akan tetap mengikuti tautan di laman kecuali Anda juga menambahkan perintah nofollow. Anda dapat melakukan ini untuk mencegah ekuitas tautan mengalir melalui halaman atau untuk mencegah perayap mengikuti tautan ke konten yang terjaga keamanannya.

Untuk menambahkan nilai nofollow, pisahkan dari direktif noindex dengan koma.

 <meta name="robots" content="noindex, nofollow">

Catatan: Sebelum mengindeks halaman, periksa apakah ada lalu lintas organik yang masuk di Google Search Console. Jika ya, tentukan bagaimana situs Anda dapat terus menangkap lalu lintas ini sebelum noindexing halaman.

Cara Menambahkan Tag Meta Robots ke Kode HTML Anda

  1. Buka kode sumber halaman yang ingin Anda noindex.
  2. Temukan tajuk di bagian atas halaman. Dimulai dengan <head> dan diakhiri dengan </head>. Kemungkinan akan ada kode lain di header juga.
  3. Tambahkan tag meta robots pada baris baru, pastikan tag tersebut muncul di antara tag <head> dan </head>.

Itu dia! Jika halaman Anda sudah diindeks, Anda dapat meminta Google untuk meng-crawl ulang halaman tersebut dengan menempelkan URL-nya ke alat inspeksi URL.

Sudah Diindeks? Gunakan Alat Penghapusan URL

Saat Anda menambahkan tag noindex ke halaman konten baru, Googlebot akan melihat perintah saat meng-crawl halaman, dan Googlebot tidak akan mengindeksnya.

Namun, jika Anda menambahkan tag ke laman yang telah diindeks , laman tersebut akan terus muncul di hasil penelusuran hingga dirayapi ulang dan bot melihat petunjuk noindeks yang baru. Anda dapat meminta Google untuk meng-crawl ulang URL di Google Search Console melalui Alat Inspeksi URL, tetapi itu tidak akan langsung menghapus halaman dari SERP.

Jika Anda perlu segera menghapus halaman dari SERP, gunakan alat Penghapusan di Google Search Console. Ini akan menjaga halaman dari hasil pencarian Google selama sekitar enam bulan. Pada saat itu, tag meta noindex akan berfungsi.

Cara Noindex Halaman di WordPress

Setiap halaman di WordPress diindeks secara default. Anda dapat menggunakan plugin Yoast SEO untuk mengindeks halaman di WordPress tanpa menulis kode. Begini caranya.

Klik tab 'Advanced' di kotak meta Yoast SEO.

pilih 'advanced' di yoast seo plug in ke noindex halaman

Di bawah pertanyaan, 'Izinkan mesin telusur menampilkan Pos ini di hasil penelusuran?' pilih 'Tidak' dari kotak dropdown.

halaman noindexing di wordpress

Meskipun pengaturan ini menginstruksikan Google untuk tidak mengindeks postingan, bot akan tetap mengikuti tautan di halaman secara otomatis untuk merayapi halaman lain.

Jika Anda ingin menambahkan direktif nofollow, pilih tombol 'No' di bawah pertanyaan: 'Haruskah mesin pencari mengikuti link pada Posting ini?'

FAQ Tag Meta Robot

Apakah semua mesin telusur mematuhi arahan noindex?

Anda dapat mengharapkan Google, Bing, dan mesin telusur sah lainnya mematuhi tag meta robot.

Bisakah saya menautkan ke halaman yang tidak diindeks?

Ya. Tag noindex memberi tahu bot pencarian cara memperlakukan halaman saat merayapi dan mengindeks. Itu tidak memengaruhi kemampuan Anda untuk menautkan ke halaman. Ini dapat berguna untuk halaman kategori di blog, yang seharusnya tidak muncul di hasil pencarian tetapi dapat menyediakan bot dengan tautan ke halaman berharga yang seharusnya.

Kapan saya harus menggunakan tag meta robot?

Jika Anda memiliki halaman yang tidak menawarkan nilai apa pun kepada pencari, seperti halaman terima kasih atau halaman ramah-printer, noindex dengan tag meta robot agar tidak muncul di SERP.

Kapan sebaiknya saya tidak menggunakan arahan noindex?

Secara teknis Anda dapat memecahkan masalah duplikat konten dan beberapa masalah anggaran perayapan dengan arahan noindex, tetapi ini bukan cara terbaik untuk melakukannya. Konten duplikat paling baik ditangani menggunakan tag kanonis, yang memusatkan ekuitas tautan dari duplikat ke halaman kanonis. Jika Anda mencoba menghemat anggaran perayapan, Anda harus menggunakan file robots.txt untuk melarang perayapan bagian situs tersebut.

Apakah halaman yang tidak diindeks lolos dari ekuitas tautan?

Ya. Meskipun halaman tidak diindeks, halaman tersebut masih dapat berbagi otoritas peringkat apa pun yang dibangun. Namun, perayap pencarian harus memiliki kemampuan untuk mengikuti tautan pada halaman agar ekuitas tautan mengalir. Jika sebuah halaman diatur ke noindex dan nofollow, itu tidak dapat melewati ekuitas tautan.

Apakah noindexing halaman secara otomatis menghapusnya dari Google SERPs?

Jika laman Anda sudah diindeks, menambahkan tag meta robot tidak akan menghapusnya secara otomatis dari hasil penelusuran. Butuh beberapa saat agar halaman yang sudah diindeks menghilang dari SERP. Bot pencarian perlu merayapi ulang halaman untuk melihat tag noindex. Untuk hasil yang lebih cepat, minta agar Google meng-crawl ulang halaman tersebut dan menggunakan alat penghapusan URL.

Temukan Halaman Bermasalah Dengan Audit SEO

Jangan biarkan konten tipis atau duplikat memengaruhi visibilitas pencarian Anda. Pastikan Anda memberi halaman Anda peluang terbaik untuk menentukan peringkat. 200+ Point SEO Audit menandai masalah seperti konten duplikat, file robots.txt yang hilang, tag meta robot yang salah diterapkan, penggembungan indeks, dan banyak lagi. Daftar untuk konsultasi SEO gratis untuk melihat bagaimana layanan audit SEO kami dapat memaksimalkan visibilitas online Anda dan membantu pertumbuhan bisnis Anda.