Modul corect de a nu indexa o pagină

Publicat: 2022-12-02

Poate părea contraintuitiv, dar nu toate paginile de pe site-ul dvs. ar trebui să apară în rezultatele căutării. Optimizarea pentru motoarele de căutare (SEO) se străduiește să crească vizibilitatea căutării și traficul organic - și, uneori, puteți atinge cel mai bine acest obiectiv prin restricționarea conținutului care poate apărea în rezultatele căutării.

Dacă vă scărpinați sau îmi spuneți cacealma, citiți mai departe pentru a descoperi valoarea noindexării unei pagini sau a unui subdirector și cum să implementați etichetele noindex.

Ce înseamnă Noindex?

Termenul „noindex” este o directivă specială dintr-o metaetichetă roboți care le spune crawlerilor de căutare să excludă pagina din paginile cu rezultate ale motorului de căutare (SERP). Aceasta înseamnă că cei care caută nu vor putea accesa pagina prin căutare.

O parte valoroasă a oricărei strategii tehnice SEO, metaetichetele roboților vă permit să excludeți paginile care nu oferă valoare pentru căutare sau care dețin informații despre care nu doriți să apară în rezultatele căutării, cum ar fi:

Pagini de confirmare și de mulțumire
Pagini de conectare
Politica de confidențialitate sau pagina de termeni ai serviciului
Conținut închis
Mesaje de eroare

Robots Meta Tag vs. Robots.txt vs. X-Robots Tag

Metaeticheta Robots este adesea confundată cu fișierul robots.txt și eticheta x-robots. Toate trei oferă instrucțiuni pentru a căuta crawlerele despre pagini și fac parte din protocolul de excludere a roboților (REP). Mai simplu spus: ei îi spun lui Google ce să introducă în Căutarea Google și ce să nu mai acceseze, precum și ce pagini ar trebui să acceseze cu crawlere. Cu toate acestea, ele nu pot și nu ar trebui să fie folosite în mod interschimbabil.

Etichetă meta roboți

O metaetichetă roboți este adăugată la secțiunea <head> a unei anumite pagini web și transmite numai instrucțiuni despre pagina respectivă. Deseori numită etichetă noindex sau metaetichetă noindex, metaeticheta roboților poate face mai mult decât să spună unui crawler de căutare să nu indexeze o pagină.

De asemenea, poate fi folosit pentru a cere crawlerilor să nu urmeze link-uri, să traducă o pagină, să blocheze un anumit robot de căutare sau să împiedice apariția unui link în cache în SERP-uri.

Directivele obișnuite ale meta-etichetelor roboților includ:

Noindex, nofollow — <meta name=”roboți” content=”noindex, nofollow”>
Googlebot și alți crawler-uri web pot accesa pagina, dar nu ar trebui să o indexeze sau să urmeze linkurile acesteia.
Noindex, follow — <meta name="roboți” content="noindex”>
Googlebot și alți crawler-uri web pot accesa pagina și pot urma linkurile de pe ea, dar nu ar trebui să indexeze pagina în sine. Nu trebuie să includeți „follow” în metaeticheta, deoarece aceasta este implicită.

Robots.txt

Robots.txt este un fișier care permite proprietarilor de site-uri să spună motoarelor de căutare ce părți ale site-ului lor nu doresc să fie accesate cu crawlere. Este ca un semn personal Nu deranjați pentru site-ul dvs. care se află în directorul rădăcină al domeniului sau al subdomeniului dvs.

Un fișier robots.txt este cel mai bun pentru a bloca accesarea și accesarea cu crawlere a subdirectoarelor întregi, mai degrabă decât pentru pagini individuale. Folosiți-l pentru a bloca accesarea și indexarea crawlerelor de căutare:

Pagini de căutare interne
Parametrii URL
Forumuri în care spamul generat de utilizatori poate cauza probleme
Subdirectoarele interne, cum ar fi cele care sunt destinate exclusiv angajaților

Urmați acești pași pentru a crea un fișier robots.txt și asigurați-vă că ați conectat la harta site-ului dvs. XML.

Dacă trimiteți la o pagină inclusă în fișierul robots.txt, vă recomandăm să adăugați și o metaetichetă robots la aceasta, pentru a vă asigura că nu apare în rezultatele căutării. Amintiți-vă — robots.txt blochează doar accesarea crawlerelor pe o pagină, nu indexarea acesteia. Dacă paginile acoperite de directivele dvs. robots.txt primesc link-uri externe, motoarele de căutare le pot indexa. Utilizați o metaetichetă robots împreună cu fișierul robots.txt pentru a evita acest lucru.

Eticheta X-Robots

Pentru a bloca apariția unui PDF, videoclip sau imagine în SERP-uri, utilizați o etichetă x-robots. Aceleași directive specificate pentru metaetichetele roboților sunt utilizate pentru x-roboți. Cu toate acestea, spre deosebire de metaeticheta robots, care se află în antetul HTML al unei pagini, o etichetă x-robots este plasată în răspunsul antetului HTTP.

Directiva arată astfel:

 X-Robots-Tag: noindex

Când să nu indexați o pagină

Curb Index Balonare

Balonarea indexului apare atunci când Google indexează pagini cu valoare mică sau deloc pentru cei care caută. Aceste pagini străine diminuează resurse de la paginile mai valoroase. Utilizați o metaetichetă robots pentru a gestiona ce pagini apar în rezultatele căutării.

Eradicați canibalizarea cuvintelor cheie

Canibalizarea cuvintelor cheie are loc atunci când două pagini au un cuvânt cheie și o intenție de căutare similare, determinându-le astfel să concureze una împotriva celeilalte în SERP-uri.

Dacă aveți două pagini care se canibalizează una pe cealaltă și doriți să le păstrați pe ambele fără a le schimba conținutul, nu indexați una. Acestea fiind spuse, ar trebui să faceți acest lucru numai dacă pagina pe care nu o indexați nu generează trafic de la cuvinte cheie pe care cealaltă pagină nu le face. Într-o situație ca aceasta, poate fi necesar să reluați conținutul pe una sau pe ambele pagini pentru a rezolva problema canibalizării.

Protejați paginile de destinație Gated

Când oferiți clienților o resursă de mare valoare în schimbul informațiilor de contact, asigurați-vă că nu este accesibilă în alt mod. Adăugați o metaetichetă robots pentru a nu indexa pagina și împiedicați-o să apară în SERP-uri.

Excludeți produsele nepopulare din căutare

Site-urile de comerț electronic oferă adesea produse pentru a servi anumiți clienți, chiar dacă nu există o cerere prea mare pentru aceștia. De exemplu, un comerciant de piese auto sau o altă companie tehnică poate avea produse pentru anumite modele sau echipamente rare. Dacă aceste pagini de produse sau categorii nu generează trafic organic, în general, ele nu pot fi indexate.

Cum să nu indexați o pagină web

Metaeticheta noindex merge în antetul HTML-ului unei pagini. Codul nu face distincție între majuscule și minuscule și arată astfel:

 <meta name="robots" content="noindex">

„Roboți” înseamnă că directiva se aplică oricărui crawler, dar puteți identifica crawlerele prin înlocuirea „roboților” cu nume cunoscute de crawler, cum ar fi „Googlebot” sau „bingbot”.

Crawlerele vor urma în continuare linkurile de pe pagină, cu excepția cazului în care adăugați și o comandă nofollow. Puteți face acest lucru pentru a împiedica fluxul echității linkurilor prin pagină sau pentru a împiedica un crawler să urmărească un link către conținut închis.

Pentru a adăuga o valoare nofollow, separați-o de directiva noindex cu o virgulă.

 <meta name="robots" content="noindex, nofollow">

Notă: înainte de a nu indexa o pagină, verificați dacă aceasta are trafic organic în Google Search Console. Dacă o face, determinați cum site-ul dvs. poate continua să capteze acest trafic înainte de a nu indexa pagina.

Cum să adăugați o etichetă Meta Robots la codul dvs. HTML

Deschideți codul sursă al paginii pe care doriți să nu o indexați.
Găsiți antetul în partea de sus a paginii. Începe cu <head> și se termină cu </head>. Probabil că va fi și alt cod în antet.
Adăugați metaeticheta robots pe o linie nouă, asigurându-vă că apare între etichetele <head> și </head>.

Asta e! Dacă pagina dvs. este deja indexată, puteți cere Google să o acceseze din nou cu crawlere inserând adresa URL a acesteia în instrumentul de inspecție a adreselor URL.

Sunteți deja indexat? Utilizați Instrumentul de eliminare URL

Când adăugați o etichetă noindex la o nouă pagină de conținut, Googlebot va vedea directiva când accesează cu crawlere pagina și nu o va indexa.

Cu toate acestea, dacă adăugați eticheta la o pagină care este deja indexată , pagina va continua să apară în rezultatele căutării până când este accesată din nou cu crawlere și boții văd noile instrucțiuni noindex. Puteți cere Google să acceseze din nou adresa URL în Google Search Console prin Instrumentul de inspecție URL, dar nu va elimina instantaneu pagina din SERP-uri.

Dacă trebuie să eliminați imediat o pagină din SERP, utilizați instrumentul de eliminare din Google Search Console. Acest lucru va ține paginile departe de rezultatele căutării Google timp de aproximativ șase luni. Până atunci, metaeticheta noindex ar trebui să funcționeze.

Cum să nu indexați o pagină pe WordPress

Fiecare pagină din WordPress este indexată în mod implicit. Puteți folosi pluginul Yoast SEO pentru a nu indexa o pagină în WordPress fără a scrie cod. Iată cum.

Faceți clic pe fila „Avansat” din metacaseta Yoast SEO.

selectați „avansat” în yoast seo plug in pentru a nu indexa o pagină

Sub întrebarea „Permiteți motoarele de căutare să afișeze această postare în rezultatele căutării?” selectați „Nu” din caseta drop-down.

În timp ce această setare indică Google să nu indexeze postarea, roboții vor urma în continuare automat linkurile de pe pagină pentru a accesa cu crawlere alte pagini.

Dacă doriți să adăugați o directivă nofollow, selectați butonul „Nu” sub întrebarea: „Ar trebui ca motoarele de căutare să urmeze linkurile din această postare?”

Întrebări frecvente despre Metaetichete roboți

Toate motoarele de căutare se supun unei directive noindex?

Vă puteți aștepta ca Google, Bing și alte motoare de căutare legitime să respecte o metaetichetă roboți.

Pot să fac link către pagini neindexate?

Da. Eticheta noindex le spune roboților de căutare cum să trateze o pagină atunci când accesează cu crawlere și indexează. Nu vă afectează capacitatea de a vă conecta la o pagină. Acest lucru poate fi util pentru paginile de categorii de pe un blog, care nu ar trebui să apară în rezultatele căutării, dar le poate oferi roboților linkuri către pagini valoroase care ar trebui.

Când ar trebui să folosesc o metaetichetă robots?

Dacă aveți o pagină care nu oferă niciun fel de valoare pentru cei care caută, cum ar fi o pagină de mulțumire sau o pagină care poate fi imprimată, nu o indexați cu o metaetichetă robots pentru a împiedica apariția în SERP-uri.

Când nu ar trebui să folosesc o directivă noindex?

Puteți rezolva din punct de vedere tehnic problemele de conținut duplicat și unele probleme de buget de accesare cu crawlere cu directive noindex, dar aceasta nu este cea mai bună modalitate de a face acest lucru. Conținutul duplicat este gestionat cel mai bine folosind etichete canonice, care concentrează echitatea linkurilor din duplicate pe pagina canonică. Dacă încercați să economisiți bugetul de accesare cu crawlere, ar trebui să utilizați fișierul robots.txt pentru a interzice accesarea cu crawlere a acelei secțiuni a site-ului.

Paginile neindexate trec echitatea link-urilor?

Da. Chiar dacă o pagină nu este indexată, totuși poate partaja orice autoritate de clasare creată. Cu toate acestea, crawlerele de căutare trebuie să aibă capacitatea de a urmări linkurile de pe pagină pentru ca echitatea linkurilor să circule. Dacă o pagină este setată la noindex și nofollow, nu poate trece link-echitate.

Noindexarea unei pagini o elimină automat din SERP-urile Google?

Dacă pagina dvs. este deja indexată, adăugarea unei metaetichete robots nu o va elimina automat din rezultatele căutării. Este nevoie de ceva timp pentru ca paginile care sunt deja indexate să dispară din SERP-uri. Boții de căutare trebuie să acceseze din nou paginile pentru a vedea eticheta noindex. Pentru rezultate mai rapide, solicitați ca Google să acceseze pagina din nou cu crawlere și să folosească instrumentul de eliminare a adreselor URL.

Descoperiți paginile problematice cu un audit SEO

Nu lăsați conținutul subțire sau duplicat să vă afecteze vizibilitatea căutării. Asigurați-vă că oferiți paginilor dvs. cea mai bună șansă de a se clasa. Auditul nostru SEO de peste 200 de puncte semnalează probleme cum ar fi conținutul duplicat, un fișier robots.txt lipsă, metaetichetele roboților aplicate greșit, indexarea balonării și multe altele. Înscrieți-vă pentru o consultație SEO gratuită pentru a vedea cum serviciul nostru de audit SEO vă poate maximiza vizibilitatea online și vă poate ajuta afacerea să se dezvolte.