不索引頁面的正確方法
已發表: 2022-12-02這似乎違反直覺，但並非您網站上的每個頁面都應該出現在搜索結果中。 搜索引擎優化 (SEO) 致力於提高搜索可見性和有機流量——有時，您可以通過限制哪些內容可以出現在搜索結果中來最好地實現該目標。
如果您在摸不著頭腦或想嚇唬我，請繼續閱讀以發現對頁面或子目錄進行 noindexing 的價值以及如何實現 noindex 標記。
Noindex 是什麼意思？
術語“noindex”是機器人元標記中的一個特殊指令，它告訴搜索爬蟲從搜索引擎結果頁面 (SERP) 中排除該頁面。 這意味著搜索者將無法通過搜索訪問該頁面。
作為任何技術 SEO 策略的重要組成部分，機器人元標記允許您排除對搜索者沒有價值或包含您不想出現在搜索結果中的信息的頁面，例如：
- 確認和感謝頁面
- 登錄頁面
- 隱私政策或服務條款頁面
- 門控內容
- 錯誤信息
Robots 元標籤與 Robots.txt 與 X-Robots 標籤
機器人元標記經常與 robots.txt 文件和 x-robots 標記混淆。 這三個都給出了搜索爬蟲有關頁面的指令，並且是機器人排除協議 (REP) 的一部分。 更簡單地說：他們告訴 Google 將什麼放入 Google 搜索，將什麼排除在外，以及他們應該抓取哪些頁面。 但是，它們不能也不應該互換使用。
機器人元標記
機器人元標記被添加到特定網頁的 <head> 部分，並且僅傳遞有關該特定頁面的指令。 通常稱為 noindex 標記或 noindex 元標記，機器人元標記可以做的不僅僅是告訴搜索爬蟲不要索引頁面。
它還可用於要求爬蟲不要跟踪鏈接、翻譯頁面、阻止特定的搜索機器人或防止緩存鏈接出現在 SERP 中。
常見的機器人元標記指令包括：
- Noindex, nofollow — <meta name=”robots” content=”noindex, nofollow”>
Googlebot 和其他網絡抓取工具可以訪問該頁面，但它們不應將其編入索引或跟踪其鏈接。 - Noindex，關注——<meta name=”robots” content=”noindex”>
Googlebot 和其他網絡抓取工具可能會訪問該頁面並跟踪其中的鏈接，但它們不應將頁面本身編入索引。 您不需要在元標記中包含“關注”，因為這是默認設置。
機器人.txt
Robots.txt 文件允許網站所有者告訴搜索引擎他們不想抓取網站的哪些部分。 這就像您網站的個人“請勿打擾”標誌，掛在您的域或子域的根目錄上。
robots.txt 文件最適合阻止整個子目錄被訪問和抓取，而不是單個頁面。 用它來阻止搜索爬蟲訪問和索引：
- 內部搜索頁面
- 網址參數
- 用戶生成的垃圾郵件可能會導致問題的論壇
- 內部子目錄，例如僅供員工使用的子目錄
按照以下步驟創建 robots.txt 文件，並確保鏈接到您的 XML 站點地圖。
如果您鏈接到 robots.txt 文件中包含的頁面，您可能還需要向其添加機器人元標記，以確保它不會顯示在搜索結果中。 請記住 — robots.txt 僅阻止爬蟲訪問頁面，而不是將其編入索引。 如果您的 robots.txt 指令涵蓋的頁面接收到外部鏈接，搜索引擎可能會將它們編入索引。 將機器人元標記與 robots.txt 文件結合使用可以避免這種情況。
X-機器人標籤
要阻止 PDF、視頻或圖像出現在 SERP 中，請使用 x-robots 標籤。 為 robots 元標記指定的相同指令也用於 x-robots。 但是，與位於頁面 HTML 標頭中的機器人元標記不同，x-robots 標記位於 HTTP 標頭響應中。
該指令如下所示：
X-Robots-Tag: noindex什麼時候不索引頁面
遏制指數膨脹
當谷歌索引對搜索者幾乎沒有價值的頁面時，就會出現索引膨脹。 這些無關的頁面會從更有價值的頁面上佔用資源。 使用機器人元標記來管理哪些頁面出現在搜索結果中。
根除關鍵字蠶食
當兩個頁面共享相似的關鍵字和搜索意圖時，就會發生關鍵字蠶食，從而導致它們在 SERP 中相互競爭。
如果你有兩個頁面互相蠶食並且想保留兩個頁面而不改變它們的內容，那麼noindex one。 也就是說，只有當您沒有索引的頁面不會從其他頁面沒有的關鍵字中吸引流量時，您才應該這樣做。 在這種情況下，您可能需要重新處理一個或兩個頁面上的內容以解決蠶食問題。
保護門控著陸頁
當您向客戶提供高價值資源以換取聯繫信息時，請確保無法通過任何其他方式訪問該資源。 添加機器人元標記以不索引頁面並防止其出現在 SERP 中。
從搜索中排除不受歡迎的產品
電子商務網站經常攜帶產品來服務某些客戶，即使對它們的需求不是太多。 例如，汽車零部件零售商或其他技術公司可能有針對特定型號或稀有設備的產品。 如果這些產品或類別頁面沒有推動自然流量，通常可以不對其進行索引。
如何不索引網頁
noindex 元標記位於頁面 HTML 的標頭中。 該代碼不區分大小寫，如下所示：
<meta name="robots" content="noindex">“robots”表示該指令適用於任何爬蟲，但您可以通過將“robots”替換為已知的爬蟲名稱（例如“Googlebot”或“bingbot”）來挑出爬蟲。
除非您還添加 nofollow 命令，否則抓取工具仍會跟踪頁面上的鏈接。 您可能會這樣做以防止鏈接資產流過頁面或防止爬蟲跟踪鏈接到門控內容。
要添加 nofollow 值，請使用逗號將其與 noindex 指令分開。
<meta name="robots" content="noindex, nofollow">注意：在沒有索引頁面之前，請檢查它是否在 Google Search Console 中有任何傳入的自然流量。 如果是這樣，請確定您的網站如何在不為頁面編制索引之前繼續捕獲此流量。
如何將機器人元標記添加到您的 HTML 代碼
- 打開你想要 noindex 的頁面的源代碼。
- 在頁面頂部找到標題。 它以 <head> 開始，以 </head> 結束。 標頭中可能還有其他代碼。
- 在新行中添加機器人元標記，確保它出現在 <head> 和 </head> 標記之間。
而已！ 如果您的網頁已編入索引，您可以通過將其 URL 粘貼到 URL 檢查工具中來要求 Google 重新抓取它。
已經編入索引？ 使用 URL 刪除工具
當您將 noindex 標記添加到新的內容頁面時，Googlebot 會在抓取該頁面時看到該指令，並且不會對其編制索引。
但是，如果您將標籤添加到已經編入索引的頁面，該頁面將繼續出現在搜索結果中，直到它被重新抓取並且機器人看到新的 noindex 指令。 您可以要求 Google 通過 URL 檢查工具在 Google Search Console 中重新抓取該 URL，但它不會立即從 SERP 中刪除該頁面。
如果您需要立即從 SERP 中刪除頁面，請使用 Google Search Console 中的刪除工具。 這將使頁面在谷歌搜索結果中保留大約六個月。 到那時，noindex 元標記應該可以工作了。
如何在 WordPress 上不索引頁面
默認情況下，WordPress 中的每個頁面都已編入索引。 您可以使用 Yoast SEO 插件在 WordPress 中對頁面進行 noindex，而無需編寫代碼。 就是這樣。
單擊 Yoast SEO 元框中的“高級”選項卡。
在問題下方，“允許搜索引擎在搜索結果中顯示此帖子？” 從下拉框中選擇“否”。
雖然此設置指示 Google 不要為帖子編制索引，但機器人仍會自動跟隨頁面上的鏈接來抓取其他頁面。
如果您想添加 nofollow 指令，請選擇問題下方的“否”按鈕：“搜索引擎是否應該跟踪此帖子上的鏈接？”
機器人元標記常見問題解答
所有搜索引擎都遵守 noindex 指令嗎？
您可以期望 Google、Bing 和其他合法搜索引擎遵守機器人元標記。
我可以鏈接到沒有索引的頁面嗎？
是的。 noindex 標籤告訴搜索機器人在抓取和索引時如何處理頁面。 它不會影響您鏈接到頁面的能力。 這對於博客上的類別頁面很有用，這些頁面不應出現在搜索結果中，但可以為機器人提供指向有價值頁面的鏈接。
我什麼時候應該使用漫遊器元標記？
如果您的頁面沒有為搜索者提供任何價值，例如感謝頁面或打印友好頁面，請不要使用機器人元標記對其進行索引，以防止其出現在 SERP 中。
什麼時候不應該使用 noindex 指令？
您可以使用 noindex 指令從技術上解決重複內容問題和一些抓取預算問題，但這不是最好的方法。 重複內容最好使用規範標籤來處理，它將重複內容的鏈接資產集中到規範頁面上。 如果您想節省抓取預算，您應該使用 robots.txt 文件來禁止抓取網站的該部分。
沒有索引的頁面是否會傳遞鏈接資產？
是的。 即使頁面未編入索引，它仍然可以共享任何已建立的排名權威。 但是，搜索爬蟲必須能夠跟踪頁面上的鏈接才能使鏈接資產流過。 如果一個頁面設置了 noindex 和 nofollow，它就不能通過鏈接資產。
noindexing 頁面會自動將其從 Google SERP 中刪除嗎？
如果您的網頁已經編入索引，添加漫遊器元標記不會自動將其從搜索結果中刪除。 已經被索引的頁面從 SERP 中消失需要一些時間。 搜索機器人需要重新抓取頁面才能看到 noindex 標記。 為更快獲得結果，請請求 Google 重新抓取頁面並使用 URL 刪除工具。
通過 SEO 審計發現有問題的頁面
不要讓稀疏或重複的內容影響您的搜索可見性。 確保您為您的網頁提供最好的排名機會。 我們的 200+ 點 SEO 審核標記了重複內容、丟失的 robots.txt 文件、誤用機器人元標記、索引膨脹等問題。 註冊免費的 SEO 諮詢，了解我們的 SEO 審核服務如何最大限度地提高您的在線知名度並幫助您的業務發展。