不索引页面的正确方法
已发表: 2022-12-02这似乎违反直觉，但并非您网站上的每个页面都应该出现在搜索结果中。 搜索引擎优化 (SEO) 致力于提高搜索可见性和有机流量——有时，您可以通过限制哪些内容可以出现在搜索结果中来最好地实现该目标。
如果您在摸不着头脑或想吓唬我，请继续阅读以发现对页面或子目录进行 noindexing 的价值以及如何实现 noindex 标记。
Noindex 是什么意思？
术语“noindex”是机器人元标记中的一个特殊指令，它告诉搜索爬虫从搜索引擎结果页面 (SERP) 中排除该页面。 这意味着搜索者将无法通过搜索访问该页面。
作为任何技术 SEO 策略的重要组成部分，机器人元标记允许您排除对搜索者没有价值或包含您不想出现在搜索结果中的信息的页面，例如：
- 确认和感谢页面
- 登录页面
- 隐私政策或服务条款页面
- 门控内容
- 错误讯息
Robots 元标签与 Robots.txt 与 X-Robots 标签
机器人元标记经常与 robots.txt 文件和 x-robots 标记混淆。 这三个都给出了搜索爬虫有关页面的指令，并且是机器人排除协议 (REP) 的一部分。 更简单地说：他们告诉 Google 将什么放入 Google 搜索，将什么排除在外，以及他们应该抓取哪些页面。 但是，它们不能也不应该互换使用。
机器人元标记
机器人元标记被添加到特定网页的 <head> 部分，并且仅传递有关该特定页面的指令。 通常称为 noindex 标记或 noindex 元标记，机器人元标记可以做的不仅仅是告诉搜索爬虫不要索引页面。
它还可用于要求爬虫不要跟踪链接、翻译页面、阻止特定的搜索机器人或防止缓存链接出现在 SERP 中。
常见的机器人元标记指令包括：
- Noindex, nofollow — <meta name=”robots” content=”noindex, nofollow”>
Googlebot 和其他网络抓取工具可以访问该页面，但它们不应将其编入索引或跟踪其链接。 - Noindex，关注——<meta name=”robots” content=”noindex”>
Googlebot 和其他网络抓取工具可能会访问该页面并跟踪其中的链接，但它们不应将页面本身编入索引。 您不需要在元标记中包含“关注”，因为这是默认设置。
机器人.txt
Robots.txt 文件允许网站所有者告诉搜索引擎他们不想抓取网站的哪些部分。 这就像您网站的个人“请勿打扰”标志，挂在您的域或子域的根目录上。
robots.txt 文件最适合阻止整个子目录被访问和抓取，而不是单个页面。 用它来阻止搜索爬虫访问和索引：
- 内部搜索页面
- 网址参数
- 用户生成的垃圾邮件可能会导致问题的论坛
- 内部子目录，例如仅供员工使用的子目录
按照以下步骤创建 robots.txt 文件，并确保链接到您的 XML 站点地图。
如果您链接到 robots.txt 文件中包含的页面，您可能还需要向其添加机器人元标记，以确保它不会显示在搜索结果中。 请记住 — robots.txt 仅阻止爬虫访问页面，而不是将其编入索引。 如果您的 robots.txt 指令涵盖的页面接收到外部链接，搜索引擎可能会将它们编入索引。 将机器人元标记与 robots.txt 文件结合使用可以避免这种情况。
X-机器人标签
要阻止 PDF、视频或图像出现在 SERP 中，请使用 x-robots 标签。 为 robots 元标记指定的相同指令也用于 x-robots。 但是，与位于页面 HTML 标头中的机器人元标记不同，x-robots 标记位于 HTTP 标头响应中。
该指令如下所示：
X-Robots-Tag: noindex什么时候不索引页面
遏制指数膨胀
当谷歌索引对搜索者几乎没有价值的页面时，就会出现索引膨胀。 这些无关的页面会从更有价值的页面上占用资源。 使用机器人元标记来管理哪些页面出现在搜索结果中。
根除关键字蚕食
当两个页面共享相似的关键字和搜索意图时，就会发生关键字蚕食，从而导致它们在 SERP 中相互竞争。
如果你有两个页面互相蚕食并且想保留两个页面而不改变它们的内容，那么noindex one。 也就是说，只有当您没有索引的页面不会从其他页面没有的关键字中吸引流量时，您才应该这样做。 在这种情况下，您可能需要重新处理一个或两个页面上的内容以解决蚕食问题。
保护门控着陆页
当您向客户提供高价值资源以换取联系信息时，请确保无法通过任何其他方式访问该资源。 添加机器人元标记以不索引页面并防止其出现在 SERP 中。
从搜索中排除不受欢迎的产品
电子商务网站经常携带产品来服务某些客户，即使对它们的需求不是太多。 例如，汽车零部件零售商或其他技术公司可能有针对特定型号或稀有设备的产品。 如果这些产品或类别页面没有推动自然流量，通常可以不对其进行索引。
如何不索引网页
noindex 元标记位于页面 HTML 的标头中。 该代码不区分大小写，如下所示：
<meta name="robots" content="noindex">“robots”表示该指令适用于任何爬虫，但您可以通过将“robots”替换为已知的爬虫名称（例如“Googlebot”或“bingbot”）来挑出爬虫。
除非您还添加 nofollow 命令，否则抓取工具仍会跟踪页面上的链接。 您可能会这样做以防止链接资产流过页面或防止爬虫跟踪链接到门控内容。
要添加 nofollow 值，请使用逗号将其与 noindex 指令分开。
<meta name="robots" content="noindex, nofollow">注意：在没有索引页面之前，请检查它是否在 Google Search Console 中有任何传入的自然流量。 如果是这样，请确定您的网站如何在不为页面编制索引之前继续捕获此流量。
如何将机器人元标记添加到您的 HTML 代码
- 打开你想要 noindex 的页面的源代码。
- 在页面顶部找到标题。 它以 <head> 开始，以 </head> 结束。 标头中可能还有其他代码。
- 在新行中添加机器人元标记，确保它出现在 <head> 和 </head> 标记之间。
而已！ 如果您的网页已编入索引，您可以通过将其 URL 粘贴到 URL 检查工具中来要求 Google 重新抓取它。
已经编入索引？ 使用 URL 删除工具
当您将 noindex 标记添加到新的内容页面时，Googlebot 会在抓取该页面时看到该指令，并且不会对其编制索引。
但是，如果您将标签添加到已经编入索引的页面，该页面将继续出现在搜索结果中，直到它被重新抓取并且机器人看到新的 noindex 指令。 您可以要求 Google 通过 URL 检查工具在 Google Search Console 中重新抓取该 URL，但它不会立即从 SERP 中删除该页面。
如果您需要立即从 SERP 中删除页面，请使用 Google Search Console 中的删除工具。 这将使页面在谷歌搜索结果中保留大约六个月。 到那时，noindex 元标记应该可以工作了。
如何在 WordPress 上不索引页面
默认情况下，WordPress 中的每个页面都已编入索引。 您可以使用 Yoast SEO 插件在 WordPress 中对页面进行 noindex，而无需编写代码。 就是这样。
单击 Yoast SEO 元框中的“高级”选项卡。
在问题下方，“允许搜索引擎在搜索结果中显示此帖子？” 从下拉框中选择“否”。
虽然此设置指示 Google 不要为帖子编制索引，但机器人仍会自动跟随页面上的链接来抓取其他页面。
如果您想添加 nofollow 指令，请选择问题下方的“否”按钮：“搜索引擎是否应该跟踪此帖子上的链接？”
机器人元标记常见问题解答
所有搜索引擎都遵守 noindex 指令吗？
您可以期望 Google、Bing 和其他合法搜索引擎遵守机器人元标记。
我可以链接到没有索引的页面吗？
是的。 noindex 标签告诉搜索机器人在抓取和索引时如何处理页面。 它不会影响您链接到页面的能力。 这对于博客上的类别页面很有用，这些页面不应出现在搜索结果中，但可以为机器人提供指向有价值页面的链接。
我什么时候应该使用漫游器元标记？
如果您的页面没有为搜索者提供任何价值，例如感谢页面或打印友好页面，请不要使用机器人元标记对其进行索引，以防止其出现在 SERP 中。
什么时候不应该使用 noindex 指令？
您可以使用 noindex 指令从技术上解决重复内容问题和一些抓取预算问题，但这不是最好的方法。 重复内容最好使用规范标签来处理，它将重复内容的链接资产集中到规范页面上。 如果您想节省抓取预算，您应该使用 robots.txt 文件来禁止抓取网站的该部分。
没有索引的页面是否会传递链接资产？
是的。 即使页面未编入索引，它仍然可以共享任何已建立的排名权威。 但是，搜索爬虫必须能够跟踪页面上的链接才能使链接资产流过。 如果一个页面设置了 noindex 和 nofollow，它就不能通过链接资产。
noindexing 页面会自动将其从 Google SERP 中删除吗？
如果您的网页已经编入索引，添加漫游器元标记不会自动将其从搜索结果中删除。 已经被索引的页面从 SERP 中消失需要一些时间。 搜索机器人需要重新抓取页面才能看到 noindex 标记。 为更快获得结果，请请求 Google 重新抓取页面并使用 URL 删除工具。
通过 SEO 审计发现有问题的页面
不要让稀疏或重复的内容影响您的搜索可见性。 确保您为您的网页提供最好的排名机会。 我们的 200+ 点 SEO 审核标记了重复内容、丢失的 robots.txt 文件、误用机器人元标记、索引膨胀等问题。 注册免费的 SEO 咨询，了解我们的 SEO 审核服务如何最大限度地提高您的在线知名度并帮助您的业务发展。