现在,处于另一个极端,您可以采用的最极端的抓取预算解决方案是 robots.txt 文件。
因此,如果您在 robots.txt 中阻止某个页面,则无法抓取该页面。太好了,问题解决了。嗯,不是,因为这里有一些妥协。从技术上讲,robots.txt 中阻止的网站和页面可以被索引。有时您会看到显示的网站或 SERP 中显示的带有此元描述的页面无法显示,因为该页面在 robots.txt 中被阻止或出现此类消息。
因此从技术上讲,它们可以被索引,但从功能上讲,它们不会对任何内容或至少任何有效内容进行排名。所以,从技术上讲,它们不会传递 PageRank。当我们链接到这样的页面时,我们仍然会传递 PageRank。但如果它在 robots.txt 中被阻止,PageRank 就不会再传递。
所以我们在某种程度上造成了泄漏和黑洞。所以这是一个相当严厉的解决方案,尽管它很容易实现。
链接级 nofollow
链接级别 nofollow,我的意思是,如果我们 office 365 数据 将链接放在主笔记本电脑类别页面上,指向这些方面,并在这些链接内部放置 nofollow 属性,那么这会有一些优点和缺点。
想象一下,如果我们经营一个二手车网站,我们有数百万种不同的二手车单独产品列表。现在我们真的不希望谷歌浪费时间在这些单独的列表上,这可能取决于我们网站的规模。
但偶尔名人可能会上传他们的汽车或类似的东西,或者上传一辆非常罕见的汽车,这将开始获得媒体链接。所以我们不想在 robots.txt 中阻止该页面,因为在这种情况下我们会浪费这些外部链接。所以我们可能会对指向该页面的内部链接进行内部 nofollow 处理。这意味着它可以被抓取,但前提是它被找到,只有当 Google 以其他方式找到它时,即通过外部链接或类似方式找到它时。
所以我们在这里找到了一个折衷方案。现在从技术上讲,nofollow 只是一个提示。根据我的经验,Google 不会抓取仅通过内部 nofollow 链接的页面。如果它以其他方式找到该页面,显然它仍会抓取它。但一般来说,这可以有效地限制抓取预算,或者我应该说更有效地使用抓取预算。该页面仍然可以被索引。
这就是我们在该示例中试图实现的目标。它仍然可以传递 PageRank。这是我们试图实现的另一件事。尽管您仍然会通过此 nofollow 链接丢失一些 PageRank。但这仍然算作一个链接,因此您会丢失一些原本会传输到该跟踪链接中的 PageRank。