要限制 robot 访问
Posted: Tue Dec 24, 2024 8:50 am
非 HTML 文档(例如 PDF 文件),您可以在 HTTP 标头中使用x-robots 标签。(感谢Bill Nordwall在评论中指出这一点。) 图片!每个网站都有背景图片或用于样式的图片,您不希望它们被索引。确保这些图片通过 CSS 显示,并且尽可能不使用 <img> 标签。这将阻止它们被索引,而不必从 robots.txt 中禁止“/style/images”文件夹。 确定搜索引擎是否试图访问您的非 HTML 文件的一个好方法是检查您的日志文件中是否存在机器人活动。
更多阅读 Rand Fishkin 和 Andy Beard 都曾讨论 牙医数据 过 robots.txt 滥用问题。不过,请注意发布日期,并谨慎阅读这两篇文章,因为它们是在禁止使用 nofollow 链接属性进行内部 PR 塑造之前撰写的。换句话说,这些文章有些过时,但概念描述很扎实。 Rand's: 不要意外使用 Robots.txt 屏蔽链接汁 Andy 的:SEO 链接陷阱,即使是专业人士也会犯 行动项目 调出您网站的 robots.txt 文件。
如果有任何内容被禁止,请继续阅读。 查看OSE中的热门页面报告,了解您错失的机会有多严重。这将帮助您决定相对于其他项目,这个问题的优先级有多高。 将 noindex 元标记添加到您想要从搜索引擎索引中排除的页面。 301 重定向您域中不再需要存在的页面以及之前使用 robots.txt 文件排除的页面。 将规范标签添加到先前 robots.txt 中的重复页面。 获得更多搜索流量。 祝您优化愉快! (该帖子于 2010 年 10 月 12 日上午 5:20 编辑,以反映非 HTML 页面的 x-robots 协议) 最近,我与很多网站进行了交流,他们希望在全国(或世界)各个城市提高关键词 + 城市名称组合的排名。
这是 SEO 领域最具挑战性的任务之一,主要有以下四个原因: 地图搜索结果对多城市域名存在偏见 如果您的企业没有本地实体业务,那么进入 Google 的本地/地图搜索结果将更具挑战性。开设办事处或利用本地特许经营权是可行的,但需要时间和精力 。_ 网络结果也变得更加地理敏感 “标准”网络结果越来越倾向于本地结果,即使没有地图/本地触发器也是如此: 具有西雅图偏见的 SEO 结果 至少有 4 个顶级结果仅基于我的位置显示(而且我感觉很奇怪,我不认识这些西雅图 SEO 公司中的任何人 - 你们在哪里?来聚会吧!) 。
更多阅读 Rand Fishkin 和 Andy Beard 都曾讨论 牙医数据 过 robots.txt 滥用问题。不过,请注意发布日期,并谨慎阅读这两篇文章,因为它们是在禁止使用 nofollow 链接属性进行内部 PR 塑造之前撰写的。换句话说,这些文章有些过时,但概念描述很扎实。 Rand's: 不要意外使用 Robots.txt 屏蔽链接汁 Andy 的:SEO 链接陷阱,即使是专业人士也会犯 行动项目 调出您网站的 robots.txt 文件。
如果有任何内容被禁止,请继续阅读。 查看OSE中的热门页面报告,了解您错失的机会有多严重。这将帮助您决定相对于其他项目,这个问题的优先级有多高。 将 noindex 元标记添加到您想要从搜索引擎索引中排除的页面。 301 重定向您域中不再需要存在的页面以及之前使用 robots.txt 文件排除的页面。 将规范标签添加到先前 robots.txt 中的重复页面。 获得更多搜索流量。 祝您优化愉快! (该帖子于 2010 年 10 月 12 日上午 5:20 编辑,以反映非 HTML 页面的 x-robots 协议) 最近,我与很多网站进行了交流,他们希望在全国(或世界)各个城市提高关键词 + 城市名称组合的排名。
这是 SEO 领域最具挑战性的任务之一,主要有以下四个原因: 地图搜索结果对多城市域名存在偏见 如果您的企业没有本地实体业务,那么进入 Google 的本地/地图搜索结果将更具挑战性。开设办事处或利用本地特许经营权是可行的,但需要时间和精力 。_ 网络结果也变得更加地理敏感 “标准”网络结果越来越倾向于本地结果,即使没有地图/本地触发器也是如此: 具有西雅图偏见的 SEO 结果 至少有 4 个顶级结果仅基于我的位置显示(而且我感觉很奇怪,我不认识这些西雅图 SEO 公司中的任何人 - 你们在哪里?来聚会吧!) 。