如果我的 Twitter/X 推文有任何参考意义的话,SEO行业内对屏蔽 AI 机器 巴西手机号码格式 人的共识似乎非常反对,合理的前提是,品牌出现在大型语言模型 (LLM) 的答案/输出中非常重要,就像出现在 Google 搜索结果中一样重要。 然而,相当一部分权威网站选择屏蔽一个或多个 AI 机器人。这很可能与许多大型媒体品牌与 OpenAI 签署协议有关——他们或许将 robots.txt 排除作为其筹码的一部分。例如,Dotdash Meredith、Vox Media 和 The Atlantic、Financial Times、AP、Axel Springer和News Corp。

我在 4 月份的那篇文章中说过,要想削弱 AI 编写的竞争对手对你网站的潜在威胁,你可能需要在大多数垂直领域采取大规模的集体行动。显然,他们的算盘是,这些出版巨头独自占据了某些主题相当大一部分可用内容。 此时值得一提的是,robots.txt 并未受到任何法律的强制执行。这是互联网规范,忽视它会产生负面宣传成本(我稍后会再次提到),但要想完全阻止流量,您需要做的不仅仅是 robots.txt 行。 现在,我想更深入地了解一下今年出现的可阻止的人工智能机器人的范围,以及谁在阻止它们以及原因。 人工智能机器人时间表:新产品 让我们快速看一下时间线: 2008 年——开始普通爬坡 2023 年 8 月 7 日 - GPTBot (OpenAI) 2023 年 9 月 28 日 - Googlebot 扩展 2023 年 11 月——PerplexityBot 的第一个已知文档 2024 年 6 月 14 日 - Applebot-Extended 2024 年 6 月 - PerplexityBot争议 2024 年 7 月 25 日——OpenAI 宣布推出 SearchGPT 原型,并附带 OAI-SearchBot 这不是详尽无遗的,但涵盖了一些主要事件。