如何创建或更新 robots.txt 文件？

[sakib60]

craw-delay”命令允许机器人被告知延迟页面之间的访问，从而使网站连续承受大量请求的负担。 Google 无法识别此命令，您可以在 Search Console 中对其进行配置。

用户代理：*
抓取延迟：3
元素或图案
有一些典型的 robots.txt 配置模式。例如，通常首先为所有机器人设置 荷兰电报号码数据 规则，然后为特定机器人覆盖其中一些规则。

用户代理：*
禁止：/site
用户代理：Googlebot
允许：/site
因此，我们指示除 Google 之外的所有机器人对站点文件夹的内容进行索引。

要创建 robots.txt 文件，只需将纯文本文件放在域的根文件夹中。您可以在其中放置所有您想要的规则。

如果您想更新它，您只需编辑其内容并将其上传回您的域的根文件夹。

如何测试 robots.txt 文件？
互联网上有许多服务可以测试您的 robots.txt 文件以验证语法是否正确。您只需进行简单的 Google 搜索即可找到它们。不过，我们建议使用Google 的 Robots.txt 文件测试器。

网站上的 robots.txt 文件位于哪里？
我们已经提到过，但您需要将 robots.txt 文件放在域的根文件夹中，即主索引所在的位置。根据您的托管服务，该文件夹可以有不同的名称，例如“htdocs”、“html”、“www”、“httpdocs”等。