为什么我的网站已经添加robots.txt,还能在搜搜网页中被搜索到?
在robots.txt中添加了禁止访问的规则后,sosospider即会遵循按规则停止相应的页面/站点抓取。
但是,因为搜索引擎索引数据库的索引更新需要时间,所以在二至四周后,这些页面/站点才会从搜搜网页搜索引擎的结果中消失。
提交成功!
非常感谢您的评价。另外,您可以点击这里告诉我们您的建议。我们会根据您的建议进行优化。
提交成功!
非常感谢您的评价,我们将会在今后的工作中不断完善!您可以点击这里告诉我们不满意的地方。我们会根据您的建议进行优化。