虚拟主机如何阻止蜘蛛访问

虚拟主机如何阻止蜘蛛访问虚拟主机组织蜘蛛访问,可以使用robots协议来实现。robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

我们在管理虚拟主机时,有些情况下,不希望搜索引擎蜘蛛来访问我们的内容,这时,我们需要编写一个爬虫协议,禁止搜索引擎来抓取数据。或者是禁止部分搜索引擎爬虫来访,而允许其他搜索引擎。都是可以通过robots文件实现。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

虚拟主机阻止蜘蛛访问,比如禁止全部搜索引擎来访时,可以如下编写:

User-agent: *
Disallow: /

虚拟主机阻止某个蜘蛛访问时,可以如下编写:

User-agent: xxxspider
/

虚拟主机阻止某个目录被蜘蛛访问时,可以如下编写:

User-agent: *

Disallow: /

即表示/目录,所有搜索引擎都不得来访问。

以上是关于虚拟主机如何阻止蜘蛛访问的介绍,如需购买虚拟主机,推荐融亿云,共享虚拟主机、独享虚拟主机齐备,各种类配置都有,满足不同网站建设需求,价格实惠,售后比较出色。

标签:
最后更新:2021/11/03
免责声明:本站部分内容由互联网用户自发贡献自行上传,本网站不拥有所有权,也不承认相关法律责任。
如果您发现本社区中有涉嫌抄袭的内容请发送邮件至:Hi@r1yun.cn进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

在线评论