什么是AhrefsBot?怎么屏蔽?

icode 工具 2019-07-29

AhrefsBot是ahrefs的一条网络爬虫,根据其官网介绍(https://www.ahrefs.com/ ),ahrefs是一个用于增加搜索流量、研究竞争对手和监控利基市场的工具。对于大部分用户来说,基本用不到这个服务。

什么是AhrefsBot?怎么屏蔽?

幸运的是,AhrefsBot遵守网络规范,如要禁止AhrefsBot,最快捷的方法是打开您的robots.txt,添加如下两行: 

user-agent: AhrefsBot 
disallow: / 

这样,AhrefsBot就不会再抓取您网站的任何内容了。 

评论