SemrushBot是什么爬虫?怎么屏蔽?

icode 工具 2019-07-29

SemrushBot是什么爬虫?怎么屏蔽?

SEMRUSH是一款SEO工具,官网:https://www.semrushchina.cn/

它具有关键词排名追踪、关键词研究、长尾词研究、外链挖掘、PPC广告研究、流量研究,行业热文搜索等多个功能。

如果您用不到,是可以屏蔽的。

打开您的robots.txt,添加如下两行: 

user-agent: SemrushBot 
disallow: / 

即可。 

评论