A-A+

搜狗蜘蛛导致阿里独享虚拟主机CPU百分之一百的经验分享

2018年04月09日 建站教程 暂无评论 阅读 2,739 views 次

阿里云最近让我很生气,原因是这样的,我担心自己的菜根站长空间不稳定,放弃了那些比较便宜的香港主机空间(香港的免备案共享主机空间每年费用在80~200元之间),由于看到阿里的广告说阿里云也有免备案海外空间了,而且是属于独享虚拟主机,自己一个IP,一台主机,如果流量不大的话会非常稳定,不受外界干扰,阿里云的独享虚拟主机会稍微贵些(优惠价299元每年,第二年可能还会涨价的),下下狠心小菜就买下了。

可是费了半天劲迁移完成后(过程中确实发现不少问题,详见:阿里云海外空间部署wordpress网站问题案例汇编),清明假期没太关心网站,可节后一看吓一跳,网站打不开了,而且是一整天都无法访问,搜索引擎要是知道了 可了不得!查看地址解析没有问题,ip也没问题,最后只有怀疑是空间问题了。

于是乎小菜进入阿里云后台的主机控制台,发现的阿里云的独立虚拟主机显示这运行正常,但却提示着一段错误代码说:操作异常 HSFTimeOutException-Timeout waiting for task. ERR-CODE: [HSF-0002], Type: [业务问题], More: [http://console.taobao.net/help/HSF-0002] 描述信息:30000

真的又傻掉了,这可是堂堂的阿里云呀,在仔细看运行图表,发现了问题所在,原来我的这台独享虚拟主机的CPU已经到达了100%,一整天都没有掉下来,是一条直线,于是乎我去尝试自己重启这台主机,却发现了另一个问题,提示重启要等待十五分钟,我等,可等了半小时,显示主机正在运行了,网站还是没有响应!通过查看浏览器的网站响应信息,发现我访问自己的网站的地址被对方给拒绝了,这说明了什么呢?就是空间提供放并不允许我的网站运行。

所以只有拿出小菜最后的绝招了,找客服发起工单去理论,呵呵,这次阿里云响应的还挺快的,说的也很客气,原因解释的也很到位,小菜基本满意,工单回复如下:

工程师 xxx 号 : 您好 目前已经为您处理。CPU降下来了。网站可以打开。关于CPU跑满:您的主机是独享主机,主机里只存在您一个站点,目前CPU跑满的问题我们建议您从两方面着手排查: 1.下载网站访问日志,查看下是否存在异常访问,您可以通过程序屏蔽异常访问IP。 下载网站访问日志:https://help.aliyun.com/knowledge_detail/36376.html?spm=5176.11065259.1996646101.searchclickresult.479d6ad28nDCNg 屏蔽IP:https://help.aliyun.com/knowledge_detail/36226.html?spm=5176.11065259.1996646101.searchclickresult.3da0754aq0HMr1 2.排查下网站程序是否存在异常,网站程序异常也会导致主机CPU跑满。

这下小菜意识到,也有可能是我的独享虚拟主机遭遇了大流量攻击最终导致了CPU爆表,阿里云客服也告诉我怎么去检查了,根据其方法我检查了CPU出现100%这段时间的日志,经过分析,我的网站流量少的可怜(毕竟网站改版时间不长),但搜索引擎蜘蛛的访问量却大的惊人,特别要指出的是其中的搜狗蜘蛛,不是一般的数量级,如图:

sogou spider cpu 100

搜狗蜘蛛导致cpu100%

Spider Hits
1 Sogou Spider 14,264
2 MJ12bot 749
3 MauiBot (crawler.feedback+wc@gmail.com) 544
4 Baidu Spider 64
5 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider 36
6 Googlebot 24
7 AhrefsBot 19
8 Mozilla/5.0 (Windows NT 6.2; rv:30.0) Gecko/20150101 Firefox/32.0 360Spider 15
9 Bing Robot 3
10 Exabot 2
11 DotBot 2
12 SemrushBot 1
Total 15,723

从我的虚拟主机运行正常到发生故障(CPU100%将处于停运状态),这么短的时间里总的搜索引擎蜘蛛的访问次数达1.5万余次,而其中Sogou Spider的访问次数独占鳌头达1.4万余次。

问题基本可以得出结论:这是搜狗蜘蛛惹的祸,今天是有点冤枉阿里云了。

关于搜狗蜘蛛为何这么短的时间内发起这么多次对我的网站的访问,小菜还没有答案,但可以这样认为,搜狗的这种行为不压于网站的DDOS攻击,以前可能买共享主机的时候可能发现不了,因为都共享了,最多大家都满呗,可这次的独享虚拟主机,你想啊,谁会给你这么多资源?这一点上我认为阿里云做的没错,只是小菜要给阿里云一个建议,至少短信通知一下的,可是没有。

最后小菜要正式开始批判罪魁祸首搜狗蜘蛛了,我用站长工具查了一下我的菜根站长的搜狗搜索引擎的收录量,是可怕的0,零收录还来爬的这么起劲,我喜欢的百度蜘蛛才来爬了64次,我第二喜欢的360蜘蛛才来爬了15次,你怎么就给搞了14264次啊,辛苦攒钱买的网站空间就那么点流量,不都让你给吃了啊。

目前小菜还没有下很手,我准备先监控几天,如果再发现搜狗蜘蛛的这种粗暴行为,我会依然决定屏蔽搜狗蜘蛛的IP地址的。

本文为菜根站长原创供稿,敬请关注同名熊掌号,会有更多的站长经验分享给大家。

标签:

给我留言