隔膜阀厂家
免费服务热线

Free service

hotline

010-00000000
隔膜阀厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

一些由防火墙引发的百度蜘蛛不能攀爬的问题

发布时间:2020-07-24 10:30:27 阅读: 来源:隔膜阀厂家

大概在一个月之前,笔者所在的网站淘K网曾出现一次比较触目惊心的问题,就是百度统计里面的索引量突然狂跌了将近两千多条索引,然后经过网站排障以后发现,最大的可能性是由于安装了一个叫做安全狗的软件而引发的问题,当其时由于问题发现得比较早,所以即使出现了短时期的网站降权,也很快就被解决了。

但是在上个星期,几近一样的情况又再次出现了,不过这次在百度索引方面没有出现大狂跌的现象,只是几百条索引被删减了,不过后果却是令到某几个二级域名出现了降权现象,幸亏也能及时发现,因而赶忙解决问题,最后那些被降权的二级域名,也很快出现在百度搜索上了。

其实第一次的问题出现时,是由于使用了安全狗的问题,而可能拦截了部份蜘蛛,但第二次却让我们百思不得其解,为何会这样呢?是什么原因致使这些情况产生呢?由于这次问题的出现,有可能是由于使用了DNS的加速工具百度加速乐有关,而这个工具是百度旗下的产品,而且在产品说明方面,已清楚说明使用百度加速乐对蜘蛛的攀爬是有益无害的但短暂降权的情况的确是产生了,所以我们也只能去除这个产品,恢复正常的DNS,问题也就暂时解决了,不过仍然有一定的后遗症。

(图1)

(图2)

1、使用防火墙产品的起因

进行网站电子商务,除要斟酌如何进行平常运营以外,还需要小心翼翼地防范一些小人行动,比如在9月底的时候,由于公司网站在竞价方面采取了一些新的措施,力争排名靠前,因而很快网站就遭受非常庞大的DDOS攻击,有的时候常常会出现CPU爆满的情况产生,以致客户进入我们的网站都需要非常长的时间,平均打开一个页面需时10秒以上,这对用户体验而言,绝对是一件坏事,更不用说当攻击潮汹涌而来所造成的短暂死机了。

为了应付这样的事情继续产生,公司管理层立即采取措施,目的就是为了尽快解决问题,尽最大的可能防范这些DDOS攻击的继续出现。因而网管人员立即安装了据称可以防范90%网络攻击的安全狗,在使用这个软件以后,攻击立即出现了明显的下落,然后通过不断添加歹意IP的方法,在一段时间内公司网站比较安稳地运行着,乃至安然度过了10月1日-10月7日这个销售高峰。

但好景不长,当我们通过了10月1日长假期的考验以后,我们发现公司网站居然在文章收录方面出现了停滞现象,后来乃至在百度统计这里发现文章被删减了2,500条索引,因而我们意想到问题的严重性,不断进行排查,看看是什么地方出现了问题,从外链、文章原创性乃至网站架构等方面全面检查,后来怀疑集中在安全狗方面,因而提出暂时撤下这个软件看看情况如何,但由于撤下的话将会出现不断死机的现象,所以网络工程师建议把安全狗的安全系数下降,也就是不要使用高等级的安全系数来拦截攻击,因而通过不断的实践,终究发现这些索引量有所恢复。

(图3 - 安全狗高系数拦截蜘蛛收录)

(图4 - 安全狗低系数恢复蜘蛛通过)

在这段实践的进程中,网站乃至出现了2天的降权期,也就是说搜索网站的主域名、二级域名几近全部域名都搜索不了,也就是说,百度上面几乎没有了淘K网的存在,幸亏当我们下降安全狗的拦截系数以后,网站平台很快就恢复正常,也就是说,让我们虚惊了两天的时间。

2、从安全狗过渡到百度加速乐

由于使用安全狗的低系数拦截,其实所起到的拦截DDOS攻击的作用不大,所以为了让网站可以正常运行,因而我们惟有寻觅那些可以防范攻击的网络工具,此时,百度加速乐产品出现在我们的眼前,毕竟是百度的产品,而且在产品说明上非常诱人,不但可以避免一定容量的网络DDOS攻击,而且还可以加速百度蜘蛛的攀爬,因而立即使用了这个产品,并且更改了网站的DNS为加速乐的DNS。

在一段时间内,加速乐的确为我们带来很不错的加速功能,我们能明显感受到开启页面的时间是快了那末1、2秒,也就是原来开启一个页面需要10多秒,使用加速乐以后,大概8、9秒就可以开启页面了。

当我们使用百度加速乐替换安全狗这个软件后,确切在一段时间内,攻击明显有所减缓,而且开启的页面速度也是相对之前有所加快,所以我们比较安心肠继续使用百度加速乐这个网站工具。

期间,公司为了可以一劳永逸地解决网站CPU常常太高的问题,因而进行服务器的提升,网站IP也有所更换,当网站服务器整体上了一个档次以后,原来出现的CPU太高的现象也已消失殆尽,取而代之的是开启页面非常迅速,在更换后的一个星期内,网站蜘蛛的爬行量非常迅速,几近是秒收文章,但问题随之也很快出现了。

经过一段时间的文章秒收后,突然网站在11月13日出现索引量收录停滞,然后又出现文章收录量的大跌,这一次虽然没有删除两千多条那末夸大,不过一下损失将近400条索引量还是对网站带来一定的影响。

(图5)

因而,几近同一时间内,公司网站的某几个二级域名同时消失了,有一种再次被降权的情况产生,鉴于这段时间这几个二级域名根本没有发过任何外链,只有正常的文章更新,而且更新的量也保持在稳定的数量上面,完全构成不了任何被降权的可能存在,思前想后推断出是不是加速乐又出现类似安全狗的情况呢?因而把加速乐的DNS恢复为网站的正常DNS以后,很快那些被降权的二级域名再次出现,不过却出现了一定的后遗症,如图1、图2。

3、结论

造成网站降权现象的产生,不一定是由于优化过度而出现了降权的现象,有可能是由于我们的服务器使用的防火墙把蜘蛛给屏蔽了,鉴于笔者网站已出现了由于安全狗和百度加速乐等的两次临时降权现象,所以笔者把这些经验写出来,希望可以帮助各位站长带来实质性的帮助,希望各位站长朋友一旦出现类似笔者网站这样的降权现象的时候,不要慌张,要从多方面去考究为何网站会被降权,是什么原因致使降权。同时笔者也提示那些喜欢攻击他人网站的人,与其有那么多时间去做一些神憎鬼厌的事情,为何不好好考虑一下如何正正经经地开辟市场赚钱,多行不义必自毙!!

本文作者ilovegoktv,转载请注明出处:oktv,谢谢大家的支持!

成都儿童癫痫病医院

成都正规癫痫病医院

贵阳最好的羊癫疯医院

贵州哪家医院看羊癫疯好

相关阅读