顶点小说

手机浏览器扫描二维码访问

第1348章 暴力爬虫（第3页）

郭鹏飞道：“去年百度也成立了自己的文学部，叫百度文学。

你们的盗版网站，可能是盗版了他们的内容。

百度的搜索爬虫就加量了。”

“加量？”

“就是……增加爬取次数，你这服务器，他们每天爬虫1万次，能承受住。

可他们显然也是在有意打击盗版，你看这个……12月29号那天，他们的爬虫在5个小时内就达到了72万次，服务器就崩溃了。”

“怪不得好多盗版网站总是打不开呢……”

孙莞然自言自语，恍然大悟。

郭鹏飞瞥她一眼，“你说什么？”

孙莞然脸色微红，连忙道：“那怎么办啊？百度来针对我一个小网站，我……要不要把咱们公司的首席安全专家叫来？”

郭鹏飞差点气死，哼道：“你一个盗版网站，值得吗？人家百度都不稀罕跟你一般计较。”

周不器上去就给他后脑勺来了一巴掌，“你说话客气点，这是我秘书。

还好我没急着走，否则我的秘书得被你欺负死！

赶紧的，解决问题！”

郭鹏飞神色讪讪，解释道：“百度的手段很轻松，应该是以为你们的盗版网站规模很小，爬虫多来几次也就解决了。

只要咱们稍作反击，让他们明白有防御手段，也就该退缩了。

盗版网站那么多，他们没时间去一一计较。”

然后，他又多说了几句：“我听一明同学说过，这种事过去几个月发生过几千起了。

针对的不是盗版网站，而是所有跟微点广告联盟合作的个人网站。

个人网站一般都实力比较弱，百度爬虫来个几十上百万次，基本就都服务器崩溃了。

其实就是逼迫个人站长们去加入百度的广告联盟。”

周不器皱起眉头，“怎么解决的？打架了？”

“没打。”

郭鹏飞摇摇头，“一明同学说是先礼后兵，专门去那边联系了，然后就和解了。

否则咱们两家都暴力爬取，小网站都要遭殃，对谁都没好处。”

孙莞然很不满，“问题都解决了，怎么还用爬虫攻击我的网站？”

郭鹏飞道：“因为你给人递刀子了，你这是盗版网站，打击你是名正言顺。”

周不器一挥手，“行了，废话少说，怎么解决？”

“简单，弄个反爬虫程序就行了。”

这对郭鹏飞来说没有难度，他知道这里是董事长办公室，做的又是盗版网站，普通的程序员不方便过来工作，就只能亲自上阵。

所谓的反爬虫程序，就是以暴制暴。

爬虫的暴力爬取，一天内几十上百万次，小网站的服务器就崩溃了。

网站内容可能只有2kb，对爬虫方的影响不算大。

反爬虫程序就是制作一个20mb模块，等爬虫过来的时候，把定制的模块包送上去，模块包里甚至可以有木马或者病毒。

导致爬虫每次爬取，都要爬到20mb的内容，几十上百万次下来，对方的服务器就先报警了，也就收手了。

周不器道：“行了，反正你弄就行了，然后想想办法，帮她们的网站排进前几名。

让她们几个运营就行了。”

盗版网站没有正版网站那么娇贵，时不时地宕机、瘫痪，体验差、服务差、设计差都没关系，孙莞然喜欢玩，就让她自己弄就行了。

70