顶点小说

手机浏览器扫描二维码访问

第768章 爬虫(第3页)

接下来就好办了,摘抄、重组、整合。

如果查重不过关,也简单,用谷歌翻译,先汉译英、再英译汉。

再人工地把句子整理通顺,查重就顺利通过。

可能是北科的创业环境被周不器给带起来了,那俩大学生就有了通过技术牟利的心思,玩起了帮同学写论文的生意。

被发现后,俩人都被开除了。

要不是周不器出面力保,上缴了非法所得,并安排到了校内网工作,他俩说不定就要蹲监狱了,前程就全毁了。

王小船接着说:“这是静态网站的爬取,如果是优酷、朋友网的这种动态页面,算法会相对复杂。

可不管怎样,这都是很基础的工具。

我们做搜索引擎,难点已经从复杂性变为规模量了。”

周不器皱皱眉,“老马……就是阿里的那位。

他跟我说,要屏蔽百度对淘宝的爬虫,怎么回事?”

王小船笑道:“这事也简单,爬虫和网站之间有一个爬取协议,业内叫Robot协议。

这个协议会声明,该网站的哪些内容可以爬取,哪些内容不能爬取,并规定白名单里的爬虫可以爬取主页内容。

淘宝如果要屏蔽百度,只需要把百度的爬虫加到黑名单里就行了。”

“嗯!”

周不器点了点头。

这就是他想要的答案。

爬虫黑名单!

王小船似乎看出了什么,试探着说:“老板,你……你要对百度下手吗?”

周不器道:“我看了一下微知网的数据,过去3个月,有超过1.1亿的访问量,是来自百度。”

王小船没有惊喜,深吸了口气,忧心忡忡的说:“微知的访问量本来就不高,如果屏蔽了百度,流量就更低了。”

周不器并不在乎,“微知不需要流量,微知需要的是优质内容。

你都说了,百度的算法不如谷歌,很难通过简单的数据处理完成对一些有深度内容的检索,来爬取微知的内容,是简洁途径。

有不少用户都是通过百度来访问微知,我们要断了这条线!”

王小船眨眨眼,“真要屏蔽吗?”

“当然。”

“可Robot协议没有法律效力。”

“啥?”

“这个协议,是一种行业约束,君子协定,不是法律条文。

如果百度真想爬取微知的内容,完全可以通过技术手段跳过协议,强行爬取。”

周不器若有所思,“君子协定啊……如果强行爬取,有违商业道德?”

王小船点了点头,“可以这么理解。”

心中深深的不以为然。

热门小说推荐
我在快穿世界送外卖

我在快穿世界送外卖

食为天外卖系统!本系统囊括了三千世界所有美食与食材,可以跨越世界壁垒为宿主送外卖,无论您身在何处,只要动动小手指,我们的外卖都可以立刻来到您的身边!迟矜然光荣地被系统选为外卖人员,从此和某了么与丽团打上了擂台!...

都市兵王

都市兵王

完结精品神医高手回归杀伐果断美女如云我陈八荒若在,谁敢装逼?他姓陈名生字八荒,本是至强兵王,因一场意外入狱,监狱里各个都是人才,他喜得超强传承,回归花花世界,为兄弟,为女人,为正义,他一次次拔刀,一路攀登,暮然回首已是遍地荣光,无敌于世。...

毒妃有喜,我的将军好残暴

毒妃有喜,我的将军好残暴

婚前,萧将军评价丞相家小姐不知羞耻!婚后,萧将军评价自己的夫人不堪入目!有人大着胆子问现在呢?萧将军立即道夫人沉鱼落雁,闭月羞花,温柔贤淑,善良可爱,人见人爱,花见花开本将军甚是喜欢。...

燃烧吧!铁甲!

燃烧吧!铁甲!

青春只有一次,就应该轰轰烈烈的为梦想燃烧起来!为了格斗机器人事业,卫斯林可谓是付出不少,身为高中生干过力工成人用品商店营业员再到女装大佬。只要能够达成梦想,这点委屈算什么!真是好堕落啊...

夫人别嫁了,主帅他不孕不育啊

夫人别嫁了,主帅他不孕不育啊

末世大佬姜丝跟丧尸皇同归于尽,身穿阿贝尔星际。阿贝尔星系人口却一直下降,200年没有新人口诞生。新来原始物种姜丝具有100的生育值,意味着打一炮双响,这还了得?于是姜丝找了帝国不孕不育亲王兼元帅做老公,仗着不用生孩子一心搞事业,成了种植大师,药剂大师,古文大师,一天姜丝呕吐不止,肚里怀崽的信息通过光脑进了生育库,整个星际沸腾了,200年了,终于有崽了,姜丝瞬间成了真正的星际团宠...

被赶出侯府?无所谓,催爹读书寒门崛起

被赶出侯府?无所谓,催爹读书寒门崛起

穿越真假少爷沙雕团宠一路爽飞养爹读书喜提离大谱!叶青青穿越当天,就从侯门小姐变成了乡下小妞。为了过上别的穿越女都能过上的富足日子,叶青青立下宏伟壮志催爹读书!亲情篇再苦不能苦孩子,再穷不能穷教育!笔墨纸砚,买!四书五经解读,买!辅导班,报!爹闺女,留着钱吃鸡不香吗?叶青青留着钱买锄头也很好挥!爹倒也不必。狗男人篇隔壁小猎户女人真麻烦,不想理。隔壁小猎户这个女人真麻烦,她一出现我就心跳加快。隔壁小猎户这个女人好讨厌,她一说话我就xxxx。隔壁小猎户这个女人好讨厌,她她和别的猎户说话?(一脸惊恐,立刻冲过去!)女主?...

每日热搜小说推荐