加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

《中国焦虑图鉴》:你每天使用的App上都布满了网络爬虫

发布时间:2018-07-25 05:57:47 所属栏目:编程 来源:视觉中国 钛媒体注:本文文由公众号浅黑科技(ID:qianh
导读:原标题:《中国焦虑图鉴》:你每天使用的App上都布满了网络爬虫 图片来源:视觉中国 钛媒体注:本文文由公众号浅黑科技(ID:qianheikeji)授权转载,作者:史中。 来不及了,快上车。上车前,中哥先问你三个问题: 你以为你在大众点评上找到的馆子,真的

亚航有规定,你拍下来半小时(具体时间记不清了)不付款票就自动回到票池,继续卖。但是黄牛党们在爬虫脚本里写好了精确的时间,到了半小时,一毫秒都不多,他又把票拍下来,如此循环。直到有人从黄牛党这里定了这个票,黄牛党就接着利用程序,在亚航系统里放弃这张票,然后0.00001秒之后,就帮你用你的名字预定了这张票。

“我是中间商,我就要赚差价!”这波骚操作,堪称完美。

排名第二的是社交

社交的爬虫重灾区,就是你们喜闻乐见的微博。

给你看张图:

《中国焦虑图鉴》:你每天使用的App上都布满了网络爬虫

这是爬虫经常光顾的微博地址。

这里的代码其实指向了微博的一个接口。它可以用来获取某个人的微博列表、微博的状态、索引等等等等。

获得这些,能搞出什么骚操作呢?

你想想看,如果我能随心所欲地指挥一帮机器人,打开某人的微博,然后刷到某一条,然后疯狂关注、点赞或者留言,这不就是标准的僵尸粉上班儿的流程么。。。

其实,僵尸粉都只是爬虫的常规操作,更骚的来了:

我是一个路人甲,我的微博没人关注,我用大量的爬虫,给自己做了十万人的僵尸粉,一群僵尸在我的微博下面点赞评论,不亦乐乎。我去找一个游戏厂商,跟他说:你看我有这么多粉丝,你在我这投广告吧。我帮你发一条游戏的注册链接,每有一个人通过我的链接注册了游戏,你就给我一毛钱。广告主说,不错,就这么办。我发出注册链接,然后没人点。。。不慌,我让十万爬虫继续前赴后继地点击注册链接,然后自动去完成注册动作。我躺在床上,数着赚来的一万块钱。

(以上数据不一定和现实吻合,只是展现一个逻辑。具体操作也会更复杂。)

还有更骚的么?有的。

你家爱豆不是经常在微博上发红包么?好的,我率十万僵尸粉去抢。

《中国焦虑图鉴》:你每天使用的App上都布满了网络爬虫

凭本事抢来的红包,就问你有什么不妥吗?

排名第三的是电商

你回忆一下,有几种东西叫做“比价平台”“聚合电商”和“返利平台”。他们大体都是一个原理:

你搜索一样商品,这类聚合平台就会自动把各个电商的商品都放在你面前供你选择。有淘宝、京东,还有唯品会苏宁易购。

这就是爬虫的功劳。它们去淘宝上,把胖次袜子杜蕾斯的图片和价格统统扒下来,然后在自己这里展示。

《中国焦虑图鉴》:你每天使用的App上都布满了网络爬虫

这个原理和谷歌差不多。只不过他们展示的不是网页而是商品。但是被放在一起比价,淘宝是拒绝的,京东也是拒绝的啊......

然鹅,由于机器爬虫模拟的是人的点击,电商很难阻止这类事情发生。他们甚至都不能向12306学习。你想想看,如果你每点开一个商品详情,淘宝都让你先分辨一次白百何和王珞丹,你肯定没心情剁手,没准还要提刀去剁马云呢......

当然,电商对抗爬虫有另外的方法,那就是“web 应用防火墙”,简称 WAF。这个我们后面再单独说。

说到这,有童鞋会有个疑问:

那些聚合平台,自己写爬虫,然后帮助淘宝京东卖货,他们的名字叫雷锋么?

醒醒啊同学,雷锋叔叔已经走了很多年了。我随便给你说一下这种聚合电商平台的盈利模式:

1、假设几家店铺都卖杜蕾斯,但是用户在我这里搜索“杜蕾斯”的时候,我是有权利决定谁的店铺在前面谁在后面的啊。谁给的钱多,我就让谁在搜索的前面呗。@百度君,你说说是不是这个道理?(注意,每个店铺和淘宝平台可不是一致行动人。淘宝平台不希望自己的内容被聚合平台抓取,但每个店铺可是很乐意多一个渠道帮他们卖货的。)

2、如果你觉得搞竞价排名良心会痛,也可以用更简单的方式——在网页上展示独立的广告。访问你网站的用户,看到页面上的广告,也有可能会点击。每点击一次,你就赚一次钱。

3、你还可以作为中间商,收点中介费。我帮你店家卖货了,你是不是要给我意思意思。除了给我意思意思,你还得给来买东西的用户意思意思。这种套路,就是“返利网”这类平台的玩法。

接下来是O2O和搜索引擎

你还记得上车之前,我问了你一个问题吗?

你在大众点评上看到的信息,真是吃货们点评的吗?

答:大部分时候是,但有时候不是。

这里面的影响因素还是爬虫。

御风告诉我,这些爬虫很可能被用来做两件事:

大众点评毕竟是最好的点评网站。很多网站都会爬取大众点评的数据,用来丰富自己的信息。很多刚上点评的商户,信誉值不高,可以用爬虫来模拟留言、点赞,刷高自己的信誉值。

所以,理论上讲一旦大众点评对这些爬虫对抗出现松懈,就会有一些不三不四的店铺被“刷”到顶部。

而与之相似的,是爬虫针对搜索引擎的进攻。

你可能了解,搜索引擎决定哪个网页排名靠前,(除了广告以外)主要一个指标就是看哪个搜索结果被人点击的次数更多。

既然这样,那么我就派出爬虫,搜索某个特定的“关键词”,然后在结果里拼命地点击某个链接,那么这个网站在搜索引擎的权重里自然就会上升。这个过程就叫做 SEO(搜索引擎优化)。

举个例子:

我随意搜索一个关键词。

《中国焦虑图鉴》:你每天使用的App上都布满了网络爬虫

它排在前面的网址,有可能就是经过 SEO 的。作为任何一个搜索引擎,都肯定不允许外人对于自己的搜索结果动手动脚,否则就会丧失公立性。它们会通过不定期调整算法来对抗 SEO。

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读