谈谈“推荐系统”和“搜索引擎”两者间的关系、和异同点

马太效应（Mattnew Effect）是指强者愈强、弱者愈弱的现象，在互联网中引申为热门的产品受到更多的关注，冷门内容则愈发的会被遗忘的现象。马太效应取名自圣经《新约·马太福音》的一则寓言： “凡有的，还要加倍给他叫他多余；没有的，连他所有的也要夺过来。”

搜索引擎就非常充分的体现了马太效应——如下面的Google点击热图，越红的部分表示点击多和热，越偏紫色的部分表示点击少而冷，绝大部分用户的点击都集中在顶部少量的结果上，下面的结果以及翻页后的结果获得的关注非常少。这也解释了Google和百度的广告为什么这么赚钱，企业客户为什么要花大力气做SEM或SEO来提升排名——因为只有排到搜索结果的前面才有机会。

图3：搜索引擎充分体现的马太效应：头部内容吸引了绝大部分点击

有意思的是，与“马太效应”相对应，还有一个非常有影响力的理论称为“长尾理论”。

长尾理论（Long Tail Effect）是“连线”杂志主编克里斯·安德森（Chris Anderson）在 2004 年 10 月的“长尾”（Long Tail）一文中最早提出的，长尾实际上是统计学中幂率（Power Laws）和帕累托分布特征（Pareto Distribution）的拓展和口语化表达，用来描述热门和冷门物品的分布情况。Chris Anderson通过观察数据发现，在互联网时代由于网络技术能以很低的成本让人们去获得更多的信息和选择，在很多网站内有越来越多的原先被“遗忘”的非最热门的事物重新被人们关注起来。事实上，每一个人的品味和偏好都并非和主流人群完全一致，Chris指出：当我们发现得越多，我们就越能体会到我们需要更多的选择。如果说搜索引擎体现着马太效应的话，那么长尾理论则阐述了推荐系统发挥的价值。

推荐系统和长尾理论

一个实际的例子就是亚马逊（Amazon）网络书店和传统大型书店的数据对比。市场上出版发行的图书种类超过了数百万，但是其中大部分图书是无法在传统大型书店上架销售的（实体店铺空间有限），而能放在书店显著位置（例如畅销书Best Seller货架）上的更是凤毛麟角，因此传统书店的经营模式多以畅销书为中心。但是亚马逊等网络书店的发展为长尾书籍提供了无限广阔的空间，用户浏览、采购这些长尾书籍比传统书店方便得多，于是互联网时代销售成千上万的小众图书，哪怕一次仅卖一两本，但是因为这些图书的种类比热门书籍要多得多，就像长长的尾巴那样，这些图书的销量积累起来甚至超过那些畅销书。正如亚马逊的史蒂夫·凯赛尔所说：“如果我有 10 万种书，哪怕一次仅卖掉一本， 10 年后加起来它们的销售就会超过最新出版的《哈利·波特》！”

长尾理论作为一种新的经济模式，被成功的应用于网络经济领域。而对长尾资源的盘活和利用，恰恰是推荐系统所擅长的，因为用户对长尾内容通常是陌生的，无法主动搜索，唯有通过推荐的方式，引起用户的注意，发掘出用户的兴趣，帮助用户做出最终的选择。

盘活长尾内容对企业来说也是非常关键的，营造一个内容丰富、百花齐放的生态，能保障企业健康的生态。试想一下，一个企业如果只依赖0.1%的“爆款”商品或内容来吸引人气，那么随着时间推移这些爆款不再受欢迎，而新的爆款又没有及时补位，那么企业的业绩必然会有巨大波动。

只依赖最热门内容的另一个不易察觉的危险是潜在用户的流失：因为只依赖爆款虽然能吸引一批用户（简称A类用户），但同时也悄悄排斥了对这些热门内容并不感冒的用户（简称B类用户），按照长尾理论，B类用户的数量并不少，并且随时间推移A类用户会逐步转变为B类用户（因为人们都是喜新厌旧的），所以依靠推荐系统来充分满足用户个性化、差异化的需求，让长尾内容在合适的时机来曝光，维护企业健康的生态，才能让企业的运转更稳定，波动更小。

评价方法的异同

搜索引擎通常基于Cranfield评价体系，并基于信息检索中常用的评价指标，例如nDCG（英文全称为normalized Discounted Cumulative Gain）、Precision-Recall（或其组合方式F1）、P@N等方法，具体可参见之前发表于InfoQ的文章《怎样量化评价搜索引擎的结果质量 陈运文》。整体上看，评价的着眼点在于将优质结果尽可能排到搜索结果的最前面，前 10 条结果（对应搜索结果的第一页）几乎涵盖了搜索引擎评估的主要内容。让用户以最少的点击次数、最快的速度找到内容是评价的核心。

推荐系统的评价面要宽泛的多，往往推荐结果的数量要多很多，出现的位置、场景也非常复杂，从量化角度来看，当应用于Top-N结果推荐时，MAP（Mean Average Precison）或CTR（Click Through Rate，计算广告中常用）是普遍的计量方法；当用于评分预测问题时，RMSE（Root Mean Squared Error）或MAE（Mean Absolute Error）是常见量化方法。

由于推荐系统和实际业务绑定更为紧密，从业务角度也有很多侧面评价方法，根据不同的业务形态，有不同的方法，例如带来的增量点击，推荐成功数，成交转化提升量，用户延长的停留时间等指标。

搜索和推荐的相互交融

搜索和推荐虽然有很多差异，但两者都是大数据技术的应用分支，存在着大量的交叠。近年来，搜索引擎逐步融合了推荐系统的结果，例如右侧的“相关推荐”、底部的“相关搜索词”等，都使用了推荐系统的产品思路和运算方法（如下图红圈区域）。

在另一些平台型电商网站中，由于结果数量巨大，且相关性并没有明显差异，因而对搜索结果的个性化排序有一定的运作空间，这里融合运用的个性化推荐技术也对促进成交有良好的帮助。

搜索引擎中融合的推荐系统元素

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!