加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

推荐系统技术 --- 文本相似性计算(二)

发布时间:2021-03-06 16:15:27 所属栏目:大数据 来源:网络整理
导读:第一篇地址:推荐系统技术之文本相似性计算(一) 上一篇中我们的小明已经中学毕业了,今天这一篇继续文本相似性的计算。 首先前一篇不能解决的问题是因为我们只是机械的计算了词的向量,并没有任何上下文的关系,所以思想还停留在机器层面,还没有到更高的

假设有这么一句话我爱北京天安门,我们先给每个词编个号,我1,爱2,北京3,天安门4。

  • 然后,我们扫描这个句子的每个词,找和他相邻的两个词,分别是他前面一个和后面一个,那么一轮下来,我们得到一个这样的东西:1(2),2(1,3),3(2,4),4(3),这表示什么?表示每个词和他有两个相关的词,如果我们有大量的句子,那么可以得到非常多的上述关系表达式。

  • 然后呢?然后我们设定一个向量的维度,也就是每个词我们可以用几个维度来表示。

  • 再然后呢?再然后就上神经网络了,这东西啊,如果你知道逻辑回归这种机器学习的方法的话,再假设逻辑回归是物理电路中的一条回路的话,那神经网络就是把逻辑回归这种回路串联并联起来的东西。也就是逻辑回归的逻辑回归的逻辑回归【这句话不是我总结的,我忘了在哪看到过了,觉得挺形象】

  • 最后呢?最后每个词就成了一个向量了。有了向量了,那么就能比较了吧?总结

    好了,今天扯了这么多,我看下来有点耽误人的意思,因为用太通俗的话根本解释不了很多数学模型,而我数学也不好,要说清楚这些个数学模型我也很费劲,关键是一堆公式出来也没人看,自己心里默默的清楚就行了,大家也别想着通过一两篇文章能了解一个数学模型,自然语言处理这个本来就是个拼数学的领域,要深入还得自己去看书看论文,要了解这些数学模型也不是看一篇文章能了解的,真的感兴趣的,想做算法工程师的,自己专研吧。下一篇我会把这两篇的东西实战一下,看看最终是不是有效果,估计下一篇能有意思一点。


    如果你觉得不错,欢迎转发给更多人看到,也欢迎关注我的公众号,主要聊聊搜索,推荐,广告技术,还有瞎扯。。文章会在这里首先发出来:)扫描或者搜索微信号XJJ267或者搜索中文西加加语言就行

    (编辑:核心网)

    【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

  • 热点阅读