加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

发布时间:2021-03-06 16:13:32 所属栏目:大数据 来源:网络整理
导读:转载请注明出处: 转载自? Thinkgamer的CSDN博客: blog.csdn.net/gamer_gyt 代码下载地址:点击查看 1:PageRank 与 PeopleRank 2:需求分析:挖掘CSDN博客的价值用户 3:算法模型:PeopleRank算法 4:架构设计:从数据准备到PR算法的MR化 5:程序开发:had

我从中随机抽取了100个用户,同时利用一定的技术手段,给这个100个用户之间赋予一定的关注关系,整理后的数据如下,主要包括两部分,第一部分是用户之间的关注关系(用户id,关注的用户id),第二是给每个用户赋予一定的初始值(用户id,初始用户pr值全部为1)

?????????????????????????? (1)??

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

????????????????????? ? ? ? ? ? ? ?? ?? (2) ??

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户


3:PR算法的MR化设计

???? 我么以下面这个图来说一下

????????????????????????

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

? ? ? ? ??ID=1的页面链向2,3,4页面,所以一个用户从ID=1的页面跳转到2,4的概率各为1/3
??????? ID=2的页面链向3,所以一个用户从ID=2的页面跳转到3,4的概率各为1/2
??????? ID=3的页面链向4页面,所以一个用户从ID=3的页面跳转到4的概率各为1
??????? ID=4的页面链向2页面,所以一个用户从ID=4的页面跳转到2的概率各为1

?????? (1):构造邻接矩阵

???????????

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

?????? (2):构造邻接矩阵

???????????

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户


???????? (3):转换为概率矩阵(转移矩阵)

????????????

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

????????? (4):阻尼系数概率矩阵

????????? ?

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

???????? (5):进行迭代计算

?????????

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

?????????? 至于迭代的次数有子集设定,并不是越多越好,根据六度分割理论来讲,一般迭代6次


五 . 程序开发:hadoop实现PeopleRank算法

程序架构如下:

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

个人代码目录:

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户


下面我们具体说一说每一个文件是干什么的

day7_author100_mess.csv:源文件,由dataEtl.java处理成我们所需要的数据格式

people.csv,peoplerank.txt :day7_author100_mess.csv处理后得到的文件

prjob.java:程序调度的主函数

prMatrix.java:数据转换为矩阵形式

prJisuan.java: 计算每个用户的PR值

prNormal.java:PR值的标准化

prSort.java:对转化后的PR值进行排序


最终的输出文件目录

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读