加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

大数据处理的一些总结和应用(有关舆情监控)

发布时间:2021-03-18 18:04:41 所属栏目:大数据 来源:网络整理
导读:? ? 说到大数据处理可能大家都不会陌生,这是近年来非常火热的话题,各行各业都想借助大数据为自己助力,有了这个工具,就好像在飞机上看农田一般清晰,一目了然,也也就是业内人士常说的大数据提供了一个------上帝视角 大数据的概念: 1、指的是所涉及的资

? ? 说到大数据处理可能大家都不会陌生,这是近年来非常火热的话题,各行各业都想借助大数据为自己助力,有了这个工具,就好像在飞机上看农田一般清晰,一目了然,也也就是业内人士常说的大数据提供了一个------上帝视角

大数据的概念:


1、指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理的时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的咨询。

2、维克托·迈尔-舍恩伯格以及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。

3、海量异构的数据(包括文本、图像、声音等)。

大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)



大数据处理的应用场景有很多:

1.阿里巴巴平台----淘宝双十一

2.证券交易系统

3.智慧城市

4.情报分析,舆情监控

大数据处理的一些总结和应用(有关舆情监控)



大数据处理的的发展历史和架构演进,可以看成:

是从传统手工作坊(分布式批处理)到流水线工厂(hadoop)再到没有中间商 的O2O平台(spark)

开源工具简介---批处理

Hadoop?Common:Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。

HDFS:是Hadoop的分布式存储系统,同Google的GFS性质是一样的。

MapReduce:是一种编程模型,用于大规模数据集的并行运算。

Hive是基于Hadoop的一个数据仓库工具,提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,十分适合数据仓库的统计分析。

?

Pig:Pig最大的作用就是对MapReduce算法(框架)实现了一套shell脚本?,类似我们通常熟悉的SQL语句,在Pig中称之为Pig?Latin。

Hbase:一个分布式、可扩展的大数据存储。它提供了大数据集上随机和实时的读/写访问,并针对了商用服务器集群上的大型表格做出优化——上百亿行,上千万列。它是Google?bigtable的一个开源的实现。

Zookeeper:它是一个针对大型分布式系统的可靠协调系统,功能包括:配置维护、名字服务、?分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。它是?Google的Chubby一个开源的实现。

?


大数据处理的一些总结和应用(有关舆情监控)



舆情监控系统的系统流程:

大数据处理的一些总结和应用(有关舆情监控)



最近去一个文科院校讲了一节课:基于大数据处理的舆情监控系统及其应用简介,ppt分享出来希望大家批评指正:

http://download.csdn.net/detail/wangyaninglm/9504994

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读