加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

当我们谈大数据分析的时候,我们在谈什么?

发布时间:2021-03-09 20:31:12 所属栏目:大数据 来源:网络整理
导读:数据分析是一个大话题,借这篇笔记整理一下自己的思路:数据分析是什么?涉及到哪些技术?有哪些数据公司玩家?如何定位数据分析的价值?如果选择数据分析作为自己的职业,需要掌握什么样的基本概念?希望帮助对于数据分析有兴趣的同学快速入门! 前言 数据
副标题[/!--empirenews.page--]

数据分析是一个大话题,借这篇笔记整理一下自己的思路:数据分析是什么?涉及到哪些技术?有哪些数据公司玩家?如何定位数据分析的价值?如果选择数据分析作为自己的职业,需要掌握什么样的基本概念?希望帮助对于数据分析有兴趣的同学快速入门!


前言


数据的一面是银弹(Silver Bullet):无所不能,增长黑客(Growth Hacking),决策分析(Decision Making);数据的另外一面是镜子(Reflection):可以看清楚很多苟且和远方的田野。如何发现利用数据的价值,就是数据分析的目标。

?

数据分析的重要性可以分为两点:

第一是帮助核心业务(Business)成长,找到和验证业务增长点
第二是有效的业务推动(Marketing),提高推广的效率(ROI)。

?

我把营销(Marketing)作为独立的数据分析角度,因为数字营销极度依赖于数据分析,并且有一些通用的分析模型,它同时也是一个非常大的产业,它是各个软件巨擘必争之地。

?

最近十几年,数据的收集和处理能力大大提升,越来越多的传感器和数据收集,许多大公司的数据正在从TB级别走向PB级别。互联网公司之间的模式竞争,也转战到对于数据价值的挖掘的能力上,很多时候也就是速度和效率的竞争。不要迷信数据,更不要忽视数据。很多时候,数据是你业务的指南针和护城河。

?

数据量快速增长,数据分析人才紧缺,数据分析工具依赖性,数据分析服务的强需求都反映了公司从粗放型到精细化的转型。

当我们谈大数据分析的时候,我们在谈什么?


1.???什么是数据分析(Data Analysis)?

为了理解数据分析,首先理解一下数据的概念。管理学家罗素·艾可夫在1989的《 “From Data to Wisdom”,Human SystemsManagement?》提出了DIKW体系体系,这是关于数据、信息、知识及智慧的一个模型,完美诠释了四者的关系。Data(数据)->Information(信息)->Knowledge(知识)->Wisdom(智慧)。

当我们谈大数据分析的时候,我们在谈什么?

?

2. 数据分析的技术

?

数据分析在技术上定义:以发现有用信息,知识和洞察为目的,进行数据收集,处理,清晰,过滤,以支持决策制定。


当我们谈大数据分析的时候,我们在谈什么?


行业里也有几个相关的概念,常常会引起混淆,花点时间解释一下:

?

商务智能(Business Intelligence): BI是在商业数据上进行价值挖掘的过程,BI的历史很长,很多时候会特别指通过数据仓库的技术,进行业务报表和分析的过程,分析通常利用数据的聚合(Aggregation)和分片(Slice)的能力。技术上BI包括ETL(数据转换),数据仓库(Data Warehouse),OLAP(联机分析处理),数据挖掘(Data Mining)。


数据挖掘(Data Mining):数据挖掘是指在大量数据中自动搜索隐藏于其中的有着特殊关系性(属于Association rule learning)的信息的过程。很多年前,它一直是一个热门的研究生专业,直到信息检索专业的出现。


联机分析处理(OLAP):其实是一个建立数据系统的方法,核心思想就是建立多维度的数据立方体,以维度(Dimension)和度量(Measure)为基本概念,辅以元数据,实现可以钻取(Drill-down/up)、切片(Slice)、切块(Dice)等灵活、系统、直观的数据展现。

?

数据分析也是一种艺术(Art),所谓艺术就是结合技术,想象力,经验和意愿的综合因素的平衡和融合。数据分析也是一个经验和想象力的融合:它涉及到数学算法,统计分析,工具和软件工程的一种结合,最后的目的是解决业务的问题,帮助人从数据中获得智慧。

?

下面列了几个常用的分析技术范式:

1.?????统计模型:利用统计模型处理数据的方法

2.?????探索式(exploratory):不设定假设目标,自由发掘和探索

3.?????稳定性(Stability of Results):分析结果的稳定性评估,又是进行交叉验证。

4.?????假定验证(HypothesisTesting):预先设定好结论,通过测试校验结论


下面是涉及到算法,工程,统计等的相关技术,每一种细分技术都是一个大学问,好的数据科学家,可以游曳穿行其中,找到数据中有价值的洞察。

?


3.???数据从业者的职业名称


从事数据的工作者,历史上我见识过了不少名称,包括“数据分析师”,“数据经理”,“运营分析师”,“软件工程师”,“算法工程师”,“策略分析师”,“数据科学家” 等等。其中最酷的名字还是LinkedIn发明的“数据科学家(Data Scientist)”,这个名称也被Forbes评为本世纪最”性感“的工作了。我估计,这是全世界最多的科学家团体了,小时候总觉得科学家必须白发苍苍才行的,现在很多同学刚毕业就是”数据科学家“,很让人羡慕。

?

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读