加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

大数据处理:关于hadoop

发布时间:2021-01-12 08:45:22 所属栏目:大数据 来源:网络整理
导读:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] ??Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有
副标题[/!--empirenews.page--]

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

[1]??Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。



1.?适合海量数据的分布式存储与计算平台。

海量: 是指 1T 以上数据。

分布式: 任务分配到多态虚拟机上进行计算。

?

2. 多个任务是怎么被分配到多个虚拟机当中的?

分配是需要网络通讯的。而且是需要启动资源 或者 消耗一些硬件上的配置。

单 JVM 关注的如何『处理』,而不是交给其他人进行处理这个 『管理』的过程。? 所以最开始有两个关键的字? 『适合』,

只有当数据量超过 1T 的大数据处理才能凸显 hadoop 的优势;??? 当然,用 hadoop 处理 几十G、几百G 这种小数据也是可以的,只是体现不了 hadoop的优势罢了,从硬件的角度,从效率的角度都是不太值得的。

3.Hadoop Ecosystem Map?? Hadoop生态系统图

大数据处理:关于hadoop

像其他框架一样,hadoop 也是分层的,? 序号③? ⑤ 就是 hadoop 中重要的组成, HDFS 负责数据存储。MapReduce 是海量数据的分布式计算框架。

Structured Data(hiho,sqoop)?是 hadoop 中对传统数据和 hadoop中数据相互转化的工具。传统数据库中的数据可以导入到 hadoop中。hadoop中的数据也可以导入到传统的关系型数据库中。

HBASE?是 hadoop中用的最多和最重要的子项目之一。当然它也是构建于 MapReduce 和 HDFS 之上的。不过 HBASE 可以不基于 HDFS ,只是如果不基于 HDFS时就无法使用 MapReduce 计算框架了。是处理大数据读写操作的,尤其适合一些大型在线系统。

大数据有两层含义:第一层含义,大数据有自己的构造形态,key-value方式。? 另外一层含义,就是大家理解的海量数据。 之所以能成为 大数据 是因为 他是? key-value的构建方式。

HDFS


HDFS: Hadoop Distributed File System 分布式文件系统

文件系统? 是一套接口,一套平台。是用于管理文件的存储与操作的。

HDFS文件系统,是用于管理分布式文件的存储与操作的。HDFS 就为我们提供了一套机制,让海量数据能够分布在不同的计算机上。他提供言外知音就是 我们不用关心数据是怎么存储的,HDFS 负责存储这件事情。这是我们使用 hadoop 的一个重要的原因,他帮我们屏蔽掉一些分布式操作的一些细节。

MapReduce



MapReduce? : 并行计算框架

分布式系统中有很多台机器,每一台机器存储数据的一部分,我们使用 hadoop 之所以能够很快的计算得出结果,原因很简单 我们计算的代码会在不同的机器上运行, 每一台机器完成计算的一部分,因为每台机器上存储的只是我数据的一部分。多台机器并行计算。然后把计算结果收集过来得出最终的结果。这是Hadoop 之所以块的根源。所以 MapReduce 是我们要研究非常重要的核心,? HDFS 的操作是hadoop 框架屏蔽掉的,所以我们主要是去学习怎么去使用它。作为开发而言,聚焦到核心的核心,肯定是 MapReduce。 因为 MapReduce 是计算框架。也就是说数据已经存储了,我怎么计算它,这在任何一个框架中都是一个比较核心的问题。当然也是最有技术含量的问题。所以 如果学习hadoop 的话,有必要详细研究 MapReduce 的架构、使用、源代码等等所有的核心环节。

?

C# 使用 Hadoop


一、安装环境

1,前期准备:官网下载“NuGet Package Manager”,按自己已有的VS环境下载对应版本;

2,利用NuGet下载Hadoop?For .NET SDK,地址“http://hadoopsdk.codeplex.com/”

3,安装。

4,通过HDInsight,安装Windows Azure,目前是预览版本。

5,参照网址“http://blogs.msdn.com/b/data_otaku/archive/2013/08/14/hadoop-for-net-developers.aspx” 系统学习API

?

二、测试DEMO

?

[csharp]?view plaincopy

  1. using?System;??

  2. using?System.Collections.Generic;??

  3. using?System.Linq;??

  4. using?System.Text;??

  5. using?System.Threading.Tasks;??

  6. using?Microsoft.Hadoop;??

  7. using?Microsoft.Hadoop.MapReduce;??

  8. using?Microsoft.Hadoop.WebClient.WebHCatClient;??

  9. using?System.Diagnostics;??

  10. using?System.IO;??

  11. using?System.IO.MemoryMappedFiles;??

  12. ??

  13. ??

  14. namespace?HadoopConsol??

  15. {??

  16. ????class?Program??

  17. ????{??

  18. ????????static?void?Main(string[]?args)??

  19. ????????{??

  20. ????????????Stopwatch?sw?=?new?Stopwatch();??

  21. ????????????long?hadoopTime=0;??

  22. ????????????long?normalTime=0;??

  23. ??

  24. ????????????sw.Start();??

  25. ??

  26. ????????????//start?hadoop??

  27. ????????????Console.WriteLine("?????Hadoop?Process?Strating?....");??

  28. ?

  29. ????????????#region?Hadoop?time??

  30. ?

  31. ????????????#region?hadoopconnet??

  32. ??

  33. ????????????Console.WriteLine("?????Hadoop?Connect?Strating?....");??

  34. ??

  35. ????????????//establish?job?configuration??

  36. ??

  37. ????????????HadoopJobConfiguration?myConfig?=?new?HadoopJobConfiguration();??

  38. ??

  39. ????????????myConfig.InputPath?=?"/demo/simple/in";??

  40. ??

  41. ????????????myConfig.OutputFolder?=?"/demo/simple/out";??

  42. ??

  43. ??

  44. ??

  45. ????????????//connect?to?cluster??

  46. ??

  47. ????????????Uri?myUri?=?new?Uri("http://localhost");??

  48. ??

  49. ????????????string?userName?=?"hadoop";??

  50. ??

  51. ????????????string?passWord?=?null;??

  52. ??

  53. ????????????IHadoop?myCluster?=?Hadoop.Connect(myUri,?userName,?passWord);??

  54. ??

  55. ????????????hadoopTime?+=?sw.ElapsedMilliseconds;??

  56. ??

  57. ????????????Console.WriteLine("?????Hadoop?Connect?End.");??

  58. ??

  59. ????????????Console.WriteLine("?????Hadoop?Connect?time:"?+?sw.ElapsedMilliseconds);??

  60. ?

  61. ????????????#endregion??

  62. ?

  63. ?

  64. ????????????#region?hadoopmapreduce??

  65. ??

  66. ????????????sw.Reset();??

  67. ????????????sw.Start();??

  68. ??

  69. ????????????Console.WriteLine("?????Hadoop?MapReduce?Strating?....");??

  70. ??

  71. ????????????//execute?mapreduce?job??

  72. ??

  73. ????????????MapReduceResult?jobResult?=??

  74. ??

  75. ????????????????myCluster.MapReduceJob.Execute<MySimpleMapper,?MySimpleReducer>(myConfig);??

  76. ??

  77. ????????????hadoopTime?+=?sw.ElapsedMilliseconds;??

  78. ??

  79. ????????????Console.WriteLine("?????Hadoop?MapReduce?End.");??

  80. ????????????Console.WriteLine("?????Hadoop?MapReduce?Time:"+sw.ElapsedMilliseconds);??

  81. ?

  82. ????????????#endregion??

  83. ?

  84. ????????????#region?Hadoop?End??

  85. ??

  86. ????????????sw.Reset();??

  87. ????????????sw.Start();??

  88. ??

  89. ????????????Console.WriteLine("?????Hadoop?Endprocess?Strating?....");??

  90. ??

  91. ????????????//write?job?result?to?console??

  92. ??

  93. ????????????int?exitCode?=?jobResult.Info.ExitCode;??

  94. ??

  95. ??

  96. ??

  97. ????????????string?exitStatus?=?"Failure";??

  98. ??

  99. ????????????if?(exitCode?==?0)?exitStatus?=?"Success";??

  100. ??

  101. ????????????exitStatus?=?exitCode?+?"?("?+?exitStatus?+?")";??

  102. ??

  103. ????????????Console.WriteLine();??

  104. ??

  105. ????????????Console.Write("Exit?Code?=?"?+?exitStatus);??

  106. ??

  107. ????????????Console.WriteLine("?????Hadoop?Endprocess?End.");??

  108. ????????????hadoopTime?+=?sw.ElapsedMilliseconds;??

  109. ????????????Console.WriteLine("?????Hadoop?Exit?Time:"?+?sw.ElapsedMilliseconds);??

  110. ????????????Console.WriteLine("?????Hadoop?Process?All?Time:"?+?hadoopTime);??

  111. ????????????#endregion??

  112. ?

  113. ????????????#endregion??

  114. ?

  115. ?

  116. ????????????#region?Normal?time??

  117. ????????????//start?Normal??

  118. ????????????Console.WriteLine("?????Normal?Process?Strating?....");??

  119. ??

  120. ????????????sw.Reset();??

  121. ????????????sw.Start();??

  122. ??

  123. ????????????//normal?process??

  124. ????????????#region?Normal?Process??

  125. ??

  126. ????????????int?myevenCount?=?0;??

  127. ????????????int?myeventSum?=?0;??

  128. ??

  129. ????????????int?myoddCount?=?0;??

  130. ????????????int?myoddSum?=?0;??

  131. ??

  132. ????????????StreamReader?fs?=?new?StreamReader(@"c:TEMPintegers.txt");??

  133. ??

  134. ????????????while?(fs.Peek()?>=?0)??

  135. ????????????{??

  136. ????????????????string?strTemp?=?fs.ReadLine();??

  137. ????????????????if?(Int32.Parse(strTemp)?%?2?==?0)??

  138. ????????????????{??

  139. ????????????????????myevenCount++;??

  140. ????????????????????myeventSum?+=?Int32.Parse(strTemp);??

  141. ????????????????}??

  142. ????????????????else??

  143. ????????????????{??

  144. ????????????????????myoddCount++;??

  145. ????????????????????myoddSum?+=?Int32.Parse(strTemp);??

  146. ????????????????}??

  147. ????????????}??

  148. ???????????????//MemoryMappedFile?m?=?MemoryMappedFile.??

  149. ????????????Console.WriteLine("even:"?+?"t"?+?myevenCount?+?"t"?+?myeventSum);??

  150. ????????????Console.WriteLine("odd:"?+?"t"?+?myoddCount?+?"t"?+?myoddSum);??

  151. ?

  152. ????????????#endregion??

  153. ??

  154. ????????????Console.WriteLine("?????Normal?Process?End.");??

  155. ??

  156. ????????????normalTime?+=?sw.ElapsedMilliseconds;??

  157. ????????????Console.WriteLine("?????Normal?Exit?Time:"?+?sw.ElapsedMilliseconds);??

  158. ????????????Console.WriteLine("?????Normal?Process?All?Time:"?+?normalTime);??

  159. ?

  160. ????????????#endregion??

  161. ??

  162. ????????????sw.Stop();??

  163. ??

  164. ????????????Console.Read();??

  165. ??

  166. ????????}??

  167. ??

  168. ????}??

  169. ??

  170. ????public?class?MySimpleMapper?:?MapperBase??

  171. ????{??

  172. ??

  173. ????????public?override?void?Map(string?inputLine,?MapperContext?context)??

  174. ????????{??

  175. ??

  176. ????????????//interpret?the?incoming?line?as?an?integer?value??

  177. ??

  178. ????????????int?value?=?int.Parse(inputLine);??

  179. ??

  180. ????????????//determine?whether?value?is?even?or?odd??

  181. ??

  182. ????????????string?key?=?(value?%?2?==?0)???"even"?:?"odd";??

  183. ??

  184. ????????????//output?key?assignment?with?value??

  185. ??

  186. ????????????context.EmitKeyValue(key,?value.ToString());??

  187. ??

  188. ????????}??

  189. ??

  190. ????}??

  191. ??

  192. ????public?class?MySimpleReducer?:?ReducerCombinerBase??

  193. ????{??

  194. ??

  195. ????????public?override?void?Reduce(??

  196. ??

  197. ????????????string?key,?IEnumerable<string>?values,?ReducerCombinerContext?context??

  198. ??

  199. ????????????)??

  200. ????????{??

  201. ??

  202. ????????????//initialize?counters??

  203. ??

  204. ????????????int?myCount?=?0;??

  205. ??

  206. ????????????int?mySum?=?0;??

  207. ??

  208. ??

  209. ??

  210. ????????????//count?and?sum?incoming?values??

  211. ??

  212. ????????????foreach?(string?value?in?values)??

  213. ????????????{??

  214. ??

  215. ????????????????mySum?+=?int.Parse(value);??

  216. ??

  217. ????????????????myCount++;??

  218. ??

  219. ????????????}??

  220. ??

  221. ??

  222. ??

  223. ????????????//output?results??

  224. ??

  225. ????????????context.EmitKeyValue(key,?myCount?+?"t"?+?mySum);??

  226. ??

  227. ????????}??

  228. ??

  229. ??

  230. ????}??

  231. } ?

    来源2:http://blog.csdn.net/lansetiankong12/article/details/51086581

    来源1:http://www.cnblogs.com/qq-757617012/archive/2016/11/28/6110623.html

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读