这是一篇最通熟易懂的Hadoop HDFS实践攻略！

2)编译执行

mvn?compile

mvn?exec:java?-Dexec.mainClass=”Ls”?-Dexec.cleanupDaemonThreads

=false

创建目录mkdir

在HDFS中创建目录/mkdir/a/b

1)新建文件

src/main/java/Mkdir.java

2)编译执行

mvn?compile

mvn?exec:java?-Dexec.mainClass=”Mkdir”?-Dexec.cleanupDaemonThre

ads=false

3)在服务器中使用HDFS命令验证

hdfs?dfs?-ls?/mkdir

上传文件put

在当前项目目录下新建测试文件,上传到HDFS中的/mkdir

1)在项目目录下创建测试文件testfile.txt,内容随意

2)新建文件src/main/java/Put.java

3)编译执行

mvn?compile

mvn?exec:java?-Dexec.mainClass=”Put”?-Dexec.cleanupDaemonThread

s=false

4)在服务器中使用HDFS命令验证

hdfs?dfs?-ls?/mkdir

hdfs?dfs?-cat?/mkdir/testfile.txt

下载文件get

1)新建文件src/main/java/Get.java

把HDFS中/mkdir/test?le.txt下载到当前项目目录下

2)编译执行

mvn?compile

mvn?exec:java?-Dexec.mainClass=”Get”?-Dexec.cleanupDaemonThread

s=false

3)查看项目目录下是否存在test?le2.txt及其内容

删除文件delete

删除HDFS上之前上传的/mkdir/test?le.txt

1)新建文件src/main/java/Del.java

2)编译执行

mvn?compile

mvn?exec:java?-Dexec.mainClass=”Del”?-Dexec.cleanupDaemonThread

s=false

3)在服务器中使用HDFS命令验证,检查test?le.txt是否被删除

hdfs?dfs?-ls?/mkdir

重命名rename

把HDFS中的/mkdir/a重命名为/mkdir/a2

1)新建文件src/main/java/Rename.java

2)编译执行

mvn?compile

mvn?exec:java?-Dexec.mainClass=”Rename”?-Dexec.cleanupDaemonThr

eads=false

3)在服务器中使用HDFS命令验证

hdfs?dfs?-ls?/mkdir

流方式读取文件部分内容

上传一个文本文件,然后使用流方式读取部分内容保存到当前项目目录.

1)在服务器中创建一个测试文件test.txt,内容：

123456789abcdefghijklmn

上传到HDFS

hdfs?dfs?-put?test.txt?/

2)在本地项目中新建文件src/main/java/StreamGet.java

2)编译执行

mvn?compile

mvn?exec:java?-Dexec.mainClass=”StreamGet”?-Dexec.cleanupDaemon

Threads=false

3)执行后查看项目目录下的test.txt.part2

6789abcdefghijklmn

前面的12345已经被略过

三、深入了解

1、写入机制

向HDFS中写入文件时,是按照块儿为单位的,client会根据配置中设置的块儿的大小把目标文件切为多块,例如文件是300M,配置中块大小值为128M,那么就分为3块儿.

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!