2020-11-06 18:51发布
创建test文件夹hadoop fs -mkdir /test
启动hdfs,终端输入:start-dfs.sh
在hdfs中创建一个input文件夹:
hadoop fs -mkdir /input/1
使用参数-p创建多级目录:
hadoop fs -mkdir -p /input/file1
public class CreatDir { public static void main(String[] args) throws IOException{ Configuration conf=new Configuration(); conf.set("fs.defaultFS","hdfs://centos01:9000"); //conf.set("fs.defaultFs","hdfs://主节点名(或者主节点的地址):9000"),此处centos01是主节点名 //或者conf.set("fs.default.name","hdfs://centos01:9000"); FileSystem hdfs = FileSystem.get(conf); boolean isok = hdfs.mkdirs(new Path("hdfs:/input")); if(isok) { System.out.println("sucess!"); }else { System.out.println("fall"); } hdfs.close(); }}
从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。
另外,实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/user.name目录下。
在把本地文件导入到的时候,是可以指定传到什么目录的,比如:
创建input目录
实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/user.name目录下。
hdfs dfs -ls -R /1
hdfs dfs -ls / 1
上传文件到 / 跟目录下 hdfs dfs -put /home/vc/dev/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml /12
hdfs dfs -cat /hdfs-site.xml1
将hdfs 文件系统中/hdfs-site.xml下载到服务器当前执行命令所在目录
/hdfs-site.xml
hdfs dfs -get /hdfs-site.xml1
//删除目录,相比删除文件多一个参数 -r hdfs dfs -rm -r /demo1 //删除文件,好像加入 -r 参数也可以删除,不会报错。 hdfs dfs -rm -r /hdfs-site.xml hdfs dfs -rm /testone/core-site.xml12345
在根目录下新建 demo1 目录
hdfs dfs -mkdir /demo11
查看文件系统的基本信息和统计信息。
hdfs dfsadmin -report1
参考:
Linux上传本地文件到HDFS
Hadoop之HDFS上测试创建目录、上传、下载文件
Hadoop Hdfs常用命令
1.先进入到/,右键开终端,输入命令:【cd /】。
2.输入创建目录:【sudo mkdir 】,在【sudo mkdir 】,输入目录名,例如ls。
3.然后输入管理员key,那么即可创建一个目录。
4.此时,输入ls,查看目录,看到根目录下有了ls目录,说明已经创建ls目录成功。
“从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录...”
从fs
-ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录zhuan到hdfs系统的时候,不shu是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记
切换用户
了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。
另外,实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/${user.name}目录下。
在把本地文件导入到hdfs的时候,是可以指定传到什么目录的,比如:
#创建input目录
sh
bin/hadoop
fs
-mkdir
/user/hadoop/input
#把myfile.txt导入到hdfs的input目录下
–put
/usr/hadoop/mydata/myfile.txt
最多设置5个标签!
创建test文件夹
hadoop fs -mkdir /test
shell命令创建文件夹
启动hdfs,终端输入:start-dfs.sh
在hdfs中创建一个input文件夹:
使用参数-p创建多级目录:
HDFS Java API创建
从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。
另外,实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/user.name目录下。
在把本地文件导入到的时候,是可以指定传到什么目录的,比如:
创建input目录
实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/user.name目录下。
在把本地文件导入到的时候,是可以指定传到什么目录的,比如:
创建input目录
遍历
循环遍历根目录,慎重
遍历根目录文件夹和文件
上传文件 到HDFS已经存在的目录下
查看刚才上传文件
下载文件
将hdfs 文件系统中
/hdfs-site.xml
下载到服务器当前执行命令所在目录删除文件和目录
创建目录
在根目录下新建 demo1 目录
管理命令
dfsadmin
查看文件系统的基本信息和统计信息。
参考:
Linux上传本地文件到HDFS
Hadoop之HDFS上测试创建目录、上传、下载文件
Hadoop Hdfs常用命令
1.先进入到/,右键开终端,输入命令:【cd /】。
2.输入创建目录:【sudo mkdir 】,在【sudo mkdir 】,输入目录名,例如ls。
3.然后输入管理员key,那么即可创建一个目录。
4.此时,输入ls,查看目录,看到根目录下有了ls目录,说明已经创建ls目录成功。
“从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录...”
从fs
-ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录zhuan到hdfs系统的时候,不shu是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记
切换用户
了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。
另外,实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/${user.name}目录下。
在把本地文件导入到hdfs的时候,是可以指定传到什么目录的,比如:
#创建input目录
sh
bin/hadoop
fs
-mkdir
/user/hadoop/input
#把myfile.txt导入到hdfs的input目录下
sh
bin/hadoop
fs
–put
/usr/hadoop/mydata/myfile.txt
/user/hadoop/input
相关问题推荐