HDFS客户端操作】【Hadoop】如何在hdfs根目录下创建文件夹

2020-11-06 18:51发布

10条回答
小小李兆佳
2楼 · 2020-11-09 10:31

创建test文件夹
hadoop fs -mkdir /test

我的网名不再改
3楼 · 2020-11-08 14:10

shell命令创建文件夹

启动hdfs,终端输入:start-dfs.sh

在hdfs中创建一个input文件夹:

hadoop fs -mkdir /input/1

使用参数-p创建多级目录:

hadoop fs -mkdir -p /input/file1

HDFS Java API创建

public class CreatDir {
  public static void main(String[] args) throws IOException{
 Configuration conf=new Configuration();
 conf.set("fs.defaultFS","hdfs://centos01:9000");
 //conf.set("fs.defaultFs","hdfs://主节点名(或者主节点的地址):9000"),此处centos01是主节点名
 //或者conf.set("fs.default.name","hdfs://centos01:9000");
 FileSystem hdfs = FileSystem.get(conf);
    boolean isok = hdfs.mkdirs(new Path("hdfs:/input"));
    if(isok) {
     System.out.println("sucess!");
    }else {
     System.out.println("fall");
    }
    hdfs.close();
  }}


Kindery
4楼 · 2020-11-08 20:15

从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。

另外,实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/user.name目录下。

在把本地文件导入到的时候,是可以指定传到什么目录的,比如:

创建input目录


HARPPRTのIT
5楼 · 2020-11-09 00:07

实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/user.name目录下。

在把本地文件导入到的时候,是可以指定传到什么目录的,比如:

创建input目录


无需指教
6楼 · 2020-11-09 09:06

遍历

循环遍历根目录,慎重

hdfs dfs -ls -R /1

遍历根目录文件夹和文件

hdfs dfs -ls  /   1

上传文件 到HDFS已经存在的目录下

上传文件到 / 跟目录下
hdfs dfs -put /home/vc/dev/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml  /12

查看刚才上传文件

hdfs dfs -cat /hdfs-site.xml1

下载文件

将hdfs 文件系统中/hdfs-site.xml下载到服务器当前执行命令所在目录

hdfs dfs -get /hdfs-site.xml1

删除文件和目录

//删除目录,相比删除文件多一个参数 -r
 hdfs dfs -rm -r /demo1 //删除文件,好像加入 -r 参数也可以删除,不会报错。
 hdfs dfs -rm  -r /hdfs-site.xml
  hdfs dfs -rm /testone/core-site.xml12345

创建目录

在根目录下新建 demo1 目录

hdfs dfs -mkdir /demo11

管理命令

dfsadmin

查看文件系统的基本信息和统计信息。

 hdfs dfsadmin -report1

参考:

Linux上传本地文件到HDFS

Hadoop之HDFS上测试创建目录、上传、下载文件

Hadoop Hdfs常用命令


爱学习的小巴
7楼 · 2020-11-12 10:41

1.先进入到/,右键开终端,输入命令:【cd /】。

2.输入创建目录:【sudo mkdir 】,在【sudo mkdir 】,输入目录名,例如ls。

3.然后输入管理员key,那么即可创建一个目录。

4.此时,输入ls,查看目录,看到根目录下有了ls目录,说明已经创建ls目录成功。


哈哈哈哈哈哈嗝
8楼 · 2020-11-13 14:03

从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录...

猜不到结尾
9楼 · 2020-11-24 09:19

从fs

-ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录zhuan到hdfs系统的时候,不shu是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记

切换用户

了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。

另外,实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/${user.name}目录下。

在把本地文件导入到hdfs的时候,是可以指定传到什么目录的,比如:

#创建input目录

sh

bin/hadoop

fs

-mkdir

/user/hadoop/input

#把myfile.txt导入到hdfs的input目录下

sh

bin/hadoop

fs

–put

/usr/hadoop/mydata/myfile.txt

/user/hadoop/input


相关问题推荐

    没有解决我的问题,去提问