hdfs 权限管理和acl机制

2020-05-12 13:36发布

HDFS的文件ACL(Access Control Lists),类似于POSIX ACL(Linux使用ACL来管理文件权限)。

首先参数上要开启基本权限和访问控制列表功能,在CDH 5.2中,默认的参数dfs.namenode.acls.enabled为false。

1

2

3

4

5

6

7

8

<property>

    <name>dfs.permissions.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.namenode.acls.enabled</name>

    <value>true</value>

</property>

一个访问控制列表(ACL)是一组ACL词目(entries)的集合,每个ACL词目会指定一个用户/组,并赋予读/写/执行上等权限。例如:

1

2

3

4

5

6

  user::rw-

  user:bruce:rwx                  #effective:r--

  group::r-x                      #effective:r--

  group:sales:rwx                #effective:r--

  mask::r--

  other::r--

这里面,没有命名的用户/组即该文件的基本所属用户/组。每一个ACL都有一个掩码(mask),如果用户不提供掩码,那么该掩码会自动根据所有ACL条目的并集来获得(属主除外)。在该文件上运行chmod会改变掩码的权限。由于掩码用于过滤,这有效地限制了权限的扩展ACL条目,而不是仅仅改变组条目,并可能丢失的其他扩展ACL条目。

定义默认 (default)ACL条目,新的子文件和目录会自动继承默认的ACL条目设置,而只有目录会有默认的ACL条目。例如:

1

2

3

4

5

6

7

8

9

   user::rwx

   group::r-x

   other::r-x

   default:user::rwx

   default:user:bruce:rwx          #effective:r-x

   default:group::r-x

   default:group:sales:rwx         #effective:r-x

   default:mask::r-x

   default:other::r-x

     新的子文件/目录的实际ACL权限值的访问受到过滤的模式参数。由于默认的文件umask是022(fs.permissions.umask-mode=22),那么新建的目录为755,而文件的权限为644。umask模式参数过滤了用于默认用户(文件所有者)的权限。ACL使用这个特定的例子,并创建一个新的子目录为755模式,这种模式过滤对最终的结果没有影响。然而,如果我们考虑以644模式建立一个文件,然后模式过滤引起新文件的ACL接受读写默认用户(文件所有者),读取掩码和其他用户。这样掩码也意味着命名用户(非默认用户)的有效的权限用户Bruce和命名组Sales仅有r权限。需要注意的是这种权限拷贝只发生在新文件或子目录被创建时。后续对父目录默认ACL的改变不会影响到它的子文件或目录。默认ACL也必须设置mask,如果mask未被指定,那么mask会通过计算所有条目的并集(属主除外)来得出。

  当一个文件使用ACL时,权限检查的算法则变为:

· 当用户名为文件的属主时,会检查属主的权限。

· 否则如果用户名匹配命名用户条目中的一个时,权限会被检查并通过mask权限来进行过滤。

· 否则如果文件的组匹配到当前用户的组列表中的一个时,而这些权限经过mask过滤后仍然会授权,会被允许使用。

· 否则如果其中一个命名组条目匹配到组列表中的一个成员,而这些权限经过mask过滤后仍然会授权,会被允许使用。

· 否则如果文件组和任何命名组条目匹配到组列表中的一个成员时,但是访问不会被任何一个权限所授权时,访问会被拒绝。

· 除此之外,other权限位会被检查。

ACL相关的文件API:

1

2

3

4

5

6

publicvoidmodifyAclEntries(Pathpath,List<AclEntry>aclSpec)throwsIOException;

publicvoidremoveAclEntries(Pathpath,List<AclEntry>aclSpec)throwsIOException;

publicvoidpublicvoidremoveDefaultAcl(Pathpath)throwsIOException;

publicvoidremoveAcl(Pathpath)throwsIOException;

publicvoidsetAcl(Pathpath,List<AclEntry>aclSpec)throwsIOException;

publicAclStatusgetAclStatus(Pathpath)throwsIOException;

命令行命令:

hdfs dfs -getfacl [-R] path

显示文件和目录的访问控制列表。如果一个目录有默认的ACL,getfacl也可以显示默认的ACL设置。

hdfs dfs -setfacl [-R] [-b|-k -m|-x acl_spec path]|[--set acl_spec path]

设置文件和目录的ACL

1

2

3

4

5

-R:UsethisoptiontorecursivelylistACLsforallfilesanddirectories.

-b:RevokeallpermissionsexceptthebaseACLsforuser,groupsandothers.

-k:RemovethedefaultACL.

-m:AddnewpermissionstotheACLwiththisoption.Doesnotaffectexistingpermissions.

-x:RemoveonlytheACLspecified.

hdfs dfs -ls args 

当ls的权限位输出以+结束时,那么该文件或目录正在启用一个ACL