在CDH集群启用Kerberos

KDC服务安装及配置


本文档中将KDC服务安装在Cloudera Manager Server所在服务器上(KDC服务可根据自己需要安装在其他服务器)

1.在Cloudera Manager服务器上安装KDC服务

[root@server01 /]# yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation

image.png

2.修改/etc/krb5.conf配置

# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = ALADING.COM
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
# default_realm = EXAMPLE.COM
 default_ccache_name = KEYRING:persistent:%{uid}

[realms]
 ALADING.COM = {
  kdc = server01
  admin_server = server01
 }
# EXAMPLE.COM = {
#  kdc = kerberos.example.com
#  admin_server = kerberos.example.com
# }

[domain_realm]
 .alading.com = ALADING.COM
 alading.com = ALADING.COM
# .example.com = EXAMPLE.COM
# example.com = EXAMPLE.COM

红色为修改部分:


3.修改/var/kerberos/krb5kdc/kdc.conf配置

[root@server01 /]# vi /var/kerberos/krb5kdc/kdc.conf
[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 ALADING.COM = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }

红色为修改部分:


4. 配置acl文件

vim /var/kerberos/krb5kdc/kadm5.acl 
*/admin@ALADING.COM *

5. 以上3个文件拷贝到集群中其他服务器。

需要同步的文件:
krb5.conf
kdc.conf
kadm5.acl 
下载jce替换ocal_policy.jar and US_export_policy.jar 文件

http://www.oracle.com/technetwork/java/javase/downloads/jce-6-download-429243.html
下载完毕后,解压得到的如下.jar拷贝到java_home/jre/lib/security/文件目录下:

[root@server01 UnlimitedJCEPolicyJDK8]# ll
total 16
-rw-rw-r-- 1 root root 3035 Dec 21  2013 local_policy.jar
-rw-r--r-- 1 root root 7323 Dec 21  2013 README.txt
-rw-rw-r-- 1 root root 3023 Dec 21  2013 US_export_policy.jar

# 同步到所有服务器的JDK8目录下:
[root@server01 UnlimitedJCEPolicyJDK8]#  cp /root/UnlimitedJCEPolicyJDK8/*.jar /usr/java/default/jre/lib/security/

6.创建Kerberos数据库

[root@server01 /]# kdb5_util create -r ALADING.COM -s 
Loading random data
Initializing database '/var/kerberos/krb5kdc/principal' for realm 'ALADING.COM',
master key name 'K/M@ALADING.COM'
You will be prompted for the database Master Password.
It is important that you NOT FORGET this password.
Enter KDC database master key: 
Re-enter KDC database master key to verify: 

7. 添加新的管理员用户

[root@ip-172-31-6-148 ~]# kadmin.local
Authenticating as principal admin/admin@ALADING.COM with password.
kadmin.local:  addprinc admin/admin@ALADING.COM
WARNING: no policy specified for admin/admin@ALADING.COM; defaulting to no policy
Enter password for principal "admin/admin@ALADING.COM": 
Re-enter password for principal "admin/admin@ALADING.COM": 
Principal "admin/admin@ALADING.COM" created.
kadmin.local:  exit


# 列出所有的principle
kadmin.local:  listprincs
K/M@CTBJ.COM
debugo/admin@CTBJ.COM
kadmin/admin@CTBJ.COM
kadmin/cdh_manager@CTBJ.COM
kadmin/changepw@CTBJ.COM
krbtgt/CTBJ.COM@CTBJ.COM

# 查看principle:getprinc debugo/admin@CTBJ.COM
# 删除principle:delprinc debugo/admin@CTBJ.COM
# 修改principle密码:cpw,change_passwd

8. 启动服务

[root@server01 /]# chkconfig krb5kdc on
[root@server01 /]# chkconfig kadmin on
[root@server01 /]# service krb5kdc restart
Starting Kerberos 5 KDC:                         [  OK  ]
[root@server01 /]#  service kadmin restart
Starting Kerberos 5 Admin Server:                [  OK  ]

9. 验证Kerveros管理员账号

> kinit admin/admin@ALADING.COM
Password for admin/admin@ALADING.COM: 
> klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: debugo/hdp01.ctbj.com@CTBJ.COM

Valid starting     Expires            Service principalna jiu
/08/14 11:58:00  09/09/14 11:58:00  krbtgt/CTBJ.COM@CTBJ.COM
    renew until 09/08/14 11:58:00

CDH集群启用Kerberos


1. 在KDC中给Cloudera Manager添加管理员账号

[root@ip-172-31-6-148 cdh-shell-bak]# kadmin.local
Authenticating as principal admin/admin@ALADING.COM with password.
kadmin.local:  addprinc cloudera-scm/admin@ALADING.COM
WARNING: no policy specified for cloudera-scm/admin@FAYSON.COM; defaulting to no policy
Enter password for principal "cloudera-scm/admin@ALADING.COM": 
Re-enter password for principal "cloudera-scm/admin@FAYSON.COM": 
Principal "cloudera-scm/admin@ALADING.COM" created.
kadmin.local:  exit
[root@ip-172-31-6-148 cdh-shell-bak]# 

2.进入Cloudera Manager的“管理”-> “安全”界面

3.选择“启用Kerberos”,进入如下界面

确保如下列出的所有检查项都已完成


4.点击“继续”,配置相关的KDC信息,包括类型、KDC服务器、KDC Realm、加密类型以及待创建的Service Principal(hdfs,yarn,,hbase,hive等)的更新生命期等

5.点击“继续”

6.不建议让Cloudera Manager来管理krb5.conf, 点击“继续”

7.输入Cloudera Manager的Kerbers管理员账号,必须和之前创建的账号一致,点击“继续”

8.等待启用Kerberos完成,点击“继续”

9.点击“继续”

10.勾选重启集群,点击“继续”

11.等待集群重启成功,点击“继续”


至此已成功启用Kerberos。

Kerberos使用


使用fayson用户运行MapReduce任务及操作Hive,需要在集群所有节点创建fayson用户。

1.使用kadmin创建一个fayson的principal

[root@ip-172-31-6-148 cdh-shell-bak]# kadmin.local
Authenticating as principal admin/admin@FAYSON.COM with password.
kadmin.local:  addprinc fayson@FAYSON.COM
WARNING: no policy specified for fayson@FAYSON.COM; defaulting to no policy
Enter password for principal "fayson@FAYSON.COM":
Re-enter password for principal "fayson@FAYSON.COM":
Principal "fayson@FAYSON.COM" created.
kadmin.local:  exit
[root@ip-172-31-6-148 cdh-shell-bak]#

2.使用fayson用户登录Kerberos

[root@ip-172-31-6-148 cdh-shell-bak]# kdestroy
[root@ip-172-31-6-148 cdh-shell-bak]# kinit fayson
Password for fayson@FAYSON.COM: 
[root@ip-172-31-6-148 cdh-shell-bak]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: fayson@FAYSON.COM

Valid starting     Expires            Service principal
09/05/17 17:19:08  09/06/17 17:19:08  krbtgt/FAYSON.COM@FAYSON.COM
        renew until 09/12/17 17:19:08
[root@ip-172-31-6-148 cdh-shell-bak]# 

3.运行MapReduce作业

[root@ip-172-31-6-148~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/hadoop-examples.jar pi 10 1
...
Starting Job
17/09/02 20:10:43 INFO mapreduce.Job: Running job: job_1504383005209_0001
17/09/02 20:10:56 INFO mapreduce.Job: Job job_1504383005209_0001 running in ubermode : false
17/09/02 20:10:56 INFO mapreduce.Job:  map0% reduce 0%
17/09/02 20:11:09 INFO mapreduce.Job:  map20% reduce 0%
17/09/02 20:11:12 INFO mapreduce.Job:  map40% reduce 0%
17/09/02 20:11:13 INFO mapreduce.Job:  map50% reduce 0%
17/09/02 20:11:15 INFO mapreduce.Job:  map60% reduce 0%
17/09/02 20:11:16 INFO mapreduce.Job:  map70% reduce 0%
17/09/02 20:11:19 INFO mapreduce.Job:  map80% reduce 0%
17/09/02 20:11:21 INFO mapreduce.Job:  map100% reduce 0%
17/09/02 20:11:26 INFO mapreduce.Job:  map100% reduce 100%
17/09/02 20:11:26 INFO mapreduce.Job: Job job_1504383005209_0001 completedsuccessfully

参考:
https://mp.weixin.qq.com/s?__biz=MzI4OTY3MTUyNg==&mid=2247484735&idx=1&sn=b021eb28562d566b5d3c97f3d4024905&chksm=ec2ad536db5d5c2017b61638eeb3bbc5640cff080e2a376923f3cb06ba4e57211fee4fc027e8&scene=21#wechat_redirect
https://blog.csdn.net/DF_XIAO/article/details/52838648
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22835

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,997评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,603评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,359评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,309评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,346评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,258评论 1 300
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,122评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,970评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,403评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,596评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,769评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,464评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,075评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,705评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,848评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,831评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,678评论 2 354

推荐阅读更多精彩内容