【Kafka 实用工具】kafka-manager 的安装配置

社区版的 Kafka 没有图形化的管理工具，很多实际生产中的需求满足不了，比如创建删除 topic、查看消息生产速率，查看消费 lag 等等，因此开源社区有很多图形化的工具，kafka-manager 是我在工作中用的比较多的，这篇文章分享安装配置 kafka-manager 的方法，其中还特别展示了如何连接启用了 SASL/PLAIN 认证机制的 Kafka。

内容提要：

源码下载编译
连接无认证 Kafka 的配置
添加待管理的 Kafka 集群
连接有认证 Kafka的配置

在使用 kafka-manager 之前，要求 Kafka 已经安装部署，并且kafka-manager 能够访问到 Kafka 所使用的 ZooKeeper。

1. 源码下载编译

到 kafka-manager的github releases页面选择最新版本，下载 tar.gz 压缩包并解压：

# 在当前用户的 home 目录下下载
$ wget https://github.com/yahoo/kafka-manager/archive/2.0.0.2.tar.gz
$ tar xvf 2.0.0.2.tar.gz
复制代码

进入目录并用 sbt 编译：

$ cd kafka-manager-2.0.0.2
$ ./sbt clean dist
# 如果没有依赖的jar包，可能需要较长时间
复制代码

sbt 编译这一步，可能会花费较长时间，我用了大概半个多小时。

编译完成后会输出安装包的位置：

[success] All package validations passed
[info] Your package is ready in ~/kafka-manager-2.0.0.2/target/universal/kafka-manager-2.0.0.2.zip
[success] Total time: 326 s, completed Nov 6, 2019 12:15:45 PM
复制代码

将上面输出信息中的 ~/kafka-manager-2.0.0.2/target/universal/kafka-manager-2.0.0.2.zip 拷贝到其它地方并解压（注意：如果拷贝到和源码路径相同的位置，需要先修改源码目录名称）:

$ unzip kafka-manager-2.0.0.2.zip
$ cd kafka-manager-2.0.0.2
复制代码

2. 连接无认证 Kafka 的配置

编辑 conf/application.conf：

# 配置Kafka所使用的的Zookeeper，多个IP和端口用逗号分隔
kafka-manager.zkhosts="localhost:2181"
复制代码

也可以修改 logback.xml 和 logger.xml配置日志输出，默认输出在当前目录的 logs 目录下。

启动命令为：

$ bin/kafka-manager  
# 或者后台运行
$ nohup bin/kafka-manager -Dhttp.port=10000 >/dev/null 2>&1 &
复制代码

在浏览器中访问这台机器的 9000 端口就可以使用kafka-manager了。

3. 添加待管理的 Kafka 集群

一个 kafka-manger 可以管理多个 Kafka 集群，下面用截图展示怎么添加 Kafka 集群到 kafka-manager 中来。

首先，点击页面上方的 Cluster 菜单，然后选择 Add Cluster 子菜单：

[图片上传失败...(image-1aacd2-1595927668212)]

点击之后会出现如下的页面，需要给集群一个起一个名字，输入 ZooKeeper 的 IP和端口，选择 Kafka 的版本：

[图片上传失败...(image-9727b9-1595927668212)]

注意，上面的七个勾选框除了 JMX with SSL 我都勾选了，如果漏了，可能有些功能无法正常使用。

还有一些其它配置，默认情况下可能不需要修改（我还没有修改过），不过如果使用中出了问题，可以考虑是不是需要调整这里的参数。

最后在页面最下方点击 Save ，然后等待同步数据：

[图片上传失败...(image-81a35d-1595927668211)]

点击 test 查看这个集群的信息：

[图片上传失败...(image-9d2422-1595927668211)]

然后点击 Topics 的数量 8 就可以查看这个集群的所有 topic：

[图片上传失败...(image-a6a3e1-1595927668211)]

接下来可以自己去到处点点看，还是很容易上手的。

更多的功能特性在 github 主页了解：github.com/yahoo/kafka…

4. 连接有认证 Kafka 的配置

有两种方式配置：第一种，完全在页面上进行配置；第二种，一部分在后台一部分在浏览器，两者的区别是，第一种方法更方便，但会暴露所使用的用户凭据，不够安全，第二种更安全，也稍微复杂一点。

方法一

和连接无认证Kafka的相同，编辑 conf/application.conf，配置 kafka-manager.zkhosts，然后启动kafka-manager，仍然通过浏览器打开”Add Cluster"页面，其它配置不变，按照如下方式修改最后三个配置：

填写其它的必要信息后，最后有三项配置和认证有关，如图所示：

[图片上传失败...(image-2cfa68-1595927668211)]

具体的配置为：

Security Protocol = SASL_PLAINTEXT
SASL Mechanism = PLAIN
SASL JAAS Config = security.protocol=SASL_PLAINTEXT sasl.mechanism=PLAIN sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="iamabug" password="idontknow";
# 如果Kafka除了启用了SASL/PLAIN认证，还启用了ACL的话，那么这里所使用的的用户需要有足够高的权限。
复制代码

点击OK即可。

方法二

第二种方法在后台配置 kafka-manager 所使用的用户凭据，首先在 kafka-manager 的 conf 目录创建配置文件 jaas.conf，内容如下：

KafkaClient{
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="iamabug"
    password="idontknow";
};
复制代码

然后启动命令修改为：

bin/kafka-manager -Dhttp.port=10000 -Djava.security.auth.login.config=~/kafka-manager-2.0.0.2/conf/jaas.conf
复制代码

打开页面按照方法一的方式配置，但不要配置最后一个选项：SASL JAAS Config，直接点击 Save 即可