Linux 部署 Kafka Eagle

一、环境准备

1. 前提条件

• JDK 1.8+

• Kafka 集群已正常运行

• MySQL 5.7+（或 PostgreSQL）

• 内存建议 2GB+

2. 下载 Kafka Eagle

# 创建安装目录
mkdir-p /opt/kafka-eagle
cd /opt/kafka-eagle

# 下载最新版本
wget https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz
# 或从官网下载
# wget https://www.kafka-eagle.org/download/kafka-eagle-web-3.0.1-bin.tar.gz

tar -zxvf v3.0.1.tar.gz

二、数据库配置（以 MySQL 为例）

1. 创建数据库

CREATE DATABASE IF NOT EXISTS ke_db DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

2. 执行初始化脚本

# 进入解压目录找到 SQL 文件
cd kafka-eagle-bin-3.0.1/db
mysql -u root -p ke_db < mysql.sql

三、配置 Kafka Eagle

1. 配置系统环境变量

# 编辑 /etc/profile
vim /etc/profile

# 添加以下内容
exportKE_HOME=/opt/kafka-eagle/kafka-eagle-bin-3.0.1
exportPATH=$PATH:$KE_HOME/bin

# 使配置生效
source /etc/profile

2. 修改配置文件

cd$KE_HOME/conf
vim system-config.properties

3. 主要配置项修改

# 多集群配置（示例配置两个集群）
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=node1:2181,node2:2181,node3:2181
cluster2.zk.list=node4:2181,node5:2181

# ZK 客户端配置
kafka.zk.limit.size=25

# MySQL 连接配置
kafka.eagle.driver=com.mysql.cj.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke_db?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=your_password

# 启用 Kafka SASL/SSL（如果需要）
# cluster1.kafka.eagle.sasl.enable=true
# cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
# cluster1.kafka.eagle.sasl.mechanism=PLAIN

四、启动与停止

1. 启动 Kafka Eagle

cd$KE_HOME/bin
# 前台启动
./ke.sh start

# 或后台启动
./ke.sh start-d

2. 检查启动状态

# 查看日志
tail -f$KE_HOME/logs/log.log

# 查看进程
jps | grep KafkaEagle

# 检查端口（默认 8048）
netstat -lnpt | grep8048

3. 停止服务

./ke.sh stop

五、访问与使用

1. 访问 Web UI

http://your-server-ip:8048/ke
默认账号：admin
默认密码：123456

2. 修改管理员密码

首次登录后立即修改密码。

六、进阶配置

1. 开启 SSL 访问（可选）

cd$KE_HOME/conf
vim system-config.properties

# 修改以下配置
kafka.eagle.tls.enable=true
kafka.eagle.tls.keystore.location=/path/to/keystore
kafka.eagle.tls.keystore.password=your_password

2. 配置邮件告警

# 邮件告警配置
kafka.eagle.mail.enable=true
kafka.eagle.mail.sa=your_email@gmail.com
kafka.eagle.mail.password=your_password
kafka.eagle.mail.smtp.host=smtp.gmail.com
kafka.eagle.mail.smtp.port=587

3. 调整 JVM 参数

vim$KE_HOME/bin/ke.sh

# 修改 JAVA_OPTS
JAVA_OPTS="-server -Xms2g -Xmx2g -XX:PermSize=256m -XX:+UseG1GC"

七、常见问题解决

1. 启动失败检查

# 查看详细错误日志
cat$KE_HOME/logs/error.log

# 检查端口占用
lsof -i:8048

# 检查数据库连接
mysql -h127.0.0.1 -u root -p-e"use ke_db;"

2. 内存不足处理

# 修改启动脚本中的 JVM 参数
vim$KE_HOME/bin/ke.sh
# 调整 -Xms 和 -Xmx 参数

3. ZK 连接失败

• 确认 ZK 地址正确

• 检查防火墙是否开放 2181 端口

• 验证 ZK 集群状态

八、维护命令

1. 查看服务状态

./ke.sh status

2. 重启服务

./ke.sh restart

3. 版本检查

./ke.sh version

九、生产环境建议

1. 安全配置：

• 修改默认端口

• 配置 HTTPS

• 设置强密码策略

2. 监控配置：

• 配置 Prometheus 监控

• 设置告警规则

• 定期备份数据库

3. 性能优化：

• 根据集群规模调整 JVM 参数

• 配置数据库连接池

• 定期清理历史数据

十、卸载 Kafka Eagle

# 停止服务
./ke.sh stop

# 删除安装目录
rm-rf /opt/kafka-eagle

# 清理数据库
mysql -u root -p-e"DROP DATABASE ke_db;"

# 删除环境变量
# 编辑 /etc/profile 移除相关配置