轻松上手:DolphinScheduler 集群部署全攻略
这份指南以通俗的语言和清晰的结构,详细介绍了 DolphinScheduler 集群部署的全过程。开篇罗列部署前的硬件、软件及网络要求,为后续工作筑牢基础。接着,逐步讲解从数据库准备、安装包处理、配置文件修改到环境初始化的安装步骤,同时给出具体的命令示例。启动集群部分明确启动顺序与命令,并提供验证方法。还介绍了访问使用的相关信息,包括登录地址、默认账号及首次登录后的配置要点。此外,贴心列出注意事项,助力避开常见部署陷阱,最后针对常见问题给出排查思路,是一份帮助读者快速且顺利完成 DolphinScheduler 集群部署的实用指南 。
📋 一、部署前准备
1. 硬件要求
至少3台Linux服务器(1主节点 + 2工作节点)
推荐配置:4核CPU/8G内存/100G硬盘
所有节点需时间同步(
ntpdate
命令校准)
2. 软件依赖
组件 | 版本要求 | 说明 |
---|---|---|
JDK | 1.8+ | 所有节点安装 |
Python | 3.6+ | 工作节点需要 |
MySQL | 5.7+ | 或 PostgreSQL 10+ |
ZooKeeper | 3.4.6+ | 集群模式必装 |
3. 网络要求
开放端口:12345(默认通信端口)
主节点需访问API节点和数据库
所有节点间SSH免密登录
🛠️ 二、安装步骤
1. 数据库准备(以MySQL为例)
2. 安装包处理
3. 配置文件修改
主节点配置 (conf/config/install_config.conf
)
# 基础配置
installMode="cluster"
zkQuorum="zk-node1:2181,zk-node2:2181,zk-node3:2181"
# 数据库配置
DATABASE_TYPE="mysql"
SPRING_DATASOURCE_URL="jdbc:mysql://mysql-host:3306/dolphinscheduler"
SPRING_DATASOURCE_USERNAME="ds_user"
SPRING_DATASOURCE_PASSWORD="Ds_password123!"
# 服务配置
masters="master-node"
workers="worker-node1:default,worker-node2:default"
alertServer="master-node"
apiServers="api-node"
4. 初始化环境
🖥️ 三、启动集群
1. 启动顺序
ZooKeeper集群
数据库服务
DolphinScheduler服务
2. 启动命令
3. 验证启动
🌐 四、访问使用
浏览器访问:
http://api-node:12345/dolphinscheduler
默认账号:
admin/dolphinscheduler123
首次登录后需配置:
安全中心 -> 租户管理 -> 工作队列
⚠️ 注意事项
所有节点需统一安装路径
Worker节点需要Python环境支持Shell任务
生产环境建议分离部署API服务
日志查看路径:
/opt/dolphinscheduler/logs/
🔧 常见问题排查
节点通信失败:
检查12345端口是否开放
验证zk节点是否正常
查看
common.properties
中的zk配置
任务无法执行:
检查Worker节点的Python环境
确认租户配置的工作目录权限
查看任务日志具体报错
Web界面无法访问:
确认API服务是否启动
检查防火墙设置
查看
api-server.log
日志
📌 提示:测试环境可用单机模式快速验证,生产环境建议至少3节点集群部署。升级时注意备份数据库!
评论