联系管理员

开通文章发布权限

扫码 添加微信
微信图片
电话:18888888888 QQ:

轻松上手:DolphinScheduler 集群部署全攻略

这份指南以通俗的语言和清晰的结构,详细介绍了 DolphinScheduler 集群部署的全过程。开篇罗列部署前的硬件、软件及网络要求,为后续工作筑牢基础。接着,逐步讲解从数据库准备、安装包处理、配置文件修改到环境初始化的安装步骤,同时给出具体的命令示例。启动集群部分明确启动顺序与命令,并提供验证方法。还介绍了访问使用的相关信息,包括登录地址、默认账号及首次登录后的配置要点。此外,贴心列出注意事项,助力避开常见部署陷阱,最后针对常见问题给出排查思路,是一份帮助读者快速且顺利完成 DolphinScheduler 集群部署的实用指南 。

📋 一、部署前准备

1. 硬件要求

  • 至少3台Linux服务器(1主节点 + 2工作节点)

  • 推荐配置:4核CPU/8G内存/100G硬盘

  • 所有节点需时间同步(ntpdate命令校准)

2. 软件依赖

组件版本要求说明
JDK1.8+所有节点安装
Python3.6+工作节点需要
MySQL5.7+或 PostgreSQL 10+
ZooKeeper3.4.6+集群模式必装

3. 网络要求

  • 开放端口:12345(默认通信端口)

  • 主节点需访问API节点和数据库

  • 所有节点间SSH免密登录


🛠️ 二、安装步骤

1. 数据库准备(以MySQL为例)

CREATE DATABASE dolphinscheduler DEFAULT CHARSET utf8;
CREATE USER 'ds_user'@'%' IDENTIFIED BY 'Ds_password123!';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'ds_user'@'%';
FLUSH PRIVILEGES;

2. 安装包处理

# 所有节点操作
wget https://download.apache.org/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz
tar -zxvf apache-dolphinscheduler-*.tar.gz
mv apache-dolphinscheduler-* /opt/dolphinscheduler

3. 配置文件修改

主节点配置 (conf/config/install_config.conf)

# 基础配置
installMode="cluster"
zkQuorum="zk-node1:2181,zk-node2:2181,zk-node3:2181"

# 数据库配置
DATABASE_TYPE="mysql"
SPRING_DATASOURCE_URL="jdbc:mysql://mysql-host:3306/dolphinscheduler"
SPRING_DATASOURCE_USERNAME="ds_user"
SPRING_DATASOURCE_PASSWORD="Ds_password123!"

# 服务配置
masters="master-node"
workers="worker-node1:default,worker-node2:default"
alertServer="master-node"
apiServers="api-node"

4. 初始化环境

# 创建元数据表(主节点执行)
/opt/dolphinscheduler/script/create-dolphinscheduler.sh

🖥️ 三、启动集群

1. 启动顺序

  1. ZooKeeper集群

  2. 数据库服务

  3. DolphinScheduler服务

2. 启动命令

# 主节点启动
/opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start master-server
/opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start alert-server

# 工作节点启动
/opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start worker-server

# API节点启动
/opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start api-server

3. 验证启动

jps | grep -E 'MasterServer|WorkerServer|AlertServer|ApiServer'

🌐 四、访问使用

  1. 浏览器访问:http://api-node:12345/dolphinscheduler

  2. 默认账号:admin/dolphinscheduler123

  3. 首次登录后需配置:安全中心 -> 租户管理 -> 工作队列


⚠️ 注意事项

  1. 所有节点需统一安装路径

  2. Worker节点需要Python环境支持Shell任务

  3. 生产环境建议分离部署API服务

  4. 日志查看路径:/opt/dolphinscheduler/logs/


🔧 常见问题排查

  1. 节点通信失败

    • 检查12345端口是否开放

    • 验证zk节点是否正常

    • 查看common.properties中的zk配置

  2. 任务无法执行

    • 检查Worker节点的Python环境

    • 确认租户配置的工作目录权限

    • 查看任务日志具体报错

  3. Web界面无法访问

    • 确认API服务是否启动

    • 检查防火墙设置

    • 查看api-server.log日志


📌 提示:测试环境可用单机模式快速验证,生产环境建议至少3节点集群部署。升级时注意备份数据库!

相关文章

neo4j部署手册
Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。
DataX和DataX-WEB 安装步骤
DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、 MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
K8S集群搭建手册(集群版)
kubernetes,简称K8s,是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。
Apollo部署手册
Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。

评论

快捷导航

把好文章收藏到微信

打开微信,扫码查看

关闭

还没有账号?立即注册