项目地址
项目github地址：DataX
环境依赖
Language: Java 8（jdk版本建议1.8.201以上）
Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下)
Environment: MacOS, Windows,Linux
MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
JDK (1.8.0_xxx) 必选
Maven (3.6.1+) 必选
DataX 必选
Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) 必选，主要用于调度执行底层DataX的启动脚本，默认的方式是以Java子进程方式执行DataX，用户可以选择以Python方式来做自定义的改造
安装java
yum list java*
yum install -y java-1.8.0-openjdk-devel.x86_64
java -version
输出如下结果，安装成功：
openjdk version "1.8.0_362"
OpenJDK Runtime Environment (build 1.8.0_362-b08)
OpenJDK 64-Bit Server VM (build 25.362-b08, mixed mode)
安装maven
wget https://dlcdn.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz
tar xvf apache-maven-3.6.3-bin.tar.gz -O /opt/maven
修改环境变量
MAVEN_HOME=/opt/maven
export PATH=$PATH:$MAVEN_HOME/bin
查看版本信息 mvn -v
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /opt/maven
Java version: 1.8.0_362, vendor: Red Hat, Inc., runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-1160.59.1.el7.x86_64", arch: "amd64", family: "unix"
安装Data-X
下载data-x解压
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
tar xvf datax.tar.gz
cd datax/bin
删除项目 plugin/reader 和 /plugin/writer/ 目录下面 ._* 开头的文件目录
rm -rf ../plugin/reader/._*
rm -rf ../plugin/writer/._*
编写启动测试文件vim stream2stream.json,内容如下：
{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "long",
"value": "10"
},
{
"type": "string",
"value": "hello，你好，世界-DataX"
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}
启动测试
python datax.py ./stream2stream.json
输出测试结果如下，表示安装成功
安装DataX-Web
项目地址
项目github地址：DataX-Web
安装
安装详细文档
下载源码文件
git clone https://hub.fgit.gq/WeiYe-Jing/datax-web.git
cd datax-web/
编译打包
在 build 目录下面生成打包后的文件，build/datax-web-2.1.2.tar.gz，在选定的安装目录，解压安装包
tar xvf datax-web-2.1.2.tar.gz
进入解压后的目录，找到bin目录下面的 install.sh 文件，跳过确认过程，则执行以下命令安装
cd datax-web/
./bin/install.sh --force
创建数据库create database dataxweb;,目录下/bin/db/datax-web.sql脚本去手动执行
修改数据库配置vim modules/datax-admin/conf/bootstrap.properties
启动datax-web服务
一键启动所有服务
一键取消所有服务
在Linux环境下使用JPS命令，查看是否出现DataXAdminApplication和DataXExecutorApplication进程，如果存在这表示项目运行成功
24982 DataXExecutorApplication
24718 DataXAdminApplication
查看 netstat -tnl 服务启动的端口
tcp6 0 0 :::9527 :::* LISTEN
tcp6 0 0 :::9504 :::* LISTEN
部署完成后，在浏览器中输入 http://ip:port/index.html 就可以访问对应的主界面（ip为datax-admin部署所在服务器ip,port为为 datax-admin 指定的运行端口）
输入用户名 admin 密码 123456 就可以直接访问系统
datax-web API 相关内容可以访问网址: http://ip:port/doc.html
评论