DATAX可视化面板:data-web编译安装配置

环境准备

1)基础软件安装
MySQL (5.7+) 必选,安装略,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
JDK (1.8.0_xxx) 必选,安装略
Maven (3.6.1+) 必选,安装略
DataX 必选,安装略
Python (2.x) 最好用2.x (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下) 必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造
DataX安装请参考:DataX

DataX Web安装包准备
编译打包(官方提供的tar包跳过)-这次通过在本机上编译来完成安装
直接从Git上面获得源代码,在项目的根目录下执行如下命令
git clone https://github.com/WeiYe-Jing/datax-web.git
mvn clean install 
[INFO] datax-web .......................................... SUCCESS [  3.991 s]
[INFO] datax-rpc .......................................... SUCCESS [ 36.603 s]
[INFO] datax-core ......................................... SUCCESS [ 13.113 s]
[INFO] datax-admin ........................................ SUCCESS [04:50 min]
[INFO] datax-executor ..................................... SUCCESS [01:54 min]
[INFO] datax-assembly ..................................... SUCCESS [ 17.250 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 08:07 min
[INFO] Finished at: 2022-03-13T09:47:16+08:00
[INFO] Final Memory: 67M/307M
[INFO] ------------------------------------------------------------------------
执行成功后将会在工程的build目录下生成安装包
build/datax-web-2.1.2.tar.gz

开始部署
1)解压安装包
在选定的安装目录,解压安装包
tar -zxvf datax-web-2.1.2.tar.gz -C /usr/local/

2)执行一键安装脚本
进入解压后的目录,找到bin目录下面的install.sh文件,如果选择交互式的安装,则直接执行
./bin/install.sh
在交互模式下,对各个模块的package压缩包的解压以及configure配置脚本的调用,都会请求用户确认,可根据提示查看是否安装成功,如果没有安装成功,可以重复尝试; 如果不想使用交互模式,跳过确认过程,则执行以下命令安装
./bin/install.sh --force

3)数据库初始化
如果你的服务上安装有mysql命令,在执行安装脚本的过程中则会出现以下提醒:
Scan out mysql command, so begin to initalize the database
Do you want to initalize database with sql: [{INSTALL_PATH}/bin/db/datax-web.sql]? (Y/N)y
Please input the db host(default: 127.0.0.1): 
Please input the db port(default: 3306): 
Please input the db username(default: root): 
Please input the db password(default: ): 
Please input the db name(default: exchangis)
按照提示输入数据库地址,端口号,用户名,密码以及数据库名称,大部分情况下即可快速完成初始化。 如果服务上并没有安装mysql命令,则可以取用目录下/bin/db/datax-web.sql脚本去手动执行,完成后修改相关配置文件
vi ./modules/datax-admin/conf/bootstrap.properties
#Database
#DB_HOST=
#DB_PORT=
#DB_USERNAME=
#DB_PASSWORD=
#DB_DATABASE=
按照具体情况配置对应的值即可。

4) 配置
安装完成之后,
在项目目录: /modules/datax-admin/bin/env.properties 配置邮件服务(可跳过)
MAIL_USERNAME=""
MAIL_PASSWORD=""

此文件中包括一些默认配置参数,例如:server.port,具体请查看文件。
在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径
vi ./modules/{module_name}/bin/env.properties

### 执行datax的python脚本地址(这个路径一定要加,其它的可以不用修改)
PYTHON_PATH=/usr/local/datax/bin/datax.py


### 保持和datax-admin服务的端口一致;默认是9527,如果没改datax-admin的端口,可以忽略
DATAX_ADMIN_PORT=

此文件中包括一些默认配置参数,例如:executor.port,json.path,data.path等,具体请查看文件。

5)启动服务
- 一键启动所有服务
[root@node101 bin]# /usr/local/datax-web-2.1.2/bin/start-all.sh 

2022-03-13 09:57:44.787 [INFO] (9370)  Try To Start Modules In Order 
2022-03-13 09:57:44.803 [INFO] (9378)  ####### Begin To Start Module: [datax-admin] ######
2022-03-13 09:57:44.846 [INFO] (9386) load environment variables
2022-03-13 09:57:45.492 [INFO] (9386) java
2022-03-13 09:57:45.498 [INFO] (9386) Waiting DATAX-ADMIN to start complete ...
2022-03-13 09:57:45.970 [INFO] (9386) DATAX-ADMIN start success
2022-03-13 09:57:45.995 [INFO] (9593)  ####### Begin To Start Module: [datax-executor] ######
2022-03-13 09:57:46.013 [INFO] (9601) load environment variables
2022-03-13 09:57:47.428 [INFO] (9601) java
2022-03-13 09:57:47.434 [INFO] (9601) Waiting DATAX-EXEXUTOR to start complete ...
2022-03-13 09:57:48.377 [INFO] (9601) DATAX-EXEXUTOR start success

查看监听的端口:
[root@node101 ~]# netstat -lntup | grep java
tcp6       0      0 :::9999                 :::*                    LISTEN      6493/java           
tcp6       0      0 :::9527                 :::*                    LISTEN      6218/java           
tcp6       0      0 :::9504                 :::*                    LISTEN      6493/java  
中途可能发生部分模块启动失败或者卡住,可以退出重复执行,如果需要改变某一模块服务端口号,则:

vi ./modules/{module_name}/bin/env.properties
找到SERVER_PORT配置项,改变它的值即可。 当然也可以单一地启动某一模块服务:

./bin/start.sh -m {module_name}
- 一键取消所有服务

./bin/stop-all.sh
当然也可以单一地停止某一模块服务:

./bin/stop.sh -m {module_name}
6)查看服务(注意!注意!)
在Linux环境下使用JPS命令,查看是否出现DataXAdminApplication和DataXExecutorApplication进程,如果存在这表示项目运行成功
如果项目启动失败,请检查启动日志:modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out
Tips: 脚本使用的都是bash指令集,如若使用sh调用脚本,可能会有未知的错误


7)运行

部署完成后,在浏览器中输入 http://172.16.1.101:9527/index.html#/login?redirect=%2Fdashboard 就可以访问对应的主界面(ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口)
输入用户名 admin 密码 123456 就可以直接访问系统

分割线
打赏
YWSOS.COM 平台代运维解决方案
 评论
 发表评论
姓   名:

Powered by AKCMS