跳到主要内容DataX-web 安装与使用指南 | 极客日志Javajava
DataX-web 安装与使用指南
介绍 DataX-web 的安装与使用流程。首先准备 MySQL、JDK 和 Python 环境。接着下载并解压 DataX 及 DataX-web 安装包,在 MySQL 中创建数据库并执行初始化脚本。通过安装脚本配置数据库连接,修改 application.yml 指定 DataX 路径后启动服务。默认登录账号为 admin/123456。常见问题包括数据库表结构缺失 user_id 字段需手动添加,以及数据同步时报错需调整 core.json 中的 byte 限速参数。
灭霸8 浏览 MySQL (5.5+) 必选,对应客户端可以选装,Linux 服务上若安装 mysql 的客户端可以通过部署脚本快速初始化数据库JDK (1.8.0_xxx) 必选Python (2.x) 必选 (支持 Python3 需要修改替换 datax/bin 下面的三个 python 文件,替换文件在 doc/datax-web/datax-python3 下),主要用于调度执行底层 DataX 的启动脚本,默认的方式是以 Java 子进程方式执行 DataX,用户可以选择以 Python 方式来做自定义的改造2. DataX 安装
2.1 下载 DataX 安装包
2.2 安装 DataX
tar -zxvf /opt/software/datax.tar.gz -C /opt/modules/
python /opt/modules/datax/bin/datax.py /opt/modules/datax/job/job.json
3. DataX-web 安装
3.1 下载 DataX-web 安装包
3.2 安装 DataX-web
3.2.1 上传后进行解压
tar -zxvf /opt/software/datax-web-2.1.2.tar.gz -C /opt/modules/
3.2.2 在 Mysql 中创建存放 datax-web 任务信息的库表
create database dataxweb;
在 dataxweb 中执行 datax_web.sql 脚本
脚本位置为:/opt/modules/datax-web-2.1.2/bin/db/datax_web.sql
3.2.3 执行安装 datax-web 命令
sh /opt/modules/datax-web-2.1.2/bin/install.sh
安装过程中需要输入数据库配置,输入提前准备好的 Mysql 相关信息:ip port username password databaseName
3.2.4 DataX-web 中配置 datax 路径
/opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml
vi /opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml
pypath: /opt/modules/datax/bin/datax.py
3.2.5 启动 DataX-web
sh /opt/modules/datax-web-2.1.2/bin/start-all.sh
4. DataX-web 登录使用
4.1 登录 DataX-web
**登录地址:**http://{你的 ip}:9527/index.html
**用户名:**admin
**密码:**123456
登录后报如下错误:Unknown column 't.user_id' in 'field list'。
这个错误表示 DataX Web 的数据库表结构不完整。具体问题是:job_info 表中缺少 user_id 字段。
DESC job_info;
ALTER TABLE job_info ADD COLUMN user_id VARCHAR(50) DEFAULT NULL COMMENT '用户 ID' AFTER update_time;
DESC job_info;
4.2 使用 DataX-web
创建 DataX 任务模板,以后创建的任务使用相关的模板。
下面开始配置数据同步任务,可以批量配置,也可单独配置,本次以单独配置为例
点击 '构建' 生成任务 json,选择 '选择模版' 选择对应的调度模板绑定任务。
点击执行一次后便可手动执行,如需定时执行可将状态部分改成启动。
DataX 配置了总 bps 限速(1048576 字节/秒 = 1MB/秒),同时配置了 3 个 channel,但没有配置单个 channel 的 bps 值
修复:增大 byte,修改核心配置文件:/opt/modules/datax/conf/core.json
将 byte 值从默认的 1048576 调整为更高的正整数 5m(如 5242880),并确保 record 不为负数(如设为 1000 或删除 record 字段)。
{
"transport": {
"channel": {
"class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
"speed": {
"byte": 5242880,
"record": 1000
},
"flowControlInterval": 20,
"capacity": 512,
"byteCapacity": 67108864
},
"exchanger": {
"class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
"bufferSize": 32
}
}
}
微信扫一扫,关注极客日志
微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
相关免费在线工具
- Keycode 信息
查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具,Keycode 信息在线工具,online
- Escape 与 Native 编解码
JavaScript 字符串转义/反转义;Java 风格 \uXXXX(Native2Ascii)编码与解码。 在线工具,Escape 与 Native 编解码在线工具,online
- JavaScript / HTML 格式化
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具,JavaScript / HTML 格式化在线工具,online
- JavaScript 压缩与混淆
Terser 压缩、变量名混淆,或 javascript-obfuscator 高强度混淆(体积会增大)。 在线工具,JavaScript 压缩与混淆在线工具,online
- Base64 字符串编码/解码
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
- Base64 文件转换器
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online