DataX Web 分布式数据同步工具部署指南

DataX Web 简介

DataX Web 是在 DataX 基础上开发的分布式数据同步工具，方便用户在网页上通过点击和配置完成 DataX 任务的配置和执行。同时，DataX Web 是基于 XXL-Job 进行二次开发的 DataX 任务管理后台，天生支持任务定时调度、日志查看等功能，能帮助用户更好地管理 DataX 任务。

因此，在学习使用 DataX Web 之前，建议先了解 DataX 和 XXL-Job 的基本概念。

使用 DataX Web 的优势

DataX 是异构数据源进行数据同步的核心关键，DataX Web 为使用 DataX 提供了便利。虽然 DataX Web 的使用不是必须的，但作为追求高效率的工程师，好的工具必不可少。主要优势包括：

1. 提供简单易用的操作界面，降低用户使用 DataX 的学习成本；
2. 缩短任务配置时间，避免配置过程中出错；
3. 可通过页面选择数据源即可创建数据同步任务，支持 RDBMS、Hive、HBase、ClickHouse、MongoDB 等数据源；
4. RDBMS 数据源可批量创建数据同步任务；
5. 支持实时查看数据同步进度及日志并提供终止同步功能；
6. 集成并二次开发 XXL-Job 可根据时间、自增主键增量同步数据；
7. 任务执行器支持集群部署，支持多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖；
8. 支持对执行器 CPU、内存、负载的监控。

架构说明

整体架构和 XXL-Job 基本类似，调度中心进行任务的触发和调度，同时监控各个执行器的执行，汇总任务的执行过程和结果。

（图：DataX web 架构图）

核心功能特性

• 通过 Web 构建 DataX Json；
• DataX Json 保存在数据库中，方便任务的迁移和管理；
• Web 实时查看抽取日志，类似 Jenkins 的日志控制台输出功能；
• DataX 运行记录展示，可页面操作停止 DataX 作业；
• 支持 DataX 定时任务，支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
• 调度采用中心式设计，支持集群部署；
• 任务分布式执行，任务执行器支持集群部署；
• 执行器会周期性自动注册任务，调度中心将会自动发现注册的任务并触发执行；
• 路由策略：执行器集群部署时提供丰富的路由策略，包括第一个、最后一个、轮询、随机、一致性 HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
• 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
• 任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
• 任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；
• 任务失败告警：默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
• 用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
• 任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行，多个子任务用逗号分隔；
• 运行报表：支持实时查看运行数据，以及调度报表，如调度日期分布图，调度成功分布图等；
• 指定增量字段，配置定时任务自动获取每次的数据区间，任务失败重试，保证数据安全；
• 页面可配置 DataX 启动 JVM 参数；
• 数据源配置成功后添加手动测试功能；
• 可以对常用任务进行配置模板，在构建完 JSON 之后可选择关联模板创建任务；
• JDBC 添加 Hive 数据源支持，可在构建 JSON 页面选择数据源生成 column 信息并简化配置；
• 优先通过环境变量获取 DataX 文件目录，集群部署时不用指定 JSON 及日志目录；
• 通过动态参数配置指定 Hive 分区，也可以配合增量实现增量数据动态插入分区；
• 任务类型由原来 DataX 任务扩展到 Shell 任务、Python 任务、PowerShell 任务；
• 添加 HBase 数据源支持，JSON 构建可通过 HBase 数据源获取 hbaseConfig，column；
• 添加 MongoDB 数据源支持，用户仅需要选择 collectionName 即可完成 json 构建；
• 添加执行器 CPU、内存、负载的监控页面；
• 添加 24 类插件 DataX JSON 配置样例；
• 公共字段（创建时间，创建人，修改时间，修改者）插入或更新时自动填充；
• 对 Swagger 接口进行 token 验证；