介绍
FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等。FlinkX目前包含下面这些特性:
- 大部分插件支持并发读写数据,可以大幅度提高读写速度;
- 部分插件支持失败恢复的功能,可以从失败的位置恢复任务,节约运行时间;失败恢复
- 关系数据库的Reader插件支持间隔轮询功能,可以持续不断的采集变化的数据;间隔轮询
- 部分数据库支持开启Kerberos安全认证;Kerberos
- 可以限制reader的读取速度,降低对业务数据库的影响;
- 可以记录writer插件写数据时产生的脏数据;
- 可以限制脏数据的最大数量;
- 支持多种运行模式;
FlinkX目前支持下面这些数据库:
Database Type | Reader | Writer | |
---|---|---|---|
Batch Synchronization | MySQL | doc | doc |
Oracle | doc | doc | |
SqlServer | doc | doc | |
PostgreSQL | doc | doc | |
DB2 | doc | doc | |
GBase | doc | doc | |
ClickHouse | doc | doc | |
PolarDB | doc | doc | |
SAP Hana | doc | doc | |
Teradata | doc | doc | |
Phoenix | doc | doc | |
达梦 | doc | doc | |
Cassandra | doc | doc | |
ODPS | doc | doc | |
HBase | doc | doc | |
MongoDB | doc | doc | |
Kudu | doc | doc | |
ElasticSearch | doc | doc | |
FTP | doc | doc | |
HDFS | doc | doc | |
Carbondata | doc | doc | |
Redis | doc | ||
Hive | doc | ||
Stream Synchronization | Kafka | doc | doc |
EMQX | doc | doc | |
MySQL Binlog | doc | ||
MongoDB Oplog | doc | ||
PostgreSQL WAL | doc |
详细见: