VR视角
VR视角
你的位置:VR视角 > 校园春色 > 高中性爱 Apahce情势先容-一站式数据同步交换器用SeaTunnel保举度5个星

高中性爱 Apahce情势先容-一站式数据同步交换器用SeaTunnel保举度5个星

发布日期:2024-07-28 23:07    点击次数:98

高中性爱 Apahce情势先容-一站式数据同步交换器用SeaTunnel保举度5个星

SeaTunnel高中性爱

特质

营救多种数据源,这个就没啥说的了,标配.

营救及时数据同步! 比如MySQL插入了1条数据不错随即就感知到.是通过监听数据库的日记信息. 这点就比DataX好了不少,DataX是阿里云的开源版,阉割了及时的同步的功能!况兼及时和离线树立文献齐差未几,大大缩小了使命量.

高性能,不错营救单机模式,更不错跑在spark,flink上自然和大数据集成. DataX只可单机.

营救离线全量,离线增量,CDC也便是监听数据库日记,及时同步.

有界面! 很大批据集成的器用齐莫得界面, SeaTunnel 有界面,不错责罚任务,不错及时搜检条数,大小,QPS等信息.

营救插件修复.

99bt工厂地址

营救散布式快照,来保证数据一致性.

营救天真参数, 假定你是天表, 那么就不需要每天写一个树立文献,也无须每天我方用shell树立,径直营救敕令行初始的时间传入参数

架构

不错看到基本架构念念路是相通的 树立源树立筹谋地 .

精美套图

SeaTunnel 架构

树立文献

SeaTunnel树立

亦然一口同声

界说source 界说 sink ,中间不错界说调遣

愈加给力的是便是调遣了

有FieldMapper 字段映射

有JsonPath 用来读取json凭据jsonpath映射

部署方式

1,土产货部署

2,集群部署

出产最好持行便是集群部署,然后使用客户端提交任务.

瞩目这里土产货部署照旧集群部署 齐仅仅责罚端高中性爱, 单个的任务是孤苦跑在土产货卤莽当作flink,spark行为跑在关于的flink集群卤莽spark集群上.