请问ETL不是实时的，有什么更好的方式吗

19980720 · 发表于 2023-11-3 08:45

背景：现在公司有很多网站，是不同厂家做的，数据库是Mysql或者Oracle，现在想做一个集成网站，数据放在网站里面，现在要写一个具体实施方案。
问题：请问想要做一个中间库，用来实时接收之前网站中数据库内的数据，进行数据展示，了解ETL后发现不是实时传递的，有什么实时方式吗。
谢谢老哥们。

打酱油的笨小孩 · 发表于 2023-11-3 08:56

如果你的服务器性能很好，可以做成实时把数据传递到中间库

4899 · 发表于 2023-11-3 09:01

可以给需要同步的表增加触发器，内容新增或者改变的时候执行，把新数据插入中间库中。 oracle访问其它数据库要先建立dlink，mysql没用过。

mycream · 发表于 2023-11-3 09:13

Oracle 使用 OGG，这个支持异构数据库的。且 OGG 是基于 LOG 日志做同步的，不影响主服务器性能。
我现在的环境就是，OGG获取数据库变动信息，推送到中转服务器（减小生产机的压力），中转服务器向 kafka 推送变更信息。消费端再向kafka获取需要的数据。
若不使用 kafka，可直接落地数据库。ogg 本身支持 mysql/db2/sysbase 等老牌数据库的，而 kafka 可以向 hadoop 兼容。

宁采成 · 发表于 2023-11-3 10:15

存储过程也可以

Maps0602 · 发表于 2023-11-3 10:16

spark硬干

Js_Aaron · 发表于 2023-11-3 10:27

flink，这个比较成熟

sai609 · 发表于 2023-11-3 10:42

先离线存储，再根据需要调用

ygh0309 · 发表于 2023-11-3 11:31

建议采用
informatica pwc和pwx 可以实时同步数据

njbb888 · 发表于 2023-11-3 11:32

apache flink cdc 或者 apache seatunel

帐号		自动登录	找回密码
密码			注册[Register]

[讨论] 请问ETL不是实时的，有什么更好的方式吗