Commit Graph

26 Commits

Author SHA1 Message Date
v-zhangjc9
0bf3d17009 feat(sync): 增加pulsar消息最后接收时间
用于判断pulsar有多久没有传入消息了
2024-05-09 09:03:00 +08:00
v-zhangjc9
23ced7a2e1 fix(api): 修复latest_op_ts无法记录
mysql的greatest函数,null永远是最大值
2024-05-08 14:17:22 +08:00
v-zhangjc9
5c9089419f feat(sync): 增加latest_op_ts输出能力 2024-05-07 17:37:01 +08:00
v-zhangjc9
69b5ab558e fix(executor): 简化三方依赖引用 2024-04-30 18:29:50 +08:00
v-zhangjc9
d88fb7f1e9 refactor(sync): 扩大日志范围 2024-04-30 14:45:22 +08:00
v-zhangjc9
4e1a6be17f fix(executor): 修复配置路径错误和注解错误导致victoria metrics指标输出初始化错误 2024-04-30 14:44:52 +08:00
v-zhangjc9
b36311863c fix(executpr): 修复报名错误导致flink指标无法输出 2024-04-30 10:15:06 +08:00
v-zhangjc9
ed06992b51 fix(sync): 修复包名错误导致日志没有打印 2024-04-30 10:14:11 +08:00
v-zhangjc9
c740f50e08 perf(sync): 优化日志打印 2024-04-11 17:10:22 +08:00
v-zhangjc9
d84e223484 fix(sync): 优化错误信息打印 2024-03-27 09:09:36 +08:00
v-zhangjc9
11e2998a52 fix(sync): 修复错误信息没有吐出到控制台 2024-03-26 14:50:18 +08:00
v-zhangjc9
a002e2b796 refactor(sync): double precision类型映射改为double 2024-03-26 11:16:02 +08:00
v-zhangjc9
0608fa8344 fix(sync): 修复字段判断空值时类型转换错误
把字段值统一当作string处理,但hudi特有字段不是字符串,类型强转失败
2024-03-20 12:10:10 +08:00
v-zhangjc9
d63ceb023e fix(sync): 修复GlobalConfiguration参数不全 2024-03-19 15:49:43 +08:00
v-zhangjc9
5771ec238b feat(configuration): 增加signature标志 用于区分不同的服务群
比如生产环境和测试环境需要订阅同一个pulsar topic,同样的订阅名称会产生冲突,需要从集群层面避免冲突,所以增加了一个「签名(signature)」在需要的地方可以用于识别不同的两个集群
2024-03-19 14:30:17 +08:00
v-zhangjc9
a6845675d1 fix(sync): 修复decimal字段类型重名 2024-03-15 15:10:07 +08:00
v-zhangjc9
9124b92838 fix(executor): 修复依赖错误 2024-03-07 14:45:03 +08:00
d4e161459a feat(monitor): 增加指标输出模块
一些外部指标查询通过指标输出模块输出,避免对原业务模块产生影响
2024-03-05 15:16:53 +08:00
00257add00 feat(sync): 增加int unsigned类型转换为long 2024-03-05 15:16:53 +08:00
637f290cd2 fix(sync): 修复空字符串导致消息基本类型解析失败 2024-03-05 15:16:53 +08:00
6a0bbf3344 fix(sync): 修复decimal字段为空时抛出异常 使用返回null替代 2024-03-05 15:16:53 +08:00
396bc01f94 feat(sync): 字段类型不存在不抛出异常 默认使用String 2024-03-05 15:16:53 +08:00
299d8d5e23 fix(sync): 修复decimal类型名称重复导致schema解析报错
Schema中的类型名称不能重复,比如有一个decimal_15如果后面的字段再出现同样的类型名称,就会报错
2024-03-05 15:16:52 +08:00
61601e3e80 fix(sync): 优化依赖 2024-03-05 15:16:52 +08:00
c8126684a1 feat(executor): 增加juice-fs依赖 2024-03-05 15:16:52 +08:00
5a2e9fdfb8 feat(all): 迁移common、sync、executor项目 2024-03-05 15:16:52 +08:00