v-zhangjc9
|
5bad6b6e1e
|
fix(sync): 优化TypeConverterV2的空值判断逻辑
|
2024-06-13 16:26:44 +08:00 |
|
v-zhangjc9
|
1f9b7fbd08
|
refactor(sync): 移除自制的指标推送工具 接入flink的指标体系
|
2024-06-12 15:16:32 +08:00 |
|
v-zhangjc9
|
bc744e0fd2
|
test(sync): 增加检查数据解析测试的案例
|
2024-06-07 14:47:39 +08:00 |
|
v-zhangjc9
|
f0a6dbbbb5
|
feat(sync): 使用checkpoint lock报障message id上报的时候状态稳定
|
2024-06-05 17:37:32 +08:00 |
|
v-zhangjc9
|
1f6f5c270a
|
feat(patch): 适配删除记录latest_op_ts的改动
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
deae4fd294
|
feat(executor-task): 增加一个mini hudi的功能
从pulsar到hdfs落盘
|
2024-05-28 18:16:09 +08:00 |
|
v-zhangjc9
|
3ce40ef1af
|
perf(sync): 调整归档保留时间线数量
|
2024-05-21 19:04:57 +08:00 |
|
v-zhangjc9
|
52b58426e4
|
feat(patch): 增加一个patch包用来放hudi相关代码
latest_op_ts相关的内容，直接放在业务包里，spark无法使用，单独打在patch包里，可以方便其他人加到spark jar里
|
2024-05-20 17:51:57 +08:00 |
|
v-zhangjc9
|
d94589cc63
|
feat(sync): Trace latest opts 的各个类迁移到hudi flink包下，避免影响业务查询使用
|
2024-05-20 15:23:40 +08:00 |
|
v-zhangjc9
|
010ea83b5c
|
feat(sync): 加入是否使用HSync的配置项
|
2024-05-20 15:22:30 +08:00 |
|
v-zhangjc9
|
835cc6729b
|
feat(command-pro): 增加一个命令行工具用于直接操作hadoop等组件
基于微服务的命令行适合日常产品化运维操作，但能够直接操作Hadoop等组件，便于开发测试使用，因此增加一个模块用于开发过程中测试使用
|
2024-05-10 16:22:49 +08:00 |
|
v-zhangjc9
|
d46cd5697c
|
feat(sync): 增加使用hflush的标记
|
2024-05-10 14:14:18 +08:00 |
|
v-zhangjc9
|
def035fa90
|
perf(api): 优化api指标存储和传输
统一命名格式，减少不必要的时间字段传输，统一字段命名，减少默认值的传输
|
2024-05-09 18:12:25 +08:00 |
|
v-zhangjc9
|
7fb5710cb3
|
feat(all): 升级依赖版本
spring cloud升级到2.x的最后一个小版本，其余依赖配合升级
|
2024-05-09 11:05:10 +08:00 |
|
v-zhangjc9
|
0bf3d17009
|
feat(sync): 增加pulsar消息最后接收时间
用于判断pulsar有多久没有传入消息了
|
2024-05-09 09:03:00 +08:00 |
|
v-zhangjc9
|
23ced7a2e1
|
fix(api): 修复latest_op_ts无法记录
mysql的greatest函数，null永远是最大值
|
2024-05-08 14:17:22 +08:00 |
|
v-zhangjc9
|
5c9089419f
|
feat(sync): 增加latest_op_ts输出能力
|
2024-05-07 17:37:01 +08:00 |
|
v-zhangjc9
|
69b5ab558e
|
fix(executor): 简化三方依赖引用
|
2024-04-30 18:29:50 +08:00 |
|
v-zhangjc9
|
d88fb7f1e9
|
refactor(sync): 扩大日志范围
|
2024-04-30 14:45:22 +08:00 |
|
v-zhangjc9
|
4e1a6be17f
|
fix(executor): 修复配置路径错误和注解错误导致victoria metrics指标输出初始化错误
|
2024-04-30 14:44:52 +08:00 |
|
v-zhangjc9
|
b36311863c
|
fix(executpr): 修复报名错误导致flink指标无法输出
|
2024-04-30 10:15:06 +08:00 |
|
v-zhangjc9
|
ed06992b51
|
fix(sync): 修复包名错误导致日志没有打印
|
2024-04-30 10:14:11 +08:00 |
|
v-zhangjc9
|
c740f50e08
|
perf(sync): 优化日志打印
|
2024-04-11 17:10:22 +08:00 |
|
v-zhangjc9
|
d84e223484
|
fix(sync): 优化错误信息打印
|
2024-03-27 09:09:36 +08:00 |
|
v-zhangjc9
|
11e2998a52
|
fix(sync): 修复错误信息没有吐出到控制台
|
2024-03-26 14:50:18 +08:00 |
|
v-zhangjc9
|
a002e2b796
|
refactor(sync): double precision类型映射改为double
|
2024-03-26 11:16:02 +08:00 |
|
v-zhangjc9
|
0608fa8344
|
fix(sync): 修复字段判断空值时类型转换错误
把字段值统一当作string处理，但hudi特有字段不是字符串，类型强转失败
|
2024-03-20 12:10:10 +08:00 |
|
v-zhangjc9
|
d63ceb023e
|
fix(sync): 修复GlobalConfiguration参数不全
|
2024-03-19 15:49:43 +08:00 |
|
v-zhangjc9
|
5771ec238b
|
feat(configuration): 增加signature标志 用于区分不同的服务群
比如生产环境和测试环境需要订阅同一个pulsar topic，同样的订阅名称会产生冲突，需要从集群层面避免冲突，所以增加了一个「签名（signature）」在需要的地方可以用于识别不同的两个集群
|
2024-03-19 14:30:17 +08:00 |
|
v-zhangjc9
|
a6845675d1
|
fix(sync): 修复decimal字段类型重名
|
2024-03-15 15:10:07 +08:00 |
|
v-zhangjc9
|
9124b92838
|
fix(executor): 修复依赖错误
|
2024-03-07 14:45:03 +08:00 |
|
|
|
d4e161459a
|
feat(monitor): 增加指标输出模块
一些外部指标查询通过指标输出模块输出，避免对原业务模块产生影响
|
2024-03-05 15:16:53 +08:00 |
|
|
|
00257add00
|
feat(sync): 增加int unsigned类型转换为long
|
2024-03-05 15:16:53 +08:00 |
|
|
|
637f290cd2
|
fix(sync): 修复空字符串导致消息基本类型解析失败
|
2024-03-05 15:16:53 +08:00 |
|
|
|
6a0bbf3344
|
fix(sync): 修复decimal字段为空时抛出异常 使用返回null替代
|
2024-03-05 15:16:53 +08:00 |
|
|
|
396bc01f94
|
feat(sync): 字段类型不存在不抛出异常 默认使用String
|
2024-03-05 15:16:53 +08:00 |
|
|
|
299d8d5e23
|
fix(sync): 修复decimal类型名称重复导致schema解析报错
Schema中的类型名称不能重复，比如有一个decimal_15如果后面的字段再出现同样的类型名称，就会报错
|
2024-03-05 15:16:52 +08:00 |
|
|
|
61601e3e80
|
fix(sync): 优化依赖
|
2024-03-05 15:16:52 +08:00 |
|
|
|
c8126684a1
|
feat(executor): 增加juice-fs依赖
|
2024-03-05 15:16:52 +08:00 |
|
|
|
5a2e9fdfb8
|
feat(all): 迁移common、sync、executor项目
|
2024-03-05 15:16:52 +08:00 |
|
