v-zhangjc9
|
1f9b7fbd08
|
refactor(sync): 移除自制的指标推送工具 接入flink的指标体系
|
2024-06-12 15:16:32 +08:00 |
|
v-zhangjc9
|
bc744e0fd2
|
test(sync): 增加检查数据解析测试的案例
|
2024-06-07 14:47:39 +08:00 |
|
v-zhangjc9
|
f0a6dbbbb5
|
feat(sync): 使用checkpoint lock报障message id上报的时候状态稳定
|
2024-06-05 17:37:32 +08:00 |
|
v-zhangjc9
|
0b4cec3955
|
feat(executor-task): 完成动态调整的pulsar扫描
对于pulsar在时间段上资源分配不均，通过pulsar reader中重新分配split解决，保证整个读取的流程中都能尽可能利用多线程的优势
|
2024-06-05 17:37:04 +08:00 |
|
v-zhangjc9
|
4c528bca61
|
refactor(monitor): 表数据清理交给运维同事统一处理
|
2024-06-04 22:58:16 +08:00 |
|
v-zhangjc9
|
f4c7f9954b
|
fix(api): 移除metadata原始数据存储，提高数据库效率
|
2024-06-04 22:58:16 +08:00 |
|
v-zhangjc9
|
24e4672dc3
|
feat(scheduler): 使用简化的table_meta加速查询
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
6f2fce4359
|
feat(executor-manager): 增加表数据查询10条采样任务
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
8aba2475be
|
fix(executor-task): 修复sql语句查询到null字段导致数组越界错误
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
1f6f5c270a
|
feat(patch): 适配删除记录latest_op_ts的改动
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
7e4d50d7f3
|
fix(bin): sync模块编译前置patch模块
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
7a21159ac6
|
feat(executor-task): 增加Hudi数据校验任务
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
633db5512d
|
refactor(executor-task): 恢复pulsar读取策略
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
9a6ed7e700
|
fix(command): 修复doubleCheck的奇怪错误
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
29240a2990
|
fix(configuration): 修复actuator默认开启endpoints导致可以被外部获取程序和系统信息
|
2024-06-04 10:12:33 +08:00 |
|
v-zhangjc9
|
e2dc42e7dd
|
fix(info-query): 修复Clean Service无法构建
|
2024-06-01 01:42:23 +08:00 |
|
v-zhangjc9
|
dcf92a809f
|
feat(executor-task): 尝试优化pulsar的读取
|
2024-05-29 08:52:44 +08:00 |
|
v-zhangjc9
|
deae4fd294
|
feat(executor-task): 增加一个mini hudi的功能
从pulsar到hdfs落盘
|
2024-05-28 18:16:09 +08:00 |
|
v-zhangjc9
|
095347cd1a
|
fix(hudi-query): 修复获取待压缩列表会拖慢性能
|
2024-05-28 11:52:42 +08:00 |
|
v-zhangjc9
|
9a1afbcceb
|
fix(hudi-query): 修复时间线compaction操作完成状态无法识别
|
2024-05-28 11:00:30 +08:00 |
|
v-zhangjc9
|
e257044ff6
|
fix(bin): 修复ytp上传后没有清理jar包
|
2024-05-27 16:39:17 +08:00 |
|
v-zhangjc9
|
8f7689c187
|
fix(bin): 修复编译脚本
|
2024-05-27 14:58:21 +08:00 |
|
v-zhangjc9
|
1b75ccefd3
|
feat(command): 调整spring-shell版本
使用一个正式版
|
2024-05-27 00:14:53 +08:00 |
|
v-zhangjc9
|
a02ede8c7e
|
style(bin): 调整脚本命名
|
2024-05-26 23:46:43 +08:00 |
|
v-zhangjc9
|
bb745b6f82
|
feat(bin): 去掉本地仓库依赖
|
2024-05-26 23:43:55 +08:00 |
|
v-zhangjc9
|
67181e501e
|
feat(cli): 调整优化hudi launcher模块副本数
|
2024-05-23 17:08:41 +08:00 |
|
v-zhangjc9
|
960b020052
|
feat(monitor): 增加table_version表和compaction_metrics表的定时清理
|
2024-05-23 11:52:21 +08:00 |
|
v-zhangjc9
|
496b09d2de
|
feat(common): 移除没有使用的表
|
2024-05-23 11:50:59 +08:00 |
|
v-zhangjc9
|
5c80589ff6
|
feat(api): 增加原始压缩报告的保存
|
2024-05-23 10:58:19 +08:00 |
|
v-zhangjc9
|
bff18280f3
|
perf(hudi-query): 优化hudi时间线的扫描速度
|
2024-05-22 13:11:50 +08:00 |
|
v-zhangjc9
|
2b7b7f838c
|
feat(scheduler): 暂停b5的压缩调度
|
2024-05-22 13:10:36 +08:00 |
|
v-zhangjc9
|
a4710845d7
|
perf(monitor): 优化pulsar backlog读取的压力
|
2024-05-22 13:08:50 +08:00 |
|
v-zhangjc9
|
69f1f2207a
|
fix(command): 补充hoodie.properties文件的升降级
|
2024-05-21 19:06:52 +08:00 |
|
v-zhangjc9
|
3ce40ef1af
|
perf(sync): 调整归档保留时间线数量
|
2024-05-21 19:04:57 +08:00 |
|
v-zhangjc9
|
e8eb7fab8a
|
perf(command): 增加启动同步任务的并发数
|
2024-05-21 19:03:59 +08:00 |
|
v-zhangjc9
|
9db8746496
|
feat(command): 增加手动调度全表压缩和重点表压缩
|
2024-05-21 19:03:01 +08:00 |
|
v-zhangjc9
|
617456b7d9
|
perf(pulsar-query): 使用缓存优化pulsar查询时候创建admin的时间
|
2024-05-21 14:35:29 +08:00 |
|
v-zhangjc9
|
ac7763c40f
|
fix(bin): 修复http上传脚本显示错误
|
2024-05-21 09:07:47 +08:00 |
|
v-zhangjc9
|
52b58426e4
|
feat(patch): 增加一个patch包用来放hudi相关代码
latest_op_ts相关的内容，直接放在业务包里，spark无法使用，单独打在patch包里，可以方便其他人加到spark jar里
|
2024-05-20 17:51:57 +08:00 |
|
v-zhangjc9
|
e8fe8c4680
|
feat(executor-task): 优化task的配置信息传递
|
2024-05-20 15:25:10 +08:00 |
|
v-zhangjc9
|
d94589cc63
|
feat(sync): Trace latest opts 的各个类迁移到hudi flink包下，避免影响业务查询使用
|
2024-05-20 15:23:40 +08:00 |
|
v-zhangjc9
|
010ea83b5c
|
feat(sync): 加入是否使用HSync的配置项
|
2024-05-20 15:22:30 +08:00 |
|
v-zhangjc9
|
fd9f97d03b
|
fix(executor-manager): 日志改为动态配置
|
2024-05-17 18:05:01 +08:00 |
|
v-zhangjc9
|
f398b8cdc3
|
feat(executor-task): 使用Flink SQL查询表总数、业务最后操作时间
|
2024-05-17 17:32:36 +08:00 |
|
v-zhangjc9
|
592d27ad6f
|
feat(cli): 增加配置数据库信息到脚本里
|
2024-05-16 16:37:23 +08:00 |
|
v-zhangjc9
|
d42c2c2bbe
|
fix(database): 补充字段
|
2024-05-16 15:39:47 +08:00 |
|
v-zhangjc9
|
ceec7bf36f
|
fix(database): 增加sql分号方便使用
|
2024-05-16 14:57:08 +08:00 |
|
v-zhangjc9
|
486b9ec6b5
|
feat(database): 增加汇聚平台表信息表sql
|
2024-05-16 14:50:59 +08:00 |
|
v-zhangjc9
|
20e3fdae87
|
feat(cli): 增加check模块的脚本生生成
|
2024-05-16 12:22:16 +08:00 |
|
v-zhangjc9
|
9915da5018
|
refactor(common): 移除无用的注释代码
|
2024-05-16 11:56:51 +08:00 |
|