v-zhangjc9
|
aaa243d626
|
feat(info-query): 使用tags来区分重点表与否
|
2024-07-10 16:22:27 +08:00 |
|
v-zhangjc9
|
6c9f43d310
|
feat(common): Record消息结构更新
新增info字段用于存一些公共字段，statement加入消息加密能力
|
2024-07-09 15:36:10 +08:00 |
|
v-zhangjc9
|
ae6e4855e0
|
feat(scheduler): 增加CRM重点表的独占调度
2-6点CRM重点表独占a4集群
|
2024-07-08 17:46:21 +08:00 |
|
v-zhangjc9
|
d99e5b261b
|
feat(info-query): 增加单表跨天查询
|
2024-07-05 11:38:42 +08:00 |
|
v-zhangjc9
|
db38686957
|
build(all): 完成任务提交KPI
|
2024-06-28 09:37:48 +08:00 |
|
v-zhangjc9
|
2be10d8437
|
revert(sync): 使用checkpoint lock报障message id上报的时候状态稳定
会导致部分hudi表checkpoint时间超长
This reverts commit f0a6dbbb
|
2024-06-17 18:53:35 +08:00 |
|
v-zhangjc9
|
7f10d53c4e
|
feat(sync): 增加checkpoint的日志记录
|
2024-06-17 18:49:43 +08:00 |
|
v-zhangjc9
|
b787a4f393
|
feat(scheduler): 增加crm重点表的4 5点调度
|
2024-06-17 18:49:24 +08:00 |
|
v-zhangjc9
|
4ffcfe3ab5
|
fix(sync): 修复null字符串=null的识别
|
2024-06-17 18:48:49 +08:00 |
|
v-zhangjc9
|
ef983f9eb7
|
feat(service-command-pro): 添加Pulsar命令行工具
|
2024-06-13 16:27:17 +08:00 |
|
v-zhangjc9
|
5bad6b6e1e
|
fix(sync): 优化TypeConverterV2的空值判断逻辑
|
2024-06-13 16:26:44 +08:00 |
|
v-zhangjc9
|
1f9b7fbd08
|
refactor(sync): 移除自制的指标推送工具 接入flink的指标体系
|
2024-06-12 15:16:32 +08:00 |
|
v-zhangjc9
|
bc744e0fd2
|
test(sync): 增加检查数据解析测试的案例
|
2024-06-07 14:47:39 +08:00 |
|
v-zhangjc9
|
f0a6dbbbb5
|
feat(sync): 使用checkpoint lock报障message id上报的时候状态稳定
|
2024-06-05 17:37:32 +08:00 |
|
v-zhangjc9
|
0b4cec3955
|
feat(executor-task): 完成动态调整的pulsar扫描
对于pulsar在时间段上资源分配不均，通过pulsar reader中重新分配split解决，保证整个读取的流程中都能尽可能利用多线程的优势
|
2024-06-05 17:37:04 +08:00 |
|
v-zhangjc9
|
4c528bca61
|
refactor(monitor): 表数据清理交给运维同事统一处理
|
2024-06-04 22:58:16 +08:00 |
|
v-zhangjc9
|
f4c7f9954b
|
fix(api): 移除metadata原始数据存储，提高数据库效率
|
2024-06-04 22:58:16 +08:00 |
|
v-zhangjc9
|
24e4672dc3
|
feat(scheduler): 使用简化的table_meta加速查询
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
6f2fce4359
|
feat(executor-manager): 增加表数据查询10条采样任务
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
8aba2475be
|
fix(executor-task): 修复sql语句查询到null字段导致数组越界错误
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
1f6f5c270a
|
feat(patch): 适配删除记录latest_op_ts的改动
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
7e4d50d7f3
|
fix(bin): sync模块编译前置patch模块
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
7a21159ac6
|
feat(executor-task): 增加Hudi数据校验任务
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
633db5512d
|
refactor(executor-task): 恢复pulsar读取策略
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
9a6ed7e700
|
fix(command): 修复doubleCheck的奇怪错误
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
29240a2990
|
fix(configuration): 修复actuator默认开启endpoints导致可以被外部获取程序和系统信息
|
2024-06-04 10:12:33 +08:00 |
|
v-zhangjc9
|
e2dc42e7dd
|
fix(info-query): 修复Clean Service无法构建
|
2024-06-01 01:42:23 +08:00 |
|
v-zhangjc9
|
dcf92a809f
|
feat(executor-task): 尝试优化pulsar的读取
|
2024-05-29 08:52:44 +08:00 |
|
v-zhangjc9
|
deae4fd294
|
feat(executor-task): 增加一个mini hudi的功能
从pulsar到hdfs落盘
|
2024-05-28 18:16:09 +08:00 |
|
v-zhangjc9
|
095347cd1a
|
fix(hudi-query): 修复获取待压缩列表会拖慢性能
|
2024-05-28 11:52:42 +08:00 |
|
v-zhangjc9
|
9a1afbcceb
|
fix(hudi-query): 修复时间线compaction操作完成状态无法识别
|
2024-05-28 11:00:30 +08:00 |
|
v-zhangjc9
|
e257044ff6
|
fix(bin): 修复ytp上传后没有清理jar包
|
2024-05-27 16:39:17 +08:00 |
|
v-zhangjc9
|
8f7689c187
|
fix(bin): 修复编译脚本
|
2024-05-27 14:58:21 +08:00 |
|
v-zhangjc9
|
1b75ccefd3
|
feat(command): 调整spring-shell版本
使用一个正式版
|
2024-05-27 00:14:53 +08:00 |
|
v-zhangjc9
|
a02ede8c7e
|
style(bin): 调整脚本命名
|
2024-05-26 23:46:43 +08:00 |
|
v-zhangjc9
|
bb745b6f82
|
feat(bin): 去掉本地仓库依赖
|
2024-05-26 23:43:55 +08:00 |
|
v-zhangjc9
|
67181e501e
|
feat(cli): 调整优化hudi launcher模块副本数
|
2024-05-23 17:08:41 +08:00 |
|
v-zhangjc9
|
960b020052
|
feat(monitor): 增加table_version表和compaction_metrics表的定时清理
|
2024-05-23 11:52:21 +08:00 |
|
v-zhangjc9
|
496b09d2de
|
feat(common): 移除没有使用的表
|
2024-05-23 11:50:59 +08:00 |
|
v-zhangjc9
|
5c80589ff6
|
feat(api): 增加原始压缩报告的保存
|
2024-05-23 10:58:19 +08:00 |
|
v-zhangjc9
|
bff18280f3
|
perf(hudi-query): 优化hudi时间线的扫描速度
|
2024-05-22 13:11:50 +08:00 |
|
v-zhangjc9
|
2b7b7f838c
|
feat(scheduler): 暂停b5的压缩调度
|
2024-05-22 13:10:36 +08:00 |
|
v-zhangjc9
|
a4710845d7
|
perf(monitor): 优化pulsar backlog读取的压力
|
2024-05-22 13:08:50 +08:00 |
|
v-zhangjc9
|
69f1f2207a
|
fix(command): 补充hoodie.properties文件的升降级
|
2024-05-21 19:06:52 +08:00 |
|
v-zhangjc9
|
3ce40ef1af
|
perf(sync): 调整归档保留时间线数量
|
2024-05-21 19:04:57 +08:00 |
|
v-zhangjc9
|
e8eb7fab8a
|
perf(command): 增加启动同步任务的并发数
|
2024-05-21 19:03:59 +08:00 |
|
v-zhangjc9
|
9db8746496
|
feat(command): 增加手动调度全表压缩和重点表压缩
|
2024-05-21 19:03:01 +08:00 |
|
v-zhangjc9
|
617456b7d9
|
perf(pulsar-query): 使用缓存优化pulsar查询时候创建admin的时间
|
2024-05-21 14:35:29 +08:00 |
|
v-zhangjc9
|
ac7763c40f
|
fix(bin): 修复http上传脚本显示错误
|
2024-05-21 09:07:47 +08:00 |
|
v-zhangjc9
|
52b58426e4
|
feat(patch): 增加一个patch包用来放hudi相关代码
latest_op_ts相关的内容，直接放在业务包里，spark无法使用，单独打在patch包里，可以方便其他人加到spark jar里
|
2024-05-20 17:51:57 +08:00 |
|