v-zhangjc9
|
9a6ed7e700
|
fix(command): 修复doubleCheck的奇怪错误
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
29240a2990
|
fix(configuration): 修复actuator默认开启endpoints导致可以被外部获取程序和系统信息
|
2024-06-04 10:12:33 +08:00 |
|
v-zhangjc9
|
e2dc42e7dd
|
fix(info-query): 修复Clean Service无法构建
|
2024-06-01 01:42:23 +08:00 |
|
v-zhangjc9
|
dcf92a809f
|
feat(executor-task): 尝试优化pulsar的读取
|
2024-05-29 08:52:44 +08:00 |
|
v-zhangjc9
|
deae4fd294
|
feat(executor-task): 增加一个mini hudi的功能
从pulsar到hdfs落盘
|
2024-05-28 18:16:09 +08:00 |
|
v-zhangjc9
|
095347cd1a
|
fix(hudi-query): 修复获取待压缩列表会拖慢性能
|
2024-05-28 11:52:42 +08:00 |
|
v-zhangjc9
|
9a1afbcceb
|
fix(hudi-query): 修复时间线compaction操作完成状态无法识别
|
2024-05-28 11:00:30 +08:00 |
|
v-zhangjc9
|
e257044ff6
|
fix(bin): 修复ytp上传后没有清理jar包
|
2024-05-27 16:39:17 +08:00 |
|
v-zhangjc9
|
8f7689c187
|
fix(bin): 修复编译脚本
|
2024-05-27 14:58:21 +08:00 |
|
v-zhangjc9
|
1b75ccefd3
|
feat(command): 调整spring-shell版本
使用一个正式版
|
2024-05-27 00:14:53 +08:00 |
|
v-zhangjc9
|
a02ede8c7e
|
style(bin): 调整脚本命名
|
2024-05-26 23:46:43 +08:00 |
|
v-zhangjc9
|
bb745b6f82
|
feat(bin): 去掉本地仓库依赖
|
2024-05-26 23:43:55 +08:00 |
|
v-zhangjc9
|
67181e501e
|
feat(cli): 调整优化hudi launcher模块副本数
|
2024-05-23 17:08:41 +08:00 |
|
v-zhangjc9
|
960b020052
|
feat(monitor): 增加table_version表和compaction_metrics表的定时清理
|
2024-05-23 11:52:21 +08:00 |
|
v-zhangjc9
|
496b09d2de
|
feat(common): 移除没有使用的表
|
2024-05-23 11:50:59 +08:00 |
|
v-zhangjc9
|
5c80589ff6
|
feat(api): 增加原始压缩报告的保存
|
2024-05-23 10:58:19 +08:00 |
|
v-zhangjc9
|
bff18280f3
|
perf(hudi-query): 优化hudi时间线的扫描速度
|
2024-05-22 13:11:50 +08:00 |
|
v-zhangjc9
|
2b7b7f838c
|
feat(scheduler): 暂停b5的压缩调度
|
2024-05-22 13:10:36 +08:00 |
|
v-zhangjc9
|
a4710845d7
|
perf(monitor): 优化pulsar backlog读取的压力
|
2024-05-22 13:08:50 +08:00 |
|
v-zhangjc9
|
69f1f2207a
|
fix(command): 补充hoodie.properties文件的升降级
|
2024-05-21 19:06:52 +08:00 |
|
v-zhangjc9
|
3ce40ef1af
|
perf(sync): 调整归档保留时间线数量
|
2024-05-21 19:04:57 +08:00 |
|
v-zhangjc9
|
e8eb7fab8a
|
perf(command): 增加启动同步任务的并发数
|
2024-05-21 19:03:59 +08:00 |
|
v-zhangjc9
|
9db8746496
|
feat(command): 增加手动调度全表压缩和重点表压缩
|
2024-05-21 19:03:01 +08:00 |
|
v-zhangjc9
|
617456b7d9
|
perf(pulsar-query): 使用缓存优化pulsar查询时候创建admin的时间
|
2024-05-21 14:35:29 +08:00 |
|
v-zhangjc9
|
ac7763c40f
|
fix(bin): 修复http上传脚本显示错误
|
2024-05-21 09:07:47 +08:00 |
|
v-zhangjc9
|
52b58426e4
|
feat(patch): 增加一个patch包用来放hudi相关代码
latest_op_ts相关的内容，直接放在业务包里，spark无法使用，单独打在patch包里，可以方便其他人加到spark jar里
|
2024-05-20 17:51:57 +08:00 |
|
v-zhangjc9
|
e8fe8c4680
|
feat(executor-task): 优化task的配置信息传递
|
2024-05-20 15:25:10 +08:00 |
|
v-zhangjc9
|
d94589cc63
|
feat(sync): Trace latest opts 的各个类迁移到hudi flink包下，避免影响业务查询使用
|
2024-05-20 15:23:40 +08:00 |
|
v-zhangjc9
|
010ea83b5c
|
feat(sync): 加入是否使用HSync的配置项
|
2024-05-20 15:22:30 +08:00 |
|
v-zhangjc9
|
fd9f97d03b
|
fix(executor-manager): 日志改为动态配置
|
2024-05-17 18:05:01 +08:00 |
|
v-zhangjc9
|
f398b8cdc3
|
feat(executor-task): 使用Flink SQL查询表总数、业务最后操作时间
|
2024-05-17 17:32:36 +08:00 |
|
v-zhangjc9
|
592d27ad6f
|
feat(cli): 增加配置数据库信息到脚本里
|
2024-05-16 16:37:23 +08:00 |
|
v-zhangjc9
|
d42c2c2bbe
|
fix(database): 补充字段
|
2024-05-16 15:39:47 +08:00 |
|
v-zhangjc9
|
ceec7bf36f
|
fix(database): 增加sql分号方便使用
|
2024-05-16 14:57:08 +08:00 |
|
v-zhangjc9
|
486b9ec6b5
|
feat(database): 增加汇聚平台表信息表sql
|
2024-05-16 14:50:59 +08:00 |
|
v-zhangjc9
|
20e3fdae87
|
feat(cli): 增加check模块的脚本生生成
|
2024-05-16 12:22:16 +08:00 |
|
v-zhangjc9
|
9915da5018
|
refactor(common): 移除无用的注释代码
|
2024-05-16 11:56:51 +08:00 |
|
v-zhangjc9
|
b2969e3726
|
perf(database): 优化配置库建表语句
|
2024-05-16 11:55:29 +08:00 |
|
v-zhangjc9
|
2d836bb509
|
feat(command): 增加启动同步任务的并发数
|
2024-05-14 10:23:47 +08:00 |
|
v-zhangjc9
|
ce5c98b491
|
fix(configuration): 使用定长的线程池控制并发数量
|
2024-05-14 10:23:27 +08:00 |
|
v-zhangjc9
|
71b8d0684b
|
feat(web): 增加pulsar接收时间和压缩最后业务时间的展示
|
2024-05-14 09:40:03 +08:00 |
|
v-zhangjc9
|
fbbaa60dc5
|
fix(info-query): 修复通过优先级查询重点表可能会出错
|
2024-05-13 10:52:08 +08:00 |
|
v-zhangjc9
|
e5f945c74b
|
perf(executor-task): 减少数据流转
通过设置相同的并行度，让数据读取和数据过滤合并到一个算子里，避免大表base文件扫描失败
|
2024-05-13 08:44:40 +08:00 |
|
v-zhangjc9
|
80fae0be38
|
perf(executor-task): pulsar检索范围缩短到30分钟
后面可以优化为根据数据量来推测间隔
|
2024-05-12 17:42:22 +08:00 |
|
v-zhangjc9
|
a1e0b20e87
|
feat(executor-task): parquet文件读取增加选择列
指定列名可以提高检索速度，默认选择所有列
|
2024-05-12 17:41:09 +08:00 |
|
v-zhangjc9
|
b51176e5c2
|
feat(scheduler): 增加b12集群的资源限制上限
|
2024-05-10 17:28:54 +08:00 |
|
v-zhangjc9
|
835cc6729b
|
feat(command-pro): 增加一个命令行工具用于直接操作hadoop等组件
基于微服务的命令行适合日常产品化运维操作，但能够直接操作Hadoop等组件，便于开发测试使用，因此增加一个模块用于开发过程中测试使用
|
2024-05-10 16:22:49 +08:00 |
|
v-zhangjc9
|
d46cd5697c
|
feat(sync): 增加使用hflush的标记
|
2024-05-10 14:14:18 +08:00 |
|
v-zhangjc9
|
d457b5d2f6
|
feat(command): 增加升降级hoodie.properties配置文件的操作
|
2024-05-10 09:32:23 +08:00 |
|
v-zhangjc9
|
dad624037b
|
fix(command): 移除不知道为什么增加的睡眠1秒
|
2024-05-10 09:31:58 +08:00 |
|