v-zhangjc9
|
b2969e3726
|
perf(database): 优化配置库建表语句
|
2024-05-16 11:55:29 +08:00 |
|
v-zhangjc9
|
2d836bb509
|
feat(command): 增加启动同步任务的并发数
|
2024-05-14 10:23:47 +08:00 |
|
v-zhangjc9
|
ce5c98b491
|
fix(configuration): 使用定长的线程池控制并发数量
|
2024-05-14 10:23:27 +08:00 |
|
v-zhangjc9
|
71b8d0684b
|
feat(web): 增加pulsar接收时间和压缩最后业务时间的展示
|
2024-05-14 09:40:03 +08:00 |
|
v-zhangjc9
|
fbbaa60dc5
|
fix(info-query): 修复通过优先级查询重点表可能会出错
|
2024-05-13 10:52:08 +08:00 |
|
v-zhangjc9
|
e5f945c74b
|
perf(executor-task): 减少数据流转
通过设置相同的并行度，让数据读取和数据过滤合并到一个算子里，避免大表base文件扫描失败
|
2024-05-13 08:44:40 +08:00 |
|
v-zhangjc9
|
80fae0be38
|
perf(executor-task): pulsar检索范围缩短到30分钟
后面可以优化为根据数据量来推测间隔
|
2024-05-12 17:42:22 +08:00 |
|
v-zhangjc9
|
a1e0b20e87
|
feat(executor-task): parquet文件读取增加选择列
指定列名可以提高检索速度，默认选择所有列
|
2024-05-12 17:41:09 +08:00 |
|
v-zhangjc9
|
b51176e5c2
|
feat(scheduler): 增加b12集群的资源限制上限
|
2024-05-10 17:28:54 +08:00 |
|
v-zhangjc9
|
835cc6729b
|
feat(command-pro): 增加一个命令行工具用于直接操作hadoop等组件
基于微服务的命令行适合日常产品化运维操作，但能够直接操作Hadoop等组件，便于开发测试使用，因此增加一个模块用于开发过程中测试使用
|
2024-05-10 16:22:49 +08:00 |
|
v-zhangjc9
|
d46cd5697c
|
feat(sync): 增加使用hflush的标记
|
2024-05-10 14:14:18 +08:00 |
|
v-zhangjc9
|
d457b5d2f6
|
feat(command): 增加升降级hoodie.properties配置文件的操作
|
2024-05-10 09:32:23 +08:00 |
|
v-zhangjc9
|
dad624037b
|
fix(command): 移除不知道为什么增加的睡眠1秒
|
2024-05-10 09:31:58 +08:00 |
|
v-zhangjc9
|
e35733a2d8
|
feat(api): 对于需要记录最后时间的字段使用比较方式更新
|
2024-05-09 18:22:42 +08:00 |
|
v-zhangjc9
|
bfdc5743ab
|
feat(scheduler): 调整b12资源限制
|
2024-05-09 18:12:51 +08:00 |
|
v-zhangjc9
|
def035fa90
|
perf(api): 优化api指标存储和传输
统一命名格式，减少不必要的时间字段传输，统一字段命名，减少默认值的传输
|
2024-05-09 18:12:25 +08:00 |
|
v-zhangjc9
|
7fb5710cb3
|
feat(all): 升级依赖版本
spring cloud升级到2.x的最后一个小版本，其余依赖配合升级
|
2024-05-09 11:05:10 +08:00 |
|
v-zhangjc9
|
0bf3d17009
|
feat(sync): 增加pulsar消息最后接收时间
用于判断pulsar有多久没有传入消息了
|
2024-05-09 09:03:00 +08:00 |
|
v-zhangjc9
|
103bde5cdc
|
perf(scheduler): 优化批量压缩调度接口
|
2024-05-08 18:35:26 +08:00 |
|
v-zhangjc9
|
7f884a5554
|
feat(web): 表详情增加直接查看hdfs目录的入口
|
2024-05-08 14:43:20 +08:00 |
|
v-zhangjc9
|
23ced7a2e1
|
fix(api): 修复latest_op_ts无法记录
mysql的greatest函数，null永远是最大值
|
2024-05-08 14:17:22 +08:00 |
|
v-zhangjc9
|
10fae04007
|
fix(hudi-query): 修复写hdfs文件内容取值错误
|
2024-05-08 14:15:01 +08:00 |
|
v-zhangjc9
|
b2e3a58d27
|
feat(hudi-query): 新增写hdfs文件接口
|
2024-05-08 10:02:33 +08:00 |
|
v-zhangjc9
|
5c9089419f
|
feat(sync): 增加latest_op_ts输出能力
|
2024-05-07 17:37:01 +08:00 |
|
v-zhangjc9
|
9967d1258f
|
feat(cli): 增加jar包hash展示方便比对
|
2024-05-07 09:53:48 +08:00 |
|
v-zhangjc9
|
5add0d5d25
|
feat(scheduler): 调整b12资源使用上限
|
2024-05-06 15:17:43 +08:00 |
|
v-zhangjc9
|
240cef07c4
|
refactor(pulsar-query): 使backlog返回默认值-1 方便后续处理
|
2024-05-06 15:16:48 +08:00 |
|
v-zhangjc9
|
f151374afd
|
feat(monitor): 增加处理线程 输出错误日志
|
2024-05-06 15:16:00 +08:00 |
|
v-zhangjc9
|
864df40f34
|
feat(forest): 增加基本类型转换
forest使用强制类型转换来处理基本类型，但和意图不符合，如-1无法被强转为long类型，所以覆盖原本的类型转换，使用Java包装类提供的字符串转换
|
2024-05-06 15:15:05 +08:00 |
|
v-zhangjc9
|
69b5ab558e
|
fix(executor): 简化三方依赖引用
|
2024-04-30 18:29:50 +08:00 |
|
v-zhangjc9
|
e894c58d7b
|
feat(info-query): 增加更新pulsar backlog数据的接口
|
2024-04-30 18:28:52 +08:00 |
|
v-zhangjc9
|
d88fb7f1e9
|
refactor(sync): 扩大日志范围
|
2024-04-30 14:45:22 +08:00 |
|
v-zhangjc9
|
4e1a6be17f
|
fix(executor): 修复配置路径错误和注解错误导致victoria metrics指标输出初始化错误
|
2024-04-30 14:44:52 +08:00 |
|
v-zhangjc9
|
97e1f86465
|
fix(launcher): 规范指标名称 使用timer规范时间指标的输出
|
2024-04-30 10:15:43 +08:00 |
|
v-zhangjc9
|
b36311863c
|
fix(executpr): 修复报名错误导致flink指标无法输出
|
2024-04-30 10:15:06 +08:00 |
|
v-zhangjc9
|
ed06992b51
|
fix(sync): 修复包名错误导致日志没有打印
|
2024-04-30 10:14:11 +08:00 |
|
v-zhangjc9
|
2ef8dbd00a
|
feat(api): latest_op_ts按较大值更新到数据库
|
2024-04-29 16:59:13 +08:00 |
|
v-zhangjc9
|
6167a94fcf
|
feat(api): 增加压缩参数记录
|
2024-04-29 15:31:44 +08:00 |
|
v-zhangjc9
|
b30ce6d675
|
feat(launcher): 增加详细的压缩任务提交耗时指标
|
2024-04-29 15:07:53 +08:00 |
|
v-zhangjc9
|
5d3f0140f5
|
feat(hudi-query): 增加一个查询路径大小的接口
|
2024-04-29 14:41:35 +08:00 |
|
v-zhangjc9
|
0fa0a396ef
|
refactor(executor-task): 使用简单的twr写法
|
2024-04-29 14:33:35 +08:00 |
|
v-zhangjc9
|
c0b48ba2dd
|
fix(web): 修复非hudi-service管理的yarn任务也显示打开日志的按钮
|
2024-04-29 14:32:47 +08:00 |
|
v-zhangjc9
|
572a1dab9f
|
feat(web): 增加HDFS文件管理器
在页面直接查看HDFS文件和目录，还可以查看和下载
|
2024-04-28 16:28:48 +08:00 |
|
v-zhangjc9
|
9913943a27
|
feat(scheduler): 增加指定时间范围内在指定集群运行/不运行
|
2024-04-26 20:04:26 +08:00 |
|
v-zhangjc9
|
befb383bee
|
feat(web): 升级amis版本
|
2024-04-26 14:53:10 +08:00 |
|
v-zhangjc9
|
bfdfc05c65
|
feat(web): 增加服务个数显示
|
2024-04-26 14:20:51 +08:00 |
|
v-zhangjc9
|
d899556bfd
|
refactor(launcher): 增加Clear hodler时的日志
|
2024-04-26 11:53:04 +08:00 |
|
v-zhangjc9
|
e25b263843
|
fix(web): 修复配置错误导致web无法看到其他压缩集群的任务
|
2024-04-26 11:09:50 +08:00 |
|
v-zhangjc9
|
053a9222cd
|
feat(launcher): 增加单独指定集群进行手动压缩的接口
|
2024-04-26 10:16:11 +08:00 |
|
v-zhangjc9
|
1808c30786
|
feat(scheduler): 增加表可以不进行压缩调度但可以进行手动压缩
|
2024-04-25 18:23:39 +08:00 |
|