Commit Graph

540 Commits

Author SHA1 Message Date
v-zhangjc9
9967d1258f feat(cli): 增加jar包hash展示方便比对 2024-05-07 09:53:48 +08:00
v-zhangjc9
5add0d5d25 feat(scheduler): 调整b12资源使用上限 2024-05-06 15:17:43 +08:00
v-zhangjc9
240cef07c4 refactor(pulsar-query): 使backlog返回默认值-1 方便后续处理 2024-05-06 15:16:48 +08:00
v-zhangjc9
f151374afd feat(monitor): 增加处理线程 输出错误日志 2024-05-06 15:16:00 +08:00
v-zhangjc9
864df40f34 feat(forest): 增加基本类型转换
forest使用强制类型转换来处理基本类型,但和意图不符合,如-1无法被强转为long类型,所以覆盖原本的类型转换,使用Java包装类提供的字符串转换
2024-05-06 15:15:05 +08:00
v-zhangjc9
69b5ab558e fix(executor): 简化三方依赖引用 2024-04-30 18:29:50 +08:00
v-zhangjc9
e894c58d7b feat(info-query): 增加更新pulsar backlog数据的接口 2024-04-30 18:28:52 +08:00
v-zhangjc9
d88fb7f1e9 refactor(sync): 扩大日志范围 2024-04-30 14:45:22 +08:00
v-zhangjc9
4e1a6be17f fix(executor): 修复配置路径错误和注解错误导致victoria metrics指标输出初始化错误 2024-04-30 14:44:52 +08:00
v-zhangjc9
97e1f86465 fix(launcher): 规范指标名称 使用timer规范时间指标的输出 2024-04-30 10:15:43 +08:00
v-zhangjc9
b36311863c fix(executpr): 修复报名错误导致flink指标无法输出 2024-04-30 10:15:06 +08:00
v-zhangjc9
ed06992b51 fix(sync): 修复包名错误导致日志没有打印 2024-04-30 10:14:11 +08:00
v-zhangjc9
2ef8dbd00a feat(api): latest_op_ts按较大值更新到数据库 2024-04-29 16:59:13 +08:00
v-zhangjc9
6167a94fcf feat(api): 增加压缩参数记录 2024-04-29 15:31:44 +08:00
v-zhangjc9
b30ce6d675 feat(launcher): 增加详细的压缩任务提交耗时指标 2024-04-29 15:07:53 +08:00
v-zhangjc9
5d3f0140f5 feat(hudi-query): 增加一个查询路径大小的接口 2024-04-29 14:41:35 +08:00
v-zhangjc9
0fa0a396ef refactor(executor-task): 使用简单的twr写法 2024-04-29 14:33:35 +08:00
v-zhangjc9
c0b48ba2dd fix(web): 修复非hudi-service管理的yarn任务也显示打开日志的按钮 2024-04-29 14:32:47 +08:00
v-zhangjc9
572a1dab9f feat(web): 增加HDFS文件管理器
在页面直接查看HDFS文件和目录,还可以查看和下载
2024-04-28 16:28:48 +08:00
v-zhangjc9
9913943a27 feat(scheduler): 增加指定时间范围内在指定集群运行/不运行 2024-04-26 20:04:26 +08:00
v-zhangjc9
befb383bee feat(web): 升级amis版本 2024-04-26 14:53:10 +08:00
v-zhangjc9
bfdfc05c65 feat(web): 增加服务个数显示 2024-04-26 14:20:51 +08:00
v-zhangjc9
d899556bfd refactor(launcher): 增加Clear hodler时的日志 2024-04-26 11:53:04 +08:00
v-zhangjc9
e25b263843 fix(web): 修复配置错误导致web无法看到其他压缩集群的任务 2024-04-26 11:09:50 +08:00
v-zhangjc9
053a9222cd feat(launcher): 增加单独指定集群进行手动压缩的接口 2024-04-26 10:16:11 +08:00
v-zhangjc9
1808c30786 feat(scheduler): 增加表可以不进行压缩调度但可以进行手动压缩 2024-04-25 18:23:39 +08:00
v-zhangjc9
00b21b06b4 fix(command): 修复参数名复数错误 2024-04-25 18:22:54 +08:00
v-zhangjc9
3ed5cafef9 docs: 增加说明文档 2024-04-18 16:23:14 +08:00
v-zhangjc9
c740f50e08 perf(sync): 优化日志打印 2024-04-11 17:10:22 +08:00
v-zhangjc9
d84e223484 fix(sync): 优化错误信息打印 2024-03-27 09:09:36 +08:00
v-zhangjc9
11e2998a52 fix(sync): 修复错误信息没有吐出到控制台 2024-03-26 14:50:18 +08:00
v-zhangjc9
15fd6d30c2 docs: 补充同步和压缩模块文档 2024-03-26 11:16:50 +08:00
v-zhangjc9
a002e2b796 refactor(sync): double precision类型映射改为double 2024-03-26 11:16:02 +08:00
v-zhangjc9
c4e4b8b3f1 docs: 补充文档 2024-03-22 15:55:05 +08:00
v-zhangjc9
03bb3243bc refactor(cli): 优化停止脚本查询线程的方案
加入使用jps命令查询线程,解决ps匹配不到部分线程的问题
2024-03-21 17:33:24 +08:00
v-zhangjc9
bbcb6b3f08 refactor(launcher): 增加一个日志忽略
这个日志没啥大用,搞来搞去也去不掉,但也不影响使用
2024-03-20 16:15:49 +08:00
v-zhangjc9
b6865127ca refactor(launcher): 增加flink的非jvm内存配置 2024-03-20 14:35:07 +08:00
v-zhangjc9
0608fa8344 fix(sync): 修复字段判断空值时类型转换错误
把字段值统一当作string处理,但hudi特有字段不是字符串,类型强转失败
2024-03-20 12:10:10 +08:00
v-zhangjc9
40e387239b fix(hudi-query): 修复juicefs依赖缺失 2024-03-19 18:01:49 +08:00
v-zhangjc9
59acf837ad fix(command): 修复没有使用推送队列的方式启动压缩 2024-03-19 16:33:08 +08:00
v-zhangjc9
0b5cea7053 fix(command): 修复没有初始化launcher service 2024-03-19 16:27:21 +08:00
v-zhangjc9
e28afe9e82 feat(command): 增加提交压缩任务的命令 2024-03-19 16:20:14 +08:00
v-zhangjc9
d63ceb023e fix(sync): 修复GlobalConfiguration参数不全 2024-03-19 15:49:43 +08:00
v-zhangjc9
890afc33b1 refactor(bin): 使用本地仓库 2024-03-19 15:22:04 +08:00
v-zhangjc9
9ecaa73a70 fix(launcher): 修复launcher没有传递signature 2024-03-19 15:06:11 +08:00
v-zhangjc9
5771ec238b feat(configuration): 增加signature标志 用于区分不同的服务群
比如生产环境和测试环境需要订阅同一个pulsar topic,同样的订阅名称会产生冲突,需要从集群层面避免冲突,所以增加了一个「签名(signature)」在需要的地方可以用于识别不同的两个集群
2024-03-19 14:30:17 +08:00
v-zhangjc9
4f055bfcf8 docs: 补充文档架构图 2024-03-18 22:35:19 +08:00
v-zhangjc9
a6845675d1 fix(sync): 修复decimal字段类型重名 2024-03-15 15:10:07 +08:00
v-zhangjc9
9f92f600b1 fix(cli): 修复命令行生成配置 2024-03-15 13:05:30 +08:00
v-zhangjc9
5eeb913ced docs: 补充离线查询截图 2024-03-15 10:17:03 +08:00