Commit Graph

399 Commits

Author SHA1 Message Date
d7b7d1b4be fix(cli): 优化服务注册元信息 2024-03-05 15:16:50 +08:00
2fa18fa4f8 feat(log): 优化日志输出 增加ip和hostname全名 2024-03-05 15:16:50 +08:00
ba24b4e5a6 fix(web): 修复yarn任务日志跳转链接 2024-03-05 15:16:50 +08:00
0504f8f05c refactor(forest): 简化指标度量工具的获取
指标度量工具获取本身已经有缓存,不需要再缓存一层
2024-03-05 15:16:50 +08:00
dc98591457 fix(web): 修复日志跳转语句格式错误 2024-03-05 15:16:50 +08:00
7a1f28b82b feat(forest): 增加接口访问指标 2024-03-05 15:16:50 +08:00
ee22986d6f feat(queue): 队列接口统一改为query 2024-03-05 15:16:50 +08:00
41827c02c0 fix(cli): 修复强制停止应用 2024-03-05 15:16:50 +08:00
af27d1772d feat(cloud): 增加prometheus动态获取实例端口 2024-03-05 15:16:50 +08:00
eb6fbc7fc5 fix(web): 修复日志跳转语句 2024-03-05 15:16:50 +08:00
be4d388612 fix(web): 修复QueueItem依赖错误 2024-03-05 15:16:50 +08:00
cd3b340270 feat(executor-task): 增加查询指定hudi表base文件最新的timestamp
根据LATEST_OP_TS来判断比较timestamp先后,排序后取最后的
2024-03-05 15:16:50 +08:00
4b2585984c feat(web): 增加一个停止全部压缩任务的小工具 2024-03-05 15:16:50 +08:00
c6c4021930 feat(forest): 压缩调度增加不删除表停止全部压缩的参数 2024-03-05 15:16:50 +08:00
348b3b7028 refactor(cli): 优化停止脚本 增加超时后强制kill应用 2024-03-05 15:16:50 +08:00
c4260e7bf9 refactor(dependencies): 升级loki日志依赖 2024-03-05 15:16:50 +08:00
2019f47567 refactor(all): 优化日志loki标签默认值 防止没有默认值导致日志无法输出 2024-03-05 15:16:50 +08:00
a3db5fd937 refactor(cli): 补充编译全部的脚本 2024-03-05 15:16:50 +08:00
623ad8b696 refactor(all): 优化日志输出格式 2024-03-05 15:16:50 +08:00
dbd81a09bf refactor(forest): 移除多余依赖 2024-03-05 15:16:50 +08:00
0244f9a550 refactor(all): 优化日志输出格式 2024-03-05 15:16:50 +08:00
6063e01b5c refactor(info-query): 新增flink job和table meta默认状态为n避免影响在线业务 2024-03-05 15:16:50 +08:00
bbd9011260 test(test): 一点测试 2024-03-05 15:16:50 +08:00
526f29d87e feat(info-query): 补充查询table meta的方法统一使用同一种判断 2024-03-05 15:16:50 +08:00
8ba4296670 feat(hudi-query): 增加判断hudi表和hdfs路径是否存在的方法 2024-03-05 15:16:50 +08:00
dfb4221bdd feat(configuration): 补充去重条件 2024-03-05 15:16:50 +08:00
f4f713130a feat(hudi-query): 增加判断压缩计划是否存在的方法 2024-03-05 15:16:50 +08:00
284571485c test(forest): 一点小测试 2024-03-05 15:16:50 +08:00
a2c9803c61 test(test-query): 移除测试模块 2024-03-05 15:16:50 +08:00
347eb1ad86 fix(info-query): 修复取flink id和alias的方法没有完整校验表是否合法 2024-03-05 15:16:50 +08:00
a5281b3d75 fix(gateway): 修复队列接口无法访问 2024-03-05 15:16:50 +08:00
aa3863de17 fix(info-query): 修复查询表详情不严谨导致将不完整的表也当作正常表使用
不完整的表插入压缩队列后导致处理队列的时间变长
2024-03-05 15:16:50 +08:00
a7203977d5 feat(uploader): 增加一个关于文件上传下载的项目,后续方便jar包传递 2024-03-05 15:16:50 +08:00
520ee8f7ee refactor(cli): launcher增加loki url动态环境变量 2024-03-05 15:16:50 +08:00
3e73944163 feat(web): yarn任务日志直接跳转grafana查看 2024-03-05 15:16:50 +08:00
53b5a2f695 refactor(pulsar-query): 优化topic存在判断
使用consumer尝试连接pulsar的方式判断topic是否存在似乎更靠谱一点,同时可以避免获取admin url,支持更多的查询场景
2024-03-05 15:16:50 +08:00
123c79787c feat(web): 任务执行前判断pulsar topic和url是否匹配 2024-03-05 15:16:50 +08:00
b7bdd25bdc fix(pulsar-query): 修复pulsar查询topic存在没有使用admin url 2024-03-05 15:16:50 +08:00
46b6ee4dfa fix(web): 修复普通yarn任务无法查询日志 2024-03-05 15:16:50 +08:00
720621bb85 fix(executor-manager): 修复okio依赖冲突 2024-03-05 15:16:50 +08:00
ffb3e15df5 refactor(executor-manager): 修改service命名避免冲突 2024-03-05 15:16:50 +08:00
ff72583d5d refactor(executor-task): 优化pulsar扫描任务
调整pulsar source并行度设置,优化pulsar时间分段长度
2024-03-05 15:16:50 +08:00
99e636d55d refactor(executor-task): 优化pulsar扫描配置 2024-03-05 15:16:50 +08:00
9140a39bf1 feat(executor-task): 数据扫描增加pulsar队列读取 2024-03-05 15:16:50 +08:00
521e82104f feat(pulsar-query): 增加按指定url和topic判断是否匹配的接口 2024-03-05 15:16:50 +08:00
2686bf7686 feat(web): 增加一点图标的美化 2024-03-05 15:16:50 +08:00
f137eaf4be refactor(executor-task): 优化文件扫描工具检索效率
扫描全部的log文件和最新的base文件
2024-03-05 15:16:50 +08:00
c74b38588b refactor(yarn-query): 移除b5-sync配置 2024-03-05 15:16:50 +08:00
f49e2961cc feat(executor-task): 增加一些日志环境变量 2024-03-05 15:16:50 +08:00
26f9d4ac60 fix(executor-task): 修复schema读取不到导致失败 2024-03-05 15:16:50 +08:00