Commit Graph

287 Commits

Author SHA1 Message Date
4b2585984c feat(web): 增加一个停止全部压缩任务的小工具 2024-03-05 15:16:50 +08:00
c6c4021930 feat(forest): 压缩调度增加不删除表停止全部压缩的参数 2024-03-05 15:16:50 +08:00
348b3b7028 refactor(cli): 优化停止脚本 增加超时后强制kill应用 2024-03-05 15:16:50 +08:00
c4260e7bf9 refactor(dependencies): 升级loki日志依赖 2024-03-05 15:16:50 +08:00
2019f47567 refactor(all): 优化日志loki标签默认值 防止没有默认值导致日志无法输出 2024-03-05 15:16:50 +08:00
a3db5fd937 refactor(cli): 补充编译全部的脚本 2024-03-05 15:16:50 +08:00
623ad8b696 refactor(all): 优化日志输出格式 2024-03-05 15:16:50 +08:00
dbd81a09bf refactor(forest): 移除多余依赖 2024-03-05 15:16:50 +08:00
0244f9a550 refactor(all): 优化日志输出格式 2024-03-05 15:16:50 +08:00
6063e01b5c refactor(info-query): 新增flink job和table meta默认状态为n避免影响在线业务 2024-03-05 15:16:50 +08:00
bbd9011260 test(test): 一点测试 2024-03-05 15:16:50 +08:00
526f29d87e feat(info-query): 补充查询table meta的方法统一使用同一种判断 2024-03-05 15:16:50 +08:00
8ba4296670 feat(hudi-query): 增加判断hudi表和hdfs路径是否存在的方法 2024-03-05 15:16:50 +08:00
dfb4221bdd feat(configuration): 补充去重条件 2024-03-05 15:16:50 +08:00
f4f713130a feat(hudi-query): 增加判断压缩计划是否存在的方法 2024-03-05 15:16:50 +08:00
284571485c test(forest): 一点小测试 2024-03-05 15:16:50 +08:00
a2c9803c61 test(test-query): 移除测试模块 2024-03-05 15:16:50 +08:00
347eb1ad86 fix(info-query): 修复取flink id和alias的方法没有完整校验表是否合法 2024-03-05 15:16:50 +08:00
a5281b3d75 fix(gateway): 修复队列接口无法访问 2024-03-05 15:16:50 +08:00
aa3863de17 fix(info-query): 修复查询表详情不严谨导致将不完整的表也当作正常表使用
不完整的表插入压缩队列后导致处理队列的时间变长
2024-03-05 15:16:50 +08:00
a7203977d5 feat(uploader): 增加一个关于文件上传下载的项目,后续方便jar包传递 2024-03-05 15:16:50 +08:00
520ee8f7ee refactor(cli): launcher增加loki url动态环境变量 2024-03-05 15:16:50 +08:00
3e73944163 feat(web): yarn任务日志直接跳转grafana查看 2024-03-05 15:16:50 +08:00
53b5a2f695 refactor(pulsar-query): 优化topic存在判断
使用consumer尝试连接pulsar的方式判断topic是否存在似乎更靠谱一点,同时可以避免获取admin url,支持更多的查询场景
2024-03-05 15:16:50 +08:00
123c79787c feat(web): 任务执行前判断pulsar topic和url是否匹配 2024-03-05 15:16:50 +08:00
b7bdd25bdc fix(pulsar-query): 修复pulsar查询topic存在没有使用admin url 2024-03-05 15:16:50 +08:00
46b6ee4dfa fix(web): 修复普通yarn任务无法查询日志 2024-03-05 15:16:50 +08:00
720621bb85 fix(executor-manager): 修复okio依赖冲突 2024-03-05 15:16:50 +08:00
ffb3e15df5 refactor(executor-manager): 修改service命名避免冲突 2024-03-05 15:16:50 +08:00
ff72583d5d refactor(executor-task): 优化pulsar扫描任务
调整pulsar source并行度设置,优化pulsar时间分段长度
2024-03-05 15:16:50 +08:00
99e636d55d refactor(executor-task): 优化pulsar扫描配置 2024-03-05 15:16:50 +08:00
9140a39bf1 feat(executor-task): 数据扫描增加pulsar队列读取 2024-03-05 15:16:50 +08:00
521e82104f feat(pulsar-query): 增加按指定url和topic判断是否匹配的接口 2024-03-05 15:16:50 +08:00
2686bf7686 feat(web): 增加一点图标的美化 2024-03-05 15:16:50 +08:00
f137eaf4be refactor(executor-task): 优化文件扫描工具检索效率
扫描全部的log文件和最新的base文件
2024-03-05 15:16:50 +08:00
c74b38588b refactor(yarn-query): 移除b5-sync配置 2024-03-05 15:16:50 +08:00
f49e2961cc feat(executor-task): 增加一些日志环境变量 2024-03-05 15:16:50 +08:00
26f9d4ac60 fix(executor-task): 修复schema读取不到导致失败 2024-03-05 15:16:50 +08:00
43a1bcdb4b feat(exexutor-task): 增加日志输出 2024-03-05 15:16:50 +08:00
390a2dd550 chore(test): 杂项 2024-03-05 15:16:50 +08:00
eb70986d19 refactor(web): 移除调度时间点展示 2024-03-05 15:16:50 +08:00
2b829519d1 feat(web): 增加调度时间点展示 2024-03-05 15:16:50 +08:00
26e65f2a81 feat(cli): 清理旧脚本 2024-03-05 15:16:50 +08:00
616eb1e514 feat(queue): 迁移queue到hudi service项目中 2024-03-05 15:16:50 +08:00
f5b1845d97 feat(gateway): 迁移gateway到hudi service项目中 2024-03-05 15:16:50 +08:00
783c05f6da fix(web): 修复running_status接口由于多线程导致数组越界 2024-03-05 15:16:50 +08:00
c6e0a681bc refactor(pulsar-query): 更新pulsar部署信息 2024-03-05 15:16:50 +08:00
5ac76062c4 feat(web): 给没有在运行的flink任务查询任务名称 2024-03-05 15:16:50 +08:00
820c8438b1 feat(web): overview增加同步任务状态展示 2024-03-05 15:16:50 +08:00
59dd3b29f4 refactor(web): 优化查询条件输入框,有的地方不需要联动查询 2024-03-05 15:16:50 +08:00