Commit Graph

75 Commits

Author SHA1 Message Date
ccb5148e53 refactor(forest): 优化指标名称 更具有辨识度 2024-03-05 15:16:50 +08:00
b9175dc1e4 fix(forest): 修复deque接口地址错误 2024-03-05 15:16:50 +08:00
0504f8f05c refactor(forest): 简化指标度量工具的获取
指标度量工具获取本身已经有缓存,不需要再缓存一层
2024-03-05 15:16:50 +08:00
7a1f28b82b feat(forest): 增加接口访问指标 2024-03-05 15:16:50 +08:00
ee22986d6f feat(queue): 队列接口统一改为query 2024-03-05 15:16:50 +08:00
cd3b340270 feat(executor-task): 增加查询指定hudi表base文件最新的timestamp
根据LATEST_OP_TS来判断比较timestamp先后,排序后取最后的
2024-03-05 15:16:50 +08:00
4b2585984c feat(web): 增加一个停止全部压缩任务的小工具 2024-03-05 15:16:50 +08:00
c6c4021930 feat(forest): 压缩调度增加不删除表停止全部压缩的参数 2024-03-05 15:16:50 +08:00
dbd81a09bf refactor(forest): 移除多余依赖 2024-03-05 15:16:50 +08:00
8ba4296670 feat(hudi-query): 增加判断hudi表和hdfs路径是否存在的方法 2024-03-05 15:16:50 +08:00
f4f713130a feat(hudi-query): 增加判断压缩计划是否存在的方法 2024-03-05 15:16:50 +08:00
284571485c test(forest): 一点小测试 2024-03-05 15:16:50 +08:00
9140a39bf1 feat(executor-task): 数据扫描增加pulsar队列读取 2024-03-05 15:16:50 +08:00
521e82104f feat(pulsar-query): 增加按指定url和topic判断是否匹配的接口 2024-03-05 15:16:50 +08:00
2b829519d1 feat(web): 增加调度时间点展示 2024-03-05 15:16:50 +08:00
616eb1e514 feat(queue): 迁移queue到hudi service项目中 2024-03-05 15:16:50 +08:00
820c8438b1 feat(web): overview增加同步任务状态展示 2024-03-05 15:16:50 +08:00
be64de7fe8 feat(executor): 完成文件检索扫描功能
使用flink分布式扫描日志文件和数据文件,检索关键词
2024-03-05 15:16:50 +08:00
86ad6df899 feat(loki-query): 拆分服务和hudi使用的loki,查询服务分开部署 2024-03-05 15:16:50 +08:00
9aec08c43a feat(info-query): 切换旧数据库操作到新服务 2024-03-05 15:16:49 +08:00
ad41ab9683 fix(forest): 修复启动同步没有传参数 2024-03-05 15:16:48 +08:00
75e01891c3 feat(info-query): 增加简单table meta信息查询 2024-03-05 15:16:48 +08:00
0a4652ddb5 feat(yarn-query): 增加运行时和非运行时任务的搜索 2024-03-05 15:16:48 +08:00
c0b1071a16 refactor(all): 增加源码包打包 2024-03-05 15:16:48 +08:00
cae9fd5dc3 feat(zookeeper-query): 增加查询run meta接口 2024-03-05 15:16:48 +08:00
a101b5adba refactor(forest): 增加b12集群配置 2024-03-05 15:16:48 +08:00
a78ed8520d feature(web): 增加flink job id和alias输入框的联动 2024-03-05 15:16:48 +08:00
1a0bc8b7ef feature(web): 优化flink job id和alias的自动匹配获取 2024-03-05 15:16:48 +08:00
5abfe2d017 feature(info-query): 增加hudi表类型过滤 2024-03-05 15:16:48 +08:00
f0881d65d7 feature(cli,forest): 增加b5sync集群调度
为同步程序上服务准备,不在服务级别区分同步和压缩的调度
2024-03-05 15:16:48 +08:00
b13e70d9cb feature(web): 增加 hdfs 路径补全 2024-03-05 15:16:48 +08:00
bd0a56217d feature(hudi-query): 增加查询 Hudi 表结构 2024-03-05 15:16:48 +08:00
f0c4031365 fix(forest): 修复解析类错误导致无法获取数据 2024-03-05 15:16:48 +08:00
30f42b2734 feature(info-query): 增加查询表是否存在的接口 2024-03-05 15:16:48 +08:00
317cb5d56f feature(hudi-query): 增加时间线压缩计划读取 2024-03-05 15:16:48 +08:00
1ce0b74e2d feature(hudi-query): Hudi 时间线查询增加 instant 文件创建时间
Hudi 时间线查询增加分页参数下推,增加性能
2024-03-05 15:16:48 +08:00
a15fb1857f feature(web): 增加调度计划显示 2024-03-05 15:16:48 +08:00
edbf54a519 feature(info-query): 增加历史压缩情况查询 2024-03-05 15:16:48 +08:00
437b2188b7 feature(configuration,forest): 增加 jackson LocalDatetime 等Java时间类型适配 2024-03-05 15:16:48 +08:00
266584cece feature(info-query): 增加 hive 表维度统计 2024-03-05 15:16:48 +08:00
04a23431f7 refactor(info-query): 优化跨天信息和基本信息查询 2024-03-05 15:16:47 +08:00
4e963fa537 feature(web): 增加 Overview 页面
方便总览全局情况,跨页面查看信息多有不便
2024-03-05 15:16:47 +08:00
28981c3795 feature(info-query): 增加跨天版本表查询接口 2024-03-05 15:16:47 +08:00
dfdae40b70 feature(forest): 增加 launcher 接口的操作 2024-03-05 15:16:47 +08:00
a8f2f6c9f2 feature(info-query): 增加查询未跨天表名 2024-03-05 15:16:47 +08:00
7793deac4b fix(yarn-query): 修复 yarn-query 按 name 查询错误的问题 2024-03-05 15:16:47 +08:00
cd676367c6 feature(yarn-query): 优化 yarn-query 为集群共享查询
原本一个 yarn-query 对应一个集群,集群多了之后,比较浪费,改为一个组件可以查询任意集群的信息,减少部署的复杂性
2024-03-05 15:16:47 +08:00
17f957a4bb fix(forest): 修复 yarn 查询集群信息顺序不对
Set 这个结构不保顺序,疏忽了,改回使用 List,不然查询的顺序和返回结果的顺序不一致
2024-03-05 15:16:46 +08:00
d4c25c812e fix(web): 修复获取 yarn 队列没有过滤集群 2024-03-05 15:16:46 +08:00
156ddf8033 fix(forest): 修复 forest 框架判断 null 值错误
forest 创建代理之后调用 hashcode 方法会导致死循环,调用 equals 方法会导致空指针错误
2024-03-05 15:16:46 +08:00