Commit Graph

41 Commits

Author SHA1 Message Date
v-zhangjc9
fce4816880 feat(all): 移除远程日志集中 2025-05-23 09:49:37 +08:00
v-zhangjc9
224115e938 refactor(all): 移除juice-fs依赖 2025-04-21 12:28:18 +08:00
v-zhangjc9
e30a720cea fix(hudi-query): 修复接口调用错误 2025-02-12 10:13:52 +08:00
v-zhangjc9
28b3fd9ca1 feat(hudi-query): 增加关于hdfs文件数相关的接口 2025-02-12 10:13:52 +08:00
v-zhangjc9
095347cd1a fix(hudi-query): 修复获取待压缩列表会拖慢性能 2024-05-28 11:52:42 +08:00
v-zhangjc9
9a1afbcceb fix(hudi-query): 修复时间线compaction操作完成状态无法识别 2024-05-28 11:00:30 +08:00
v-zhangjc9
bff18280f3 perf(hudi-query): 优化hudi时间线的扫描速度 2024-05-22 13:11:50 +08:00
v-zhangjc9
7fb5710cb3 feat(all): 升级依赖版本
spring cloud升级到2.x的最后一个小版本,其余依赖配合升级
2024-05-09 11:05:10 +08:00
v-zhangjc9
b2e3a58d27 feat(hudi-query): 新增写hdfs文件接口 2024-05-08 10:02:33 +08:00
v-zhangjc9
5d3f0140f5 feat(hudi-query): 增加一个查询路径大小的接口 2024-04-29 14:41:35 +08:00
v-zhangjc9
572a1dab9f feat(web): 增加HDFS文件管理器
在页面直接查看HDFS文件和目录,还可以查看和下载
2024-04-28 16:28:48 +08:00
v-zhangjc9
40e387239b fix(hudi-query): 修复juicefs依赖缺失 2024-03-19 18:01:49 +08:00
v-zhangjc9
c038664567 refactor(all): 优化maven插件触发 优化编译打包版本 2024-03-06 10:42:55 +08:00
0338a0d579 feat(all): 优化依赖
移除旧common包
2024-03-05 15:16:52 +08:00
2019f47567 refactor(all): 优化日志loki标签默认值 防止没有默认值导致日志无法输出 2024-03-05 15:16:50 +08:00
623ad8b696 refactor(all): 优化日志输出格式 2024-03-05 15:16:50 +08:00
0244f9a550 refactor(all): 优化日志输出格式 2024-03-05 15:16:50 +08:00
8ba4296670 feat(hudi-query): 增加判断hudi表和hdfs路径是否存在的方法 2024-03-05 15:16:50 +08:00
f4f713130a feat(hudi-query): 增加判断压缩计划是否存在的方法 2024-03-05 15:16:50 +08:00
026f33e4d0 fix(hudi-query): 修复依赖缺失
NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper
2024-03-05 15:16:48 +08:00
c0b1071a16 refactor(all): 增加源码包打包 2024-03-05 15:16:48 +08:00
68c0abb8e3 feature(hudi-query): 增加单独的Schema查询方法 2024-03-05 15:16:48 +08:00
09343e8efa feature(all): 切换使用zookeeper作为注册中心 2024-03-05 15:16:48 +08:00
72bdda5546 feature(all): 增加zookeeper作为注册中心 2024-03-05 15:16:48 +08:00
bd0a56217d feature(hudi-query): 增加查询 Hudi 表结构 2024-03-05 15:16:48 +08:00
a5a9f600f1 feature(web): 增加时间线 Rollback 和 Clean 的查询 2024-03-05 15:16:48 +08:00
317cb5d56f feature(hudi-query): 增加时间线压缩计划读取 2024-03-05 15:16:48 +08:00
fb231805c2 feature(web): 增加独立小工具
直接通过HDFS查询时间线,有时候保留现场会直接copy一个hdfs目录,不遵循生产表的逻辑,只能通过hdfs路经查询
2024-03-05 15:16:48 +08:00
740a9aea45 feature(all): 服务增加配置文件信息加密 2024-03-05 15:16:48 +08:00
1ce0b74e2d feature(hudi-query): Hudi 时间线查询增加 instant 文件创建时间
Hudi 时间线查询增加分页参数下推,增加性能
2024-03-05 15:16:48 +08:00
4942691928 feature(all): 替换日志行的冒号为特殊符号方便分割内容 2024-03-05 15:16:45 +08:00
aad835c710 feature(all): 屏蔽 Eureka 的日志
Resolving eureka endpoints via configuration
这个常驻日志塞满了日志聚合
2024-03-05 15:16:45 +08:00
69314f62ec refactor(hudi-query,pulsar-query,yarn-query): 补充专用依赖的版本号 2024-03-05 15:16:45 +08:00
ceed44d43a feature(dependencies): 增加依赖模块
增加一个依赖模块,统一项目使用的主要 jar 依赖版本,但又不写在父项目里,防止加入一些非服务模块,比如启动命令行
2024-03-05 15:16:45 +08:00
843eff2656 feature(hudi-query): 增加未完成压缩时间线和压缩计划内容查询
未完成压缩时间线经常使用,用于压缩列表查询
2024-03-05 15:16:45 +08:00
78c6814880 feature(web): 优化时间线展示
加入分页,增加对时间点的排序,默认最近的在最前面
2024-03-05 15:16:45 +08:00
d47db0a096 feature(hudi-query): 完成 Hudi 表时间线查询
对于归档中的时间线查询似乎不会直接给出合并后的时间线状态,需要后续对时间线的内容进行单独处理
2024-03-05 15:16:45 +08:00
a358734929 refactor(all): 优化配置文件,增加一个随机端口的配置
同一个配置文件里用横线分割的写法实际不生效
2024-03-05 15:16:45 +08:00
c076298683 feature(all): 优化 yml 配置文件的复用 2024-03-05 15:16:45 +08:00
e2520fa15e feature(hudi-query): 增加查询 Hudi 表全部时间线的功能
查询全部时间线默认包含已归档的时间线
2024-03-05 15:16:44 +08:00
2f2c10e7b7 refactor(all): 初始化项目
迁移项目到独立的 service 进行集中开发
包含以下组件的查询 API 服务
flink
hudi
database(info)
pulsar
yarn
包含前端服务和 UI
web
包含公共代码
configuration
2024-03-05 15:16:44 +08:00