v-zhangjc9
|
7efd9129c2
|
feat(monitor): 增加关于hudi表文件数的监控指标
|
2025-02-12 10:13:52 +08:00 |
|
v-zhangjc9
|
0b4cec3955
|
feat(executor-task): 完成动态调整的pulsar扫描
对于pulsar在时间段上资源分配不均，通过pulsar reader中重新分配split解决，保证整个读取的流程中都能尽可能利用多线程的优势
|
2024-06-05 17:37:04 +08:00 |
|
v-zhangjc9
|
633db5512d
|
refactor(executor-task): 恢复pulsar读取策略
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
deae4fd294
|
feat(executor-task): 增加一个mini hudi的功能
从pulsar到hdfs落盘
|
2024-05-28 18:16:09 +08:00 |
|
v-zhangjc9
|
bff18280f3
|
perf(hudi-query): 优化hudi时间线的扫描速度
|
2024-05-22 13:11:50 +08:00 |
|
v-zhangjc9
|
def035fa90
|
perf(api): 优化api指标存储和传输
统一命名格式，减少不必要的时间字段传输，统一字段命名，减少默认值的传输
|
2024-05-09 18:12:25 +08:00 |
|
v-zhangjc9
|
10fae04007
|
fix(hudi-query): 修复写hdfs文件内容取值错误
|
2024-05-08 14:15:01 +08:00 |
|
v-zhangjc9
|
b2e3a58d27
|
feat(hudi-query): 新增写hdfs文件接口
|
2024-05-08 10:02:33 +08:00 |
|
v-zhangjc9
|
572a1dab9f
|
feat(web): 增加HDFS文件管理器
在页面直接查看HDFS文件和目录，还可以查看和下载
|
2024-04-28 16:28:48 +08:00 |
|
|
|
d4e161459a
|
feat(monitor): 增加指标输出模块
一些外部指标查询通过指标输出模块输出，避免对原业务模块产生影响
|
2024-03-05 15:16:53 +08:00 |
|
|
|
c7abcb9e22
|
fix(exporter): 修复查询未运行flink任务数量不正确
|
2024-03-05 15:16:50 +08:00 |
|
|
|
7c9ba2876f
|
feat(web): 增加服务日志跳转
|
2024-03-05 15:16:50 +08:00 |
|
|
|
af27d1772d
|
feat(cloud): 增加prometheus动态获取实例端口
|
2024-03-05 15:16:50 +08:00 |
|
|
|
cd3b340270
|
feat(executor-task): 增加查询指定hudi表base文件最新的timestamp
根据LATEST_OP_TS来判断比较timestamp先后，排序后取最后的
|
2024-03-05 15:16:50 +08:00 |
|
|
|
bbd9011260
|
test(test): 一点测试
|
2024-03-05 15:16:50 +08:00 |
|
|
|
ff72583d5d
|
refactor(executor-task): 优化pulsar扫描任务
调整pulsar source并行度设置，优化pulsar时间分段长度
|
2024-03-05 15:16:50 +08:00 |
|
|
|
390a2dd550
|
chore(test): 杂项
|
2024-03-05 15:16:50 +08:00 |
|
|
|
2b829519d1
|
feat(web): 增加调度时间点展示
|
2024-03-05 15:16:50 +08:00 |
|
|
|
93456ddd78
|
feature(zookeeper-query): 增加 zookeeper 查询模块
包含查询路径存在、锁存在、获取节点数据的能力
|
2024-03-05 15:16:45 +08:00 |
|
