v-zhangjc9
|
6f2fce4359
|
feat(executor-manager): 增加表数据查询10条采样任务
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
deae4fd294
|
feat(executor-task): 增加一个mini hudi的功能
从pulsar到hdfs落盘
|
2024-05-28 18:16:09 +08:00 |
|
v-zhangjc9
|
fd9f97d03b
|
fix(executor-manager): 日志改为动态配置
|
2024-05-17 18:05:01 +08:00 |
|
v-zhangjc9
|
f398b8cdc3
|
feat(executor-task): 使用Flink SQL查询表总数、业务最后操作时间
|
2024-05-17 17:32:36 +08:00 |
|
v-zhangjc9
|
a1e0b20e87
|
feat(executor-task): parquet文件读取增加选择列
指定列名可以提高检索速度，默认选择所有列
|
2024-05-12 17:41:09 +08:00 |
|
|
|
7dc38383c5
|
refactor(executor-manager): 使用sync同款jar更新方式
|
2024-03-05 15:16:52 +08:00 |
|
|
|
0338a0d579
|
feat(all): 优化依赖
移除旧common包
|
2024-03-05 15:16:52 +08:00 |
|
|
|
de78898a60
|
refactor(cli): 优化配置
移除flink多余配置
|
2024-03-05 15:16:52 +08:00 |
|
|
|
efcb841434
|
feat(executor-manager): 优化task任务命名
|
2024-03-05 15:16:51 +08:00 |
|
|
|
cd3b340270
|
feat(executor-task): 增加查询指定hudi表base文件最新的timestamp
根据LATEST_OP_TS来判断比较timestamp先后，排序后取最后的
|
2024-03-05 15:16:50 +08:00 |
|
|
|
2019f47567
|
refactor(all): 优化日志loki标签默认值 防止没有默认值导致日志无法输出
|
2024-03-05 15:16:50 +08:00 |
|
|
|
623ad8b696
|
refactor(all): 优化日志输出格式
|
2024-03-05 15:16:50 +08:00 |
|
|
|
0244f9a550
|
refactor(all): 优化日志输出格式
|
2024-03-05 15:16:50 +08:00 |
|
|
|
ffb3e15df5
|
refactor(executor-manager): 修改service命名避免冲突
|
2024-03-05 15:16:50 +08:00 |
|
|
|
ff72583d5d
|
refactor(executor-task): 优化pulsar扫描任务
调整pulsar source并行度设置，优化pulsar时间分段长度
|
2024-03-05 15:16:50 +08:00 |
|
|
|
9140a39bf1
|
feat(executor-task): 数据扫描增加pulsar队列读取
|
2024-03-05 15:16:50 +08:00 |
|
|
|
f49e2961cc
|
feat(executor-task): 增加一些日志环境变量
|
2024-03-05 15:16:50 +08:00 |
|
|
|
be64de7fe8
|
feat(executor): 完成文件检索扫描功能
使用flink分布式扫描日志文件和数据文件，检索关键词
|
2024-03-05 15:16:50 +08:00 |
|
|
|
fe0d779afb
|
feat(executor): 完成任务提交执行的验证
|
2024-03-05 15:16:50 +08:00 |
|
|
|
62bfc08fc3
|
feature(executor): 增加Flink集群任务模块
新增 executor-manager 和 executor-task
manager管理任务信息启停等，task执行业务方法
|
2024-03-05 15:16:48 +08:00 |
|
