|
|
cd3b340270
|
feat(executor-task): 增加查询指定hudi表base文件最新的timestamp
根据LATEST_OP_TS来判断比较timestamp先后，排序后取最后的
|
2024-03-05 15:16:50 +08:00 |
|
|
|
ff72583d5d
|
refactor(executor-task): 优化pulsar扫描任务
调整pulsar source并行度设置，优化pulsar时间分段长度
|
2024-03-05 15:16:50 +08:00 |
|
|
|
99e636d55d
|
refactor(executor-task): 优化pulsar扫描配置
|
2024-03-05 15:16:50 +08:00 |
|
|
|
9140a39bf1
|
feat(executor-task): 数据扫描增加pulsar队列读取
|
2024-03-05 15:16:50 +08:00 |
|
|
|
f137eaf4be
|
refactor(executor-task): 优化文件扫描工具检索效率
扫描全部的log文件和最新的base文件
|
2024-03-05 15:16:50 +08:00 |
|
|
|
26f9d4ac60
|
fix(executor-task): 修复schema读取不到导致失败
|
2024-03-05 15:16:50 +08:00 |
|
|
|
43a1bcdb4b
|
feat(exexutor-task): 增加日志输出
|
2024-03-05 15:16:50 +08:00 |
|
|
|
7841296b0c
|
refactor(executor-task): 优化日志文件和数据文件读取模式
|
2024-03-05 15:16:50 +08:00 |
|
|
|
be64de7fe8
|
feat(executor): 完成文件检索扫描功能
使用flink分布式扫描日志文件和数据文件，检索关键词
|
2024-03-05 15:16:50 +08:00 |
|
|
|
fe0d779afb
|
feat(executor): 完成任务提交执行的验证
|
2024-03-05 15:16:50 +08:00 |
|
|
|
c0b1071a16
|
refactor(all): 增加源码包打包
|
2024-03-05 15:16:48 +08:00 |
|
|
|
62bfc08fc3
|
feature(executor): 增加Flink集群任务模块
新增 executor-manager 和 executor-task
manager管理任务信息启停等，task执行业务方法
|
2024-03-05 15:16:48 +08:00 |
|
