Commit Graph

16 Commits

Author SHA1 Message Date
v-zhangjc9
0fa0a396ef refactor(executor-task): 使用简单的twr写法 2024-04-29 14:33:35 +08:00
v-zhangjc9
c038664567 refactor(all): 优化maven插件触发 优化编译打包版本 2024-03-06 10:42:55 +08:00
0338a0d579 feat(all): 优化依赖
移除旧common包
2024-03-05 15:16:52 +08:00
efcb841434 feat(executor-manager): 优化task任务命名 2024-03-05 15:16:51 +08:00
cd3b340270 feat(executor-task): 增加查询指定hudi表base文件最新的timestamp
根据LATEST_OP_TS来判断比较timestamp先后,排序后取最后的
2024-03-05 15:16:50 +08:00
ff72583d5d refactor(executor-task): 优化pulsar扫描任务
调整pulsar source并行度设置,优化pulsar时间分段长度
2024-03-05 15:16:50 +08:00
99e636d55d refactor(executor-task): 优化pulsar扫描配置 2024-03-05 15:16:50 +08:00
9140a39bf1 feat(executor-task): 数据扫描增加pulsar队列读取 2024-03-05 15:16:50 +08:00
f137eaf4be refactor(executor-task): 优化文件扫描工具检索效率
扫描全部的log文件和最新的base文件
2024-03-05 15:16:50 +08:00
26f9d4ac60 fix(executor-task): 修复schema读取不到导致失败 2024-03-05 15:16:50 +08:00
43a1bcdb4b feat(exexutor-task): 增加日志输出 2024-03-05 15:16:50 +08:00
7841296b0c refactor(executor-task): 优化日志文件和数据文件读取模式 2024-03-05 15:16:50 +08:00
be64de7fe8 feat(executor): 完成文件检索扫描功能
使用flink分布式扫描日志文件和数据文件,检索关键词
2024-03-05 15:16:50 +08:00
fe0d779afb feat(executor): 完成任务提交执行的验证 2024-03-05 15:16:50 +08:00
c0b1071a16 refactor(all): 增加源码包打包 2024-03-05 15:16:48 +08:00
62bfc08fc3 feature(executor): 增加Flink集群任务模块
新增 executor-manager 和 executor-task
manager管理任务信息启停等,task执行业务方法
2024-03-05 15:16:48 +08:00