v-zhangjc9
|
7a21159ac6
|
feat(executor-task): 增加Hudi数据校验任务
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
633db5512d
|
refactor(executor-task): 恢复pulsar读取策略
|
2024-06-04 13:57:53 +08:00 |
|
v-zhangjc9
|
dcf92a809f
|
feat(executor-task): 尝试优化pulsar的读取
|
2024-05-29 08:52:44 +08:00 |
|
v-zhangjc9
|
deae4fd294
|
feat(executor-task): 增加一个mini hudi的功能
从pulsar到hdfs落盘
|
2024-05-28 18:16:09 +08:00 |
|
v-zhangjc9
|
e8fe8c4680
|
feat(executor-task): 优化task的配置信息传递
|
2024-05-20 15:25:10 +08:00 |
|
v-zhangjc9
|
fd9f97d03b
|
fix(executor-manager): 日志改为动态配置
|
2024-05-17 18:05:01 +08:00 |
|
v-zhangjc9
|
f398b8cdc3
|
feat(executor-task): 使用Flink SQL查询表总数、业务最后操作时间
|
2024-05-17 17:32:36 +08:00 |
|
v-zhangjc9
|
e5f945c74b
|
perf(executor-task): 减少数据流转
通过设置相同的并行度，让数据读取和数据过滤合并到一个算子里，避免大表base文件扫描失败
|
2024-05-13 08:44:40 +08:00 |
|
v-zhangjc9
|
80fae0be38
|
perf(executor-task): pulsar检索范围缩短到30分钟
后面可以优化为根据数据量来推测间隔
|
2024-05-12 17:42:22 +08:00 |
|
v-zhangjc9
|
a1e0b20e87
|
feat(executor-task): parquet文件读取增加选择列
指定列名可以提高检索速度，默认选择所有列
|
2024-05-12 17:41:09 +08:00 |
|
v-zhangjc9
|
7fb5710cb3
|
feat(all): 升级依赖版本
spring cloud升级到2.x的最后一个小版本，其余依赖配合升级
|
2024-05-09 11:05:10 +08:00 |
|
v-zhangjc9
|
0fa0a396ef
|
refactor(executor-task): 使用简单的twr写法
|
2024-04-29 14:33:35 +08:00 |
|
v-zhangjc9
|
c038664567
|
refactor(all): 优化maven插件触发 优化编译打包版本
|
2024-03-06 10:42:55 +08:00 |
|
|
|
0338a0d579
|
feat(all): 优化依赖
移除旧common包
|
2024-03-05 15:16:52 +08:00 |
|
|
|
efcb841434
|
feat(executor-manager): 优化task任务命名
|
2024-03-05 15:16:51 +08:00 |
|
|
|
cd3b340270
|
feat(executor-task): 增加查询指定hudi表base文件最新的timestamp
根据LATEST_OP_TS来判断比较timestamp先后，排序后取最后的
|
2024-03-05 15:16:50 +08:00 |
|
|
|
ff72583d5d
|
refactor(executor-task): 优化pulsar扫描任务
调整pulsar source并行度设置，优化pulsar时间分段长度
|
2024-03-05 15:16:50 +08:00 |
|
|
|
99e636d55d
|
refactor(executor-task): 优化pulsar扫描配置
|
2024-03-05 15:16:50 +08:00 |
|
|
|
9140a39bf1
|
feat(executor-task): 数据扫描增加pulsar队列读取
|
2024-03-05 15:16:50 +08:00 |
|
|
|
f137eaf4be
|
refactor(executor-task): 优化文件扫描工具检索效率
扫描全部的log文件和最新的base文件
|
2024-03-05 15:16:50 +08:00 |
|
|
|
26f9d4ac60
|
fix(executor-task): 修复schema读取不到导致失败
|
2024-03-05 15:16:50 +08:00 |
|
|
|
43a1bcdb4b
|
feat(exexutor-task): 增加日志输出
|
2024-03-05 15:16:50 +08:00 |
|
|
|
7841296b0c
|
refactor(executor-task): 优化日志文件和数据文件读取模式
|
2024-03-05 15:16:50 +08:00 |
|
|
|
be64de7fe8
|
feat(executor): 完成文件检索扫描功能
使用flink分布式扫描日志文件和数据文件，检索关键词
|
2024-03-05 15:16:50 +08:00 |
|
|
|
fe0d779afb
|
feat(executor): 完成任务提交执行的验证
|
2024-03-05 15:16:50 +08:00 |
|
|
|
c0b1071a16
|
refactor(all): 增加源码包打包
|
2024-03-05 15:16:48 +08:00 |
|
|
|
62bfc08fc3
|
feature(executor): 增加Flink集群任务模块
新增 executor-manager 和 executor-task
manager管理任务信息启停等，task执行业务方法
|
2024-03-05 15:16:48 +08:00 |
|
