Commit Graph

59 Commits

Author SHA1 Message Date
v-zhangjc9
24e4672dc3 feat(scheduler): 使用简化的table_meta加速查询 2024-06-04 13:57:53 +08:00
v-zhangjc9
e2dc42e7dd fix(info-query): 修复Clean Service无法构建 2024-06-01 01:42:23 +08:00
v-zhangjc9
960b020052 feat(monitor): 增加table_version表和compaction_metrics表的定时清理 2024-05-23 11:52:21 +08:00
v-zhangjc9
592d27ad6f feat(cli): 增加配置数据库信息到脚本里 2024-05-16 16:37:23 +08:00
v-zhangjc9
71b8d0684b feat(web): 增加pulsar接收时间和压缩最后业务时间的展示 2024-05-14 09:40:03 +08:00
v-zhangjc9
fbbaa60dc5 fix(info-query): 修复通过优先级查询重点表可能会出错 2024-05-13 10:52:08 +08:00
v-zhangjc9
23ced7a2e1 fix(api): 修复latest_op_ts无法记录
mysql的greatest函数,null永远是最大值
2024-05-08 14:17:22 +08:00
v-zhangjc9
e894c58d7b feat(info-query): 增加更新pulsar backlog数据的接口 2024-04-30 18:28:52 +08:00
v-zhangjc9
2a7e6639e7 feat(info-query): 增加初始化sync_state接口 2024-03-14 17:14:47 +08:00
0338a0d579 feat(all): 优化依赖
移除旧common包
2024-03-05 15:16:52 +08:00
2019f47567 refactor(all): 优化日志loki标签默认值 防止没有默认值导致日志无法输出 2024-03-05 15:16:50 +08:00
623ad8b696 refactor(all): 优化日志输出格式 2024-03-05 15:16:50 +08:00
0244f9a550 refactor(all): 优化日志输出格式 2024-03-05 15:16:50 +08:00
6063e01b5c refactor(info-query): 新增flink job和table meta默认状态为n避免影响在线业务 2024-03-05 15:16:50 +08:00
526f29d87e feat(info-query): 补充查询table meta的方法统一使用同一种判断 2024-03-05 15:16:50 +08:00
347eb1ad86 fix(info-query): 修复取flink id和alias的方法没有完整校验表是否合法 2024-03-05 15:16:50 +08:00
aa3863de17 fix(info-query): 修复查询表详情不严谨导致将不完整的表也当作正常表使用
不完整的表插入压缩队列后导致处理队列的时间变长
2024-03-05 15:16:50 +08:00
ff72583d5d refactor(executor-task): 优化pulsar扫描任务
调整pulsar source并行度设置,优化pulsar时间分段长度
2024-03-05 15:16:50 +08:00
9140a39bf1 feat(executor-task): 数据扫描增加pulsar队列读取 2024-03-05 15:16:50 +08:00
390a2dd550 chore(test): 杂项 2024-03-05 15:16:50 +08:00
820c8438b1 feat(web): overview增加同步任务状态展示 2024-03-05 15:16:50 +08:00
1a271d84f2 fix(info-query): 修复跨天查询字段匹配错误 2024-03-05 15:16:49 +08:00
9aec08c43a feat(info-query): 切换旧数据库操作到新服务 2024-03-05 15:16:49 +08:00
829813df38 refactor(info-query): 移除无用参数 2024-03-05 15:16:49 +08:00
143b2fcb99 style(info-query): 移除一个IDE警告 2024-03-05 15:16:49 +08:00
5b00b5faaf refactor(info-query): 调整代码分类
将大的service类拆分到小的类中,方便后期维护和功能调整
2024-03-05 15:16:49 +08:00
8a5e6f69ac fix(web): 移除eureka跳转 2024-03-05 15:16:48 +08:00
de4b85cad6 fix(info-query): 修复flink job没有one in one配置时候查询不到
使用左连接来取一些可能不存在的关联值
2024-03-05 15:16:48 +08:00
7aedde5086 refactor(info-query): 转换flink job查询旧逻辑到新逻辑 2024-03-05 15:16:48 +08:00
c2cdfac269 refactor(info-query): 转换旧逻辑到新逻辑 2024-03-05 15:16:48 +08:00
75e01891c3 feat(info-query): 增加简单table meta信息查询 2024-03-05 15:16:48 +08:00
6b564bb7ea refactor(info-query): 优化参数 2024-03-05 15:16:48 +08:00
7d6a4e2cce fix(info-query): 修复sql字段错误导致查询缓慢 2024-03-05 15:16:48 +08:00
b69485aaee feature(info-query): 使用统一的表字段变量查询SQL语句 2024-03-05 15:16:48 +08:00
1a0bc8b7ef feature(web): 优化flink job id和alias的自动匹配获取 2024-03-05 15:16:48 +08:00
01500d2b5d feature(info-query): 优化SQL logger的埋点,增加说明 2024-03-05 15:16:48 +08:00
72bdda5546 feature(all): 增加zookeeper作为注册中心 2024-03-05 15:16:48 +08:00
5abfe2d017 feature(info-query): 增加hudi表类型过滤 2024-03-05 15:16:48 +08:00
2ac1e0be2c feature(info-query): 增加sql日志记录 2024-03-05 15:16:48 +08:00
b13e70d9cb feature(web): 增加 hdfs 路径补全 2024-03-05 15:16:48 +08:00
30f42b2734 feature(info-query): 增加查询表是否存在的接口 2024-03-05 15:16:48 +08:00
740a9aea45 feature(all): 服务增加配置文件信息加密 2024-03-05 15:16:48 +08:00
1ed1b8105a fix(info-query): 修复查询已跨天表接口调用未跨天接口 2024-03-05 15:16:48 +08:00
29c328a899 feature(web): 增加压缩结果显示 2024-03-05 15:16:48 +08:00
edbf54a519 feature(info-query): 增加历史压缩情况查询 2024-03-05 15:16:48 +08:00
266584cece feature(info-query): 增加 hive 表维度统计 2024-03-05 15:16:48 +08:00
04a23431f7 refactor(info-query): 优化跨天信息和基本信息查询 2024-03-05 15:16:47 +08:00
48c18ce7e3 fix(info-query): 修复查询重点表过滤优先级错误 2024-03-05 15:16:47 +08:00
303ff580f5 fix(info-query): 修复查询版本没有区分跨天状态 2024-03-05 15:16:47 +08:00
4e963fa537 feature(web): 增加 Overview 页面
方便总览全局情况,跨页面查看信息多有不便
2024-03-05 15:16:47 +08:00