Commit Graph

556 Commits

Author SHA1 Message Date
v-zhangjc9
514a65a5e6 feat(all): 增加项目说明 2024-10-31 17:52:01 +08:00
v-zhangjc9
57a57ace77 feat(sync): 增加日志输出 2024-10-22 17:08:49 +08:00
v-zhangjc9
1338e6458c feat(cli): 增加主机是否启用的能力 2024-10-22 08:59:13 +08:00
v-zhangjc9
9fd46b3a20 feat(scheduler): 微调b12集群的资源限制 2024-10-14 15:23:15 +08:00
v-zhangjc9
8e8b1a7684 feat(bin): 移除ytp传输 2024-10-14 14:41:06 +08:00
v-zhangjc9
4d8238dd7f feat(all): 移除b5集群 2024-10-14 14:32:43 +08:00
v-zhangjc9
73f7d3085a feat(scheduler): 调整b12的资源限制
反正也没有备用集群的需求,一个集群用到头就好
2024-10-14 14:26:27 +08:00
v-zhangjc9
3f8652395c fix(scheduler): 修复闲时压缩crm重点表调度到A4集群 2024-10-14 14:21:53 +08:00
v-zhangjc9
8c6e0aa353 feat(scheduler): 禁止b5、a4在闲时调度期间使用 2024-10-14 10:55:36 +08:00
v-zhangjc9
e15dd6289d feat(web): 增加指标采集进度显示 2024-10-14 10:51:10 +08:00
v-zhangjc9
7d33227d70 feat(monitor): 增加关于hudi表文件数的监控指标 2024-10-12 17:17:15 +08:00
v-zhangjc9
8fda8f7669 fix(hudi-query): 修复接口调用错误 2024-10-12 15:52:05 +08:00
v-zhangjc9
57a828c5b4 feat(hudi-query): 增加关于hdfs文件数相关的接口 2024-10-12 14:43:05 +08:00
v-zhangjc9
b9f6aa0cc2 fix(forest): 修复接口类型错误 2024-10-12 14:42:28 +08:00
v-zhangjc9
dcb9028d86 feat(all): 增加项目说明 2024-09-27 15:23:36 +08:00
v-zhangjc9
57a2787bf8 feat(scheduler): 修复调度 2024-09-24 19:11:57 +08:00
v-zhangjc9
813ddfaeac feat(scheduler): 调整日常调度的时间点
停止11、14点的全表压缩调度
2024-09-24 18:02:49 +08:00
v-zhangjc9
0cbf6b28ef feat(all): 增加项目说明 2024-09-20 14:58:51 +08:00
v-zhangjc9
7efb2527d0 feat(all): 增加项目说明 2024-09-13 10:06:06 +08:00
v-zhangjc9
f085c9d506 feat(all): 增加项目说明 2024-09-06 10:58:01 +08:00
v-zhangjc9
60d82238f5 feat(common): 增加排序字段 2024-08-29 17:09:36 +08:00
v-zhangjc9
ec67fd30b6 feat(configuration): 补充新集群pulsar信息 2024-08-22 09:08:07 +08:00
v-zhangjc9
41555ef647 feat(all): 增加项目描述 2024-08-15 10:35:36 +08:00
v-zhangjc9
0774a5dd8e feat(all): 增加项目描述 2024-08-08 16:07:45 +08:00
v-zhangjc9
63b81155b8 fix(sync): 修复指标名称重复 2024-07-30 19:06:01 +08:00
v-zhangjc9
d8b06e4232 fix(executor): 修复指标无法输出 2024-07-30 19:05:43 +08:00
v-zhangjc9
0d2f1ccbb4 fix(executor): 修复类引用路径 2024-07-30 17:03:33 +08:00
v-zhangjc9
a3472340b5 feat(all): flink job增加tags属性
flink job级别增加标签属性,用于区分调用测试包和非测试包
2024-07-30 16:42:02 +08:00
v-zhangjc9
b0c5d04476 revert(common): 回滚Record消息结构更新
This reverts commit 6c9f43d310.
2024-07-29 15:42:35 +08:00
v-zhangjc9
738af7a85f build(web): 升级amis依赖 2024-07-16 16:20:35 +08:00
v-zhangjc9
cb4a21ab59 feat(scheduler): crm重点表独占a4调度 2024-07-10 18:20:29 +08:00
v-zhangjc9
aaa243d626 feat(info-query): 使用tags来区分重点表与否 2024-07-10 16:22:27 +08:00
v-zhangjc9
6c9f43d310 feat(common): Record消息结构更新
新增info字段用于存一些公共字段,statement加入消息加密能力
2024-07-09 15:36:10 +08:00
v-zhangjc9
ae6e4855e0 feat(scheduler): 增加CRM重点表的独占调度
2-6点CRM重点表独占a4集群
2024-07-08 17:46:21 +08:00
v-zhangjc9
d99e5b261b feat(info-query): 增加单表跨天查询 2024-07-05 11:38:42 +08:00
v-zhangjc9
db38686957 build(all): 完成任务提交KPI 2024-06-28 09:37:48 +08:00
v-zhangjc9
2be10d8437 revert(sync): 使用checkpoint lock报障message id上报的时候状态稳定
会导致部分hudi表checkpoint时间超长
This reverts commit f0a6dbbb
2024-06-17 18:53:35 +08:00
v-zhangjc9
7f10d53c4e feat(sync): 增加checkpoint的日志记录 2024-06-17 18:49:43 +08:00
v-zhangjc9
b787a4f393 feat(scheduler): 增加crm重点表的4 5点调度 2024-06-17 18:49:24 +08:00
v-zhangjc9
4ffcfe3ab5 fix(sync): 修复null字符串=null的识别 2024-06-17 18:48:49 +08:00
v-zhangjc9
ef983f9eb7 feat(service-command-pro): 添加Pulsar命令行工具 2024-06-13 16:27:17 +08:00
v-zhangjc9
5bad6b6e1e fix(sync): 优化TypeConverterV2的空值判断逻辑 2024-06-13 16:26:44 +08:00
v-zhangjc9
1f9b7fbd08 refactor(sync): 移除自制的指标推送工具 接入flink的指标体系 2024-06-12 15:16:32 +08:00
v-zhangjc9
bc744e0fd2 test(sync): 增加检查数据解析测试的案例 2024-06-07 14:47:39 +08:00
v-zhangjc9
f0a6dbbbb5 feat(sync): 使用checkpoint lock报障message id上报的时候状态稳定 2024-06-05 17:37:32 +08:00
v-zhangjc9
0b4cec3955 feat(executor-task): 完成动态调整的pulsar扫描
对于pulsar在时间段上资源分配不均,通过pulsar reader中重新分配split解决,保证整个读取的流程中都能尽可能利用多线程的优势
2024-06-05 17:37:04 +08:00
v-zhangjc9
4c528bca61 refactor(monitor): 表数据清理交给运维同事统一处理 2024-06-04 22:58:16 +08:00
v-zhangjc9
f4c7f9954b fix(api): 移除metadata原始数据存储,提高数据库效率 2024-06-04 22:58:16 +08:00
v-zhangjc9
24e4672dc3 feat(scheduler): 使用简化的table_meta加速查询 2024-06-04 13:57:53 +08:00
v-zhangjc9
6f2fce4359 feat(executor-manager): 增加表数据查询10条采样任务 2024-06-04 13:57:53 +08:00