Commit Graph

Select branches

Hide Pull Requests

development

flow

jpa

local-development

master

Mono Color

• 0b4cec3955 feat(executor-task): 完成动态调整的pulsar扫描 v-zhangjc9 2024-06-05 17:37:04 +08:00
• 4c528bca61 refactor(monitor): 表数据清理交给运维同事统一处理 v-zhangjc9 2024-06-04 11:01:49 +08:00
• f4c7f9954b fix(api): 移除metadata原始数据存储，提高数据库效率 v-zhangjc9 2024-06-04 11:01:21 +08:00
• 24e4672dc3 feat(scheduler): 使用简化的table_meta加速查询 v-zhangjc9 2024-06-03 18:35:33 +08:00
• 6f2fce4359 feat(executor-manager): 增加表数据查询10条采样任务 v-zhangjc9 2024-06-03 16:17:41 +08:00
• 8aba2475be fix(executor-task): 修复sql语句查询到null字段导致数组越界错误 v-zhangjc9 2024-06-03 15:52:34 +08:00
• 1f6f5c270a feat(patch): 适配删除记录latest_op_ts的改动 v-zhangjc9 2024-06-03 15:51:48 +08:00
• 7e4d50d7f3 fix(bin): sync模块编译前置patch模块 v-zhangjc9 2024-06-03 15:50:49 +08:00
• 7a21159ac6 feat(executor-task): 增加Hudi数据校验任务 v-zhangjc9 2024-06-03 10:13:00 +08:00
• 633db5512d refactor(executor-task): 恢复pulsar读取策略 v-zhangjc9 2024-05-30 15:09:54 +08:00
• 9a6ed7e700 fix(command): 修复doubleCheck的奇怪错误 v-zhangjc9 2024-05-29 16:05:11 +08:00
• 29240a2990 fix(configuration): 修复actuator默认开启endpoints导致可以被外部获取程序和系统信息 v-zhangjc9 2024-06-04 10:12:33 +08:00
• e2dc42e7dd fix(info-query): 修复Clean Service无法构建 v-zhangjc9 2024-06-01 01:42:23 +08:00
• dcf92a809f feat(executor-task): 尝试优化pulsar的读取 v-zhangjc9 2024-05-29 08:52:44 +08:00
• deae4fd294 feat(executor-task): 增加一个mini hudi的功能 v-zhangjc9 2024-05-28 18:16:09 +08:00
• 095347cd1a fix(hudi-query): 修复获取待压缩列表会拖慢性能 v-zhangjc9 2024-05-28 11:52:42 +08:00
• 9a1afbcceb fix(hudi-query): 修复时间线compaction操作完成状态无法识别 v-zhangjc9 2024-05-28 11:00:30 +08:00
• e257044ff6 fix(bin): 修复ytp上传后没有清理jar包 v-zhangjc9 2024-05-27 16:39:17 +08:00
• 8f7689c187 fix(bin): 修复编译脚本 v-zhangjc9 2024-05-27 14:58:21 +08:00
• 1b75ccefd3 feat(command): 调整spring-shell版本 v-zhangjc9 2024-05-27 00:14:53 +08:00
• a02ede8c7e style(bin): 调整脚本命名 v-zhangjc9 2024-05-26 23:46:43 +08:00
• bb745b6f82 feat(bin): 去掉本地仓库依赖 v-zhangjc9 2024-05-26 23:43:55 +08:00
• 67181e501e feat(cli): 调整优化hudi launcher模块副本数 v-zhangjc9 2024-05-23 17:08:41 +08:00
• 960b020052 feat(monitor): 增加table_version表和compaction_metrics表的定时清理 v-zhangjc9 2024-05-23 11:52:21 +08:00
• 496b09d2de feat(common): 移除没有使用的表 v-zhangjc9 2024-05-23 11:50:59 +08:00
• 5c80589ff6 feat(api): 增加原始压缩报告的保存 v-zhangjc9 2024-05-23 10:58:19 +08:00
• bff18280f3 perf(hudi-query): 优化hudi时间线的扫描速度 v-zhangjc9 2024-05-22 13:11:50 +08:00
• 2b7b7f838c feat(scheduler): 暂停b5的压缩调度 v-zhangjc9 2024-05-22 13:10:36 +08:00
• a4710845d7 perf(monitor): 优化pulsar backlog读取的压力 v-zhangjc9 2024-05-22 13:08:50 +08:00
• 69f1f2207a fix(command): 补充hoodie.properties文件的升降级 v-zhangjc9 2024-05-21 19:06:52 +08:00
• 3ce40ef1af perf(sync): 调整归档保留时间线数量 v-zhangjc9 2024-05-21 19:04:57 +08:00
• e8eb7fab8a perf(command): 增加启动同步任务的并发数 v-zhangjc9 2024-05-21 19:03:59 +08:00
• 9db8746496 feat(command): 增加手动调度全表压缩和重点表压缩 v-zhangjc9 2024-05-21 19:03:01 +08:00
• 617456b7d9 perf(pulsar-query): 使用缓存优化pulsar查询时候创建admin的时间 v-zhangjc9 2024-05-21 14:35:29 +08:00
• ac7763c40f fix(bin): 修复http上传脚本显示错误 v-zhangjc9 2024-05-21 09:07:47 +08:00
• 52b58426e4 feat(patch): 增加一个patch包用来放hudi相关代码 v-zhangjc9 2024-05-20 17:51:30 +08:00
• e8fe8c4680 feat(executor-task): 优化task的配置信息传递 v-zhangjc9 2024-05-20 15:25:10 +08:00
• d94589cc63 feat(sync): Trace latest opts 的各个类迁移到hudi flink包下，避免影响业务查询使用 v-zhangjc9 2024-05-20 15:23:40 +08:00
• 010ea83b5c feat(sync): 加入是否使用HSync的配置项 v-zhangjc9 2024-05-20 15:22:30 +08:00
• fd9f97d03b fix(executor-manager): 日志改为动态配置 v-zhangjc9 2024-05-17 18:05:01 +08:00
• f398b8cdc3 feat(executor-task): 使用Flink SQL查询表总数、业务最后操作时间 v-zhangjc9 2024-05-17 17:32:07 +08:00
• 592d27ad6f feat(cli): 增加配置数据库信息到脚本里 v-zhangjc9 2024-05-16 16:37:23 +08:00
• d42c2c2bbe fix(database): 补充字段 v-zhangjc9 2024-05-16 15:39:47 +08:00
• ceec7bf36f fix(database): 增加sql分号方便使用 v-zhangjc9 2024-05-16 14:57:08 +08:00
• 486b9ec6b5 feat(database): 增加汇聚平台表信息表sql v-zhangjc9 2024-05-16 14:50:59 +08:00
• 20e3fdae87 feat(cli): 增加check模块的脚本生生成 v-zhangjc9 2024-05-16 12:22:16 +08:00
• 9915da5018 refactor(common): 移除无用的注释代码 v-zhangjc9 2024-05-16 11:56:51 +08:00
• b2969e3726 perf(database): 优化配置库建表语句 v-zhangjc9 2024-05-16 11:55:29 +08:00
• 2d836bb509 feat(command): 增加启动同步任务的并发数 v-zhangjc9 2024-05-14 10:23:47 +08:00
• ce5c98b491 fix(configuration): 使用定长的线程池控制并发数量 v-zhangjc9 2024-05-14 10:23:27 +08:00
• 71b8d0684b feat(web): 增加pulsar接收时间和压缩最后业务时间的展示 v-zhangjc9 2024-05-14 09:40:03 +08:00
• fbbaa60dc5 fix(info-query): 修复通过优先级查询重点表可能会出错 v-zhangjc9 2024-05-13 10:52:08 +08:00
• e5f945c74b perf(executor-task): 减少数据流转 v-zhangjc9 2024-05-13 08:44:40 +08:00
• 80fae0be38 perf(executor-task): pulsar检索范围缩短到30分钟 v-zhangjc9 2024-05-12 17:42:22 +08:00
• a1e0b20e87 feat(executor-task): parquet文件读取增加选择列 v-zhangjc9 2024-05-12 17:41:09 +08:00
• b51176e5c2 feat(scheduler): 增加b12集群的资源限制上限 v-zhangjc9 2024-05-10 17:28:54 +08:00
• 835cc6729b feat(command-pro): 增加一个命令行工具用于直接操作hadoop等组件 v-zhangjc9 2024-05-10 16:22:49 +08:00
• d46cd5697c feat(sync): 增加使用hflush的标记 v-zhangjc9 2024-05-10 14:14:18 +08:00
• d457b5d2f6 feat(command): 增加升降级hoodie.properties配置文件的操作 v-zhangjc9 2024-05-10 09:32:23 +08:00
• dad624037b fix(command): 移除不知道为什么增加的睡眠1秒 v-zhangjc9 2024-05-10 09:31:58 +08:00
• e35733a2d8 feat(api): 对于需要记录最后时间的字段使用比较方式更新 v-zhangjc9 2024-05-09 18:22:42 +08:00
• bfdc5743ab feat(scheduler): 调整b12资源限制 v-zhangjc9 2024-05-09 18:12:51 +08:00
• def035fa90 perf(api): 优化api指标存储和传输 v-zhangjc9 2024-05-09 18:12:25 +08:00
• 7fb5710cb3 feat(all): 升级依赖版本 v-zhangjc9 2024-05-09 11:05:10 +08:00
• 0bf3d17009 feat(sync): 增加pulsar消息最后接收时间 v-zhangjc9 2024-05-09 09:03:00 +08:00
• 103bde5cdc perf(scheduler): 优化批量压缩调度接口 v-zhangjc9 2024-05-08 18:35:26 +08:00
• 7f884a5554 feat(web): 表详情增加直接查看hdfs目录的入口 v-zhangjc9 2024-05-08 14:43:20 +08:00
• 23ced7a2e1 fix(api): 修复latest_op_ts无法记录 v-zhangjc9 2024-05-08 14:16:46 +08:00
• 10fae04007 fix(hudi-query): 修复写hdfs文件内容取值错误 v-zhangjc9 2024-05-08 14:14:19 +08:00
• b2e3a58d27 feat(hudi-query): 新增写hdfs文件接口 v-zhangjc9 2024-05-08 10:02:33 +08:00
• 5c9089419f feat(sync): 增加latest_op_ts输出能力 v-zhangjc9 2024-05-07 17:37:01 +08:00
• 9967d1258f feat(cli): 增加jar包hash展示方便比对 v-zhangjc9 2024-05-07 09:53:48 +08:00
• 5add0d5d25 feat(scheduler): 调整b12资源使用上限 v-zhangjc9 2024-05-06 15:17:43 +08:00
• 240cef07c4 refactor(pulsar-query): 使backlog返回默认值-1 方便后续处理 v-zhangjc9 2024-05-06 15:16:48 +08:00
• f151374afd feat(monitor): 增加处理线程 输出错误日志 v-zhangjc9 2024-05-06 15:16:00 +08:00
• 864df40f34 feat(forest): 增加基本类型转换 v-zhangjc9 2024-05-06 15:15:05 +08:00
• 69b5ab558e fix(executor): 简化三方依赖引用 v-zhangjc9 2024-04-30 18:29:50 +08:00
• e894c58d7b feat(info-query): 增加更新pulsar backlog数据的接口 v-zhangjc9 2024-04-30 18:28:52 +08:00
• d88fb7f1e9 refactor(sync): 扩大日志范围 v-zhangjc9 2024-04-30 14:45:22 +08:00
• 4e1a6be17f fix(executor): 修复配置路径错误和注解错误导致victoria metrics指标输出初始化错误 v-zhangjc9 2024-04-30 14:44:52 +08:00
• 97e1f86465 fix(launcher): 规范指标名称 使用timer规范时间指标的输出 v-zhangjc9 2024-04-30 10:15:43 +08:00
• b36311863c fix(executpr): 修复报名错误导致flink指标无法输出 v-zhangjc9 2024-04-30 10:15:06 +08:00
• ed06992b51 fix(sync): 修复包名错误导致日志没有打印 v-zhangjc9 2024-04-30 10:14:11 +08:00
• 2ef8dbd00a feat(api): latest_op_ts按较大值更新到数据库 v-zhangjc9 2024-04-29 16:59:13 +08:00
• 6167a94fcf feat(api): 增加压缩参数记录 v-zhangjc9 2024-04-29 15:31:44 +08:00
• b30ce6d675 feat(launcher): 增加详细的压缩任务提交耗时指标 v-zhangjc9 2024-04-29 15:07:53 +08:00
• 5d3f0140f5 feat(hudi-query): 增加一个查询路径大小的接口 v-zhangjc9 2024-04-29 14:41:35 +08:00
• 0fa0a396ef refactor(executor-task): 使用简单的twr写法 v-zhangjc9 2024-04-29 14:33:35 +08:00
• c0b48ba2dd fix(web): 修复非hudi-service管理的yarn任务也显示打开日志的按钮 v-zhangjc9 2024-04-29 14:32:47 +08:00
• 572a1dab9f feat(web): 增加HDFS文件管理器 v-zhangjc9 2024-04-28 16:28:48 +08:00
• 9913943a27 feat(scheduler): 增加指定时间范围内在指定集群运行/不运行 v-zhangjc9 2024-04-26 20:04:05 +08:00
• befb383bee feat(web): 升级amis版本 v-zhangjc9 2024-04-26 14:51:43 +08:00
• bfdfc05c65 feat(web): 增加服务个数显示 v-zhangjc9 2024-04-26 14:16:03 +08:00
• d899556bfd refactor(launcher): 增加Clear hodler时的日志 v-zhangjc9 2024-04-26 11:53:04 +08:00
• e25b263843 fix(web): 修复配置错误导致web无法看到其他压缩集群的任务 v-zhangjc9 2024-04-26 11:09:50 +08:00
• 053a9222cd feat(launcher): 增加单独指定集群进行手动压缩的接口 v-zhangjc9 2024-04-26 10:16:11 +08:00
• 1808c30786 feat(scheduler): 增加表可以不进行压缩调度但可以进行手动压缩 v-zhangjc9 2024-04-25 18:23:39 +08:00
• 00b21b06b4 fix(command): 修复参数名复数错误 v-zhangjc9 2024-04-25 18:22:54 +08:00
• 3ed5cafef9 docs: 增加说明文档 v-zhangjc9 2024-04-18 16:23:14 +08:00
• c740f50e08 perf(sync): 优化日志打印 v-zhangjc9 2024-04-11 17:10:22 +08:00