59 Commits

Author SHA1 Message Date
v-zhangjc9
8e8b1a7684 feat(bin): 移除ytp传输 2024-10-14 14:41:06 +08:00
v-zhangjc9
4d8238dd7f feat(all): 移除b5集群 2024-10-14 14:32:43 +08:00
v-zhangjc9
7e4d50d7f3 fix(bin): sync模块编译前置patch模块 2024-06-04 13:57:53 +08:00
v-zhangjc9
e257044ff6 fix(bin): 修复ytp上传后没有清理jar包 2024-05-27 16:39:17 +08:00
v-zhangjc9
8f7689c187 fix(bin): 修复编译脚本 2024-05-27 14:58:21 +08:00
v-zhangjc9
a02ede8c7e style(bin): 调整脚本命名 2024-05-26 23:46:43 +08:00
v-zhangjc9
bb745b6f82 feat(bin): 去掉本地仓库依赖 2024-05-26 23:43:55 +08:00
v-zhangjc9
ac7763c40f fix(bin): 修复http上传脚本显示错误 2024-05-21 09:07:47 +08:00
v-zhangjc9
52b58426e4 feat(patch): 增加一个patch包用来放hudi相关代码
latest_op_ts相关的内容,直接放在业务包里,spark无法使用,单独打在patch包里,可以方便其他人加到spark jar里
2024-05-20 17:51:57 +08:00
v-zhangjc9
20e3fdae87 feat(cli): 增加check模块的脚本生生成 2024-05-16 12:22:16 +08:00
v-zhangjc9
835cc6729b feat(command-pro): 增加一个命令行工具用于直接操作hadoop等组件
基于微服务的命令行适合日常产品化运维操作,但能够直接操作Hadoop等组件,便于开发测试使用,因此增加一个模块用于开发过程中测试使用
2024-05-10 16:22:49 +08:00
v-zhangjc9
890afc33b1 refactor(bin): 使用本地仓库 2024-03-19 15:22:04 +08:00
v-zhangjc9
f61c72164c docs: 补充运维文档 2024-03-07 18:06:39 +08:00
v-zhangjc9
bf0c83f5bb fix(bin): 优化编译脚本 2024-03-06 17:20:07 +08:00
v-zhangjc9
c038664567 refactor(all): 优化maven插件触发 优化编译打包版本 2024-03-06 10:42:55 +08:00
d4e161459a feat(monitor): 增加指标输出模块
一些外部指标查询通过指标输出模块输出,避免对原业务模块产生影响
2024-03-05 15:16:53 +08:00
c1d423bc32 fix(uploader): 修复hdfs默认构造导致问题 2024-03-05 15:16:52 +08:00
a24080a543 fix(cli): 修复脚本名称错误 2024-03-05 15:16:52 +08:00
7dc38383c5 refactor(executor-manager): 使用sync同款jar更新方式 2024-03-05 15:16:52 +08:00
9a6eb1e0a4 feat(cli): 适配使用uploader上传jar包 2024-03-05 15:16:52 +08:00
f3c1d12c60 feat(uploader): 增加文件上传下载模块 2024-03-05 15:16:52 +08:00
c6c6919f11 refactor(all): b9配置从主分支移除 2024-03-05 15:16:52 +08:00
d0bbdff61d feat(all): 增加b9集群相关配置 2024-03-05 15:16:52 +08:00
0338a0d579 feat(all): 优化依赖
移除旧common包
2024-03-05 15:16:52 +08:00
5a2e9fdfb8 feat(all): 迁移common、sync、executor项目 2024-03-05 15:16:52 +08:00
0683068a02 feat(command): 迁移service-command项目 2024-03-05 15:16:52 +08:00
474ee6173d feat(scheduler): 迁移service-launcher项目 2024-03-05 15:16:52 +08:00
f258bfe5b0 feat(scheduler): 迁移service-scheduler项目 2024-03-05 15:16:52 +08:00
14409ae798 feat(api): 迁移hudi-api项目到这里 2024-03-05 15:16:52 +08:00
871b01522a feat(cli): 增加配置发布
将hadoop配置分发到各个主机上
2024-03-05 15:16:52 +08:00
73f0c4c82c refactor(cli): 优化脚本 增加command脚本的生成 2024-03-05 15:16:51 +08:00
5ecc3daac0 refactor(cli): 优化脚本 2024-03-05 15:16:51 +08:00
834980f880 feat(configuration): 增加yarn集群的相关配置 2024-03-05 15:16:51 +08:00
2817590617 docs(bin): 增加一个生成脚本的案例 2024-03-05 15:16:51 +08:00
ecb1773238 feat(check): 增加hdfs/juicefs的访问校验 2024-03-05 15:16:51 +08:00
ba7a68c565 feat(check): 增加环境检验工具 2024-03-05 15:16:51 +08:00
02f22070fd feat(exporter): 提供exporter项目专注于提供外部访问接口
单独使用exporter项目提供外部接口可以方便针对外部接口进行管理,比如加入更强的安全认证
2024-03-05 15:16:50 +08:00
a3db5fd937 refactor(cli): 补充编译全部的脚本 2024-03-05 15:16:50 +08:00
616eb1e514 feat(queue): 迁移queue到hudi service项目中 2024-03-05 15:16:50 +08:00
f5b1845d97 feat(gateway): 迁移gateway到hudi service项目中 2024-03-05 15:16:50 +08:00
fe0d779afb feat(executor): 完成任务提交执行的验证 2024-03-05 15:16:50 +08:00
9555a147a9 fix(hudi-query): 修复集群指向 2024-03-05 15:16:49 +08:00
c0b1071a16 refactor(all): 增加源码包打包 2024-03-05 15:16:48 +08:00
b82fc24f07 feat(cloud-query): 增加服务url查询 2024-03-05 15:16:48 +08:00
37cee81b55 refactor(cli): 更新b12部署方案 2024-03-05 15:16:48 +08:00
9905c2c856 feature(cli,yarn-query): 增加b12集群配置 2024-03-05 15:16:48 +08:00
62bfc08fc3 feature(executor): 增加Flink集群任务模块
新增 executor-manager 和 executor-task
manager管理任务信息启停等,task执行业务方法
2024-03-05 15:16:48 +08:00
00976bfb1f feature(bin): 优化文件上传 2024-03-05 15:16:48 +08:00
ee26aefe4c fix(bin): 修复一些bug 2024-03-05 15:16:48 +08:00
fcff50d523 fix(hudi-query): 修复部分表无法查询压缩计划 2024-03-05 15:16:45 +08:00