docs: 补充文档和配置注释
This commit is contained in:
63
README.md
63
README.md
@@ -1,13 +1,60 @@
|
||||
# Hudi Service
|
||||
|
||||
围绕 Hudi 同步和压缩流程建立了一整套的工具和流程。
|
||||
围绕Hudi同步和压缩流程建立了一整套的工具和流程。
|
||||
|
||||
*如果使用IDEA查看项目,可以安装Mermaid插件查看相关流程图。*
|
||||
## 部署
|
||||
|
||||
```mermaid
|
||||
graph LR
|
||||
a --> b
|
||||
```
|
||||
> 由于部份配置需要在源码增删,无法通过配置文件修改,**如果部署新集群,建议对master建立分支进行操作,避免配置混淆**
|
||||
|
||||
### 配置准备
|
||||
|
||||
#### 主机规划
|
||||
|
||||
通常来说,应用部署需要逻辑上规划有
|
||||
|
||||
- 一台**接口机**;用于操作脚本、存放jar包等。
|
||||
- 一台**组件机**;用于部署应用配套的外部组件。
|
||||
- 剩下的作为**应用机**;用于部署应用服务节点。
|
||||
|
||||
上述为逻辑规划,原则上对于机器配置没有特别要求,可以混用;如接口机上也用于部署外部组件,同时也作为服务节点部署服务。
|
||||
|
||||
组件机上规划有指标和日志汇聚,hudi任务多的情况下,对IO和磁盘有一定的负载要求,建议单独部署。
|
||||
|
||||
#### 外部资源确认
|
||||
|
||||
- 可用的Zookeeper集群(增删改查)
|
||||
- 可用的Hadoop3集群(HDFS增删改查)
|
||||
- 可用的Yarn集群(任务提交)
|
||||
- 可用的应用部署主机(Kerberos、JDK)
|
||||
- 部署主机到配置数据库的网络连通
|
||||
- 部署主机到Pulsar集群的网络连通(admin、client连通)
|
||||
- Yarn集群节点到组件机的网络连通
|
||||
- Yarn集群节点到Pulsar集群的网络连通(client)
|
||||
|
||||
##### Hadoop配置
|
||||
|
||||
在`config`目录下以「hudi数据所有集群名称+hudi同步运行集群名称」的格式建立配置文件夹,如`b2b12`,并将下列配置文件放在这里
|
||||
|
||||
- core-site.xml
|
||||
- hdfs-site.xml
|
||||
- yarn-site.xml
|
||||
- viewfs-mount-table.xml(如果需要使用联邦,core-site.xml也需要将引用改为相对路径引用)
|
||||
|
||||
#### 外部组件部署
|
||||
|
||||
##### Victoria Metrics
|
||||
|
||||
##### Loki
|
||||
|
||||
##### Grafana
|
||||
|
||||
#### 部署配置
|
||||
|
||||
以`service-cli/service-cli-runner/src/main/resources/application-b12.yml`为模版,补全应用部署信息
|
||||
|
||||
以`service-web/src/main/resources/static/common/info.js#commonInfo`为模板,补全web页面相关信息
|
||||
|
||||
## 运维
|
||||
|
||||
## 模块
|
||||
|
||||
@@ -23,8 +70,4 @@ sync 模块包含 Hudi 运行的全部业务逻辑,Hudi on flink 的运行模
|
||||
|
||||
### 部署工具
|
||||
|
||||
## 部署
|
||||
|
||||
## 运维
|
||||
|
||||
## 开发
|
||||
|
||||
Reference in New Issue
Block a user