Hudi Service
围绕Hudi同步和压缩流程建立了一整套的工具和流程。
部署
由于部份配置需要在源码增删，无法通过配置文件修改，如果部署新集群，建议对master建立分支进行操作，避免配置混淆
配置准备
主机规划
通常来说，应用部署需要逻辑上规划有
- 一台接口机；用于操作脚本、存放jar包等。
- 一台组件机；用于部署应用配套的外部组件。
- 剩下的作为应用机；用于部署应用服务节点。
上述为逻辑规划，原则上对于机器配置没有特别要求，可以混用；如接口机上也用于部署外部组件，同时也作为服务节点部署服务。
组件机上规划有指标和日志汇聚，hudi任务多的情况下，对IO和磁盘有一定的负载要求，建议单独部署。
外部资源确认
- 可用的Zookeeper集群（增删改查）
- 可用的Hadoop3集群（HDFS增删改查）
- 可用的Yarn集群（任务提交）
- 可用的应用部署主机（Kerberos、JDK）
- 部署主机到配置数据库的网络连通
- 部署主机到Pulsar集群的网络连通（admin、client连通）
- Yarn集群节点到组件机的网络连通
- Yarn集群节点到Pulsar集群的网络连通（client）
Hadoop配置
在config目录下以「hudi数据所有集群名称+hudi同步运行集群名称」的格式建立配置文件夹，如b2b12，并将下列配置文件放在这里
- core-site.xml
- hdfs-site.xml
- yarn-site.xml
- viewfs-mount-table.xml（如果需要使用联邦，core-site.xml也需要将引用改为相对路径引用）
外部组件部署
Victoria Metrics
Loki
Grafana
部署配置
以service-cli/service-cli-runner/src/main/resources/application-b12.yml为模版，补全应用部署信息
以service-web/src/main/resources/static/common/info.js#commonInfo为模板，补全web页面相关信息
运维
模块
模块主要分为三部分，包含 Hudi 运行代码、运维服务和部署工具。
Hudi 运行代码
sync
sync 模块包含 Hudi 运行的全部业务逻辑，Hudi on flink 的运行模式为