docs: 补充web文档

This commit is contained in:
v-zhangjc9
2024-03-08 15:19:17 +08:00
parent f61c72164c
commit e1bc8ac20c
18 changed files with 164 additions and 24 deletions

140
README.md
View File

@@ -1,4 +1,5 @@
<!-- TOC -->
* [概述](#概述)
* [部署](#部署)
* [配置准备](#配置准备)
@@ -22,12 +23,37 @@
* [运维](#运维)
* [命令行](#命令行)
* [Web](#web)
* [概览](#概览)
* [表任务](#表任务)
* [Flink任务详情](#flink任务详情)
* [表任务详情](#表任务详情)
* [同步情况](#同步情况)
* [压缩情况](#压缩情况)
* [历史压缩](#历史压缩)
* [时间线](#时间线)
* [Pulsar队列](#pulsar队列)
* [Hudi表结构](#hudi表结构)
* [压缩队列](#压缩队列)
* [跨天](#跨天)
* [同步集群](#同步集群)
* [压缩集群](#压缩集群)
* [Cloud](#cloud)
* [小工具](#小工具)
* [查询时间线](#查询时间线)
* [提交压缩任务](#提交压缩任务)
* [批量提交压缩任务](#批量提交压缩任务)
* [停止所有压缩任务](#停止所有压缩任务)
* [离线检索](#离线检索)
* [查询文件](#查询文件)
* [检索最后操作时间](#检索最后操作时间)
* [HDFS](#hdfs)
* [模块](#模块)
* [Hudi 运行代码](#hudi-运行代码)
* [sync](#sync)
* [运维服务](#运维服务)
* [部署工具](#部署工具)
* [开发](#开发)
<!-- TOC -->
# 概述
@@ -336,10 +362,124 @@ uploader
# 运维
应用提供三部分运维方案:
- **命令行**提供命令行操作包括同步的启动、停止等在Web无法使用的情况下做一些简单运维操作
- **Web**:提供表信息、运行总览等,完成常见的运维操作;
- **HDFS**在上述手段出现问题或无法操作的情况下直接访问HDFS查看hudi表相关的状态。
## 命令行
## Web
### 概览
概览页面可以看到应用的主要运行情况,从上到下分别有:
- 表数量
- 逻辑表(根据上游源表名去重得到)
- 湖底表根据目标hudi表路径去重得到
- 嗨福表根据hive表名去重得到
- Flink运行同步任务数量
- flink任务数
- flink任务下对应表总数
- hudi同步集群情况
- hudi压缩集群情况
- 跨天情况
- 重点表跨天情况
- 普通表跨天情况
- 压缩调度定时策略
![](assets/hudi_web_override.png)
### 表任务
可以按表级别查询到相关配置、运行、周边信息,完成常见的表运维跟踪。
![](assets/hudi_web_tables.png)
#### Flink任务详情
点击`Flink job id`项目可以打开Flink任务详情页面。
![](assets/hudi_web_flink_job_detail.png)
#### 表任务详情
点击`别名`项目可以打开表任务详情页面,在这个页面主要可以查看表本身的配置信息,尤其是字段信息。
![](assets/hudi_web_table_meta_detail.png)
##### 同步情况
查看Flink同步任务的详情和历史情况方便直接跳转日志查看。
![](assets/hudi_web_table_meta_detail_sync.png)
##### 压缩情况
查看Flink同步任务的详情和历史情况方便直接跳转日志查看由于压缩任务运行在多集群历史任务保留多久会受到各个集群任务量、配置的限制如果超出集群保留任务列表的限制比如b1集群任务列表整个集群最后10000条就会在这里查询不到在使用的时候需要注意这一点。
![](assets/hudi_web_flink_job_detail_compaction.png)
##### 历史压缩
记录在数据库中的历史压缩情况,由各个服务端维护,方便查询历史压缩情况,不受集群保留历史任务限制。
![](assets/hudi_web_flink_job_detail_compaction_history.png)
##### 时间线
查询实时hudi表时间线可以更清晰地看到压缩情况和同步情况对于查询压缩任务启停时间点以及压缩任务包含文件数非常有帮助。
![](assets/hudi_web_flink_job_detail_timeline.png)
##### Pulsar队列
![](assets/hudi_web_table_meta_detail_pulsar.png)
##### Hudi表结构
![](assets/hudi_web_table_meta_detail_struct.png)
### 压缩队列
![](assets/hudi_web_queue.png)
### 跨天
![](assets/hudi_web_version.png)
### 同步集群
![](assets/hudi_web_sync.png)
### 压缩集群
![](assets/hudi_web_compaction.png)
### Cloud
![](assets/hudi_web_cloud_service.png)
### 小工具
#### 查询时间线
#### 提交压缩任务
#### 批量提交压缩任务
#### 停止所有压缩任务
### 离线检索
#### 查询文件
#### 检索最后操作时间
## HDFS
# 模块
模块主要分为三部分,包含 Hudi 运行代码、运维服务和部署工具。

Binary file not shown.

Before

Width:  |  Height:  |  Size: 41 KiB

After

Width:  |  Height:  |  Size: 18 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 40 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 48 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 13 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 14 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 18 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 63 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 35 KiB

BIN
assets/hudi_web_queue.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 51 KiB

BIN
assets/hudi_web_sync.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 40 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 93 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 30 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 14 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 22 KiB

BIN
assets/hudi_web_tables.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 41 KiB

BIN
assets/hudi_web_version.png Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 36 KiB

Binary file not shown.

Before

Width:  |  Height:  |  Size: 57 KiB

After

Width:  |  Height:  |  Size: 23 KiB