Commit Graph

413 Commits

Author SHA1 Message Date
v-zhangjc9
3ed5cafef9 docs: 增加说明文档 2024-04-18 16:23:14 +08:00
v-zhangjc9
c740f50e08 perf(sync): 优化日志打印 2024-04-11 17:10:22 +08:00
v-zhangjc9
d84e223484 fix(sync): 优化错误信息打印 2024-03-27 09:09:36 +08:00
v-zhangjc9
11e2998a52 fix(sync): 修复错误信息没有吐出到控制台 2024-03-26 14:50:18 +08:00
v-zhangjc9
15fd6d30c2 docs: 补充同步和压缩模块文档 2024-03-26 11:16:50 +08:00
v-zhangjc9
a002e2b796 refactor(sync): double precision类型映射改为double 2024-03-26 11:16:02 +08:00
v-zhangjc9
c4e4b8b3f1 docs: 补充文档 2024-03-22 15:55:05 +08:00
v-zhangjc9
03bb3243bc refactor(cli): 优化停止脚本查询线程的方案
加入使用jps命令查询线程,解决ps匹配不到部分线程的问题
2024-03-21 17:33:24 +08:00
v-zhangjc9
bbcb6b3f08 refactor(launcher): 增加一个日志忽略
这个日志没啥大用,搞来搞去也去不掉,但也不影响使用
2024-03-20 16:15:49 +08:00
v-zhangjc9
b6865127ca refactor(launcher): 增加flink的非jvm内存配置 2024-03-20 14:35:07 +08:00
v-zhangjc9
0608fa8344 fix(sync): 修复字段判断空值时类型转换错误
把字段值统一当作string处理,但hudi特有字段不是字符串,类型强转失败
2024-03-20 12:10:10 +08:00
v-zhangjc9
40e387239b fix(hudi-query): 修复juicefs依赖缺失 2024-03-19 18:01:49 +08:00
v-zhangjc9
59acf837ad fix(command): 修复没有使用推送队列的方式启动压缩 2024-03-19 16:33:08 +08:00
v-zhangjc9
0b5cea7053 fix(command): 修复没有初始化launcher service 2024-03-19 16:27:21 +08:00
v-zhangjc9
e28afe9e82 feat(command): 增加提交压缩任务的命令 2024-03-19 16:20:14 +08:00
v-zhangjc9
d63ceb023e fix(sync): 修复GlobalConfiguration参数不全 2024-03-19 15:49:43 +08:00
v-zhangjc9
890afc33b1 refactor(bin): 使用本地仓库 2024-03-19 15:22:04 +08:00
v-zhangjc9
9ecaa73a70 fix(launcher): 修复launcher没有传递signature 2024-03-19 15:06:11 +08:00
v-zhangjc9
5771ec238b feat(configuration): 增加signature标志 用于区分不同的服务群
比如生产环境和测试环境需要订阅同一个pulsar topic,同样的订阅名称会产生冲突,需要从集群层面避免冲突,所以增加了一个「签名(signature)」在需要的地方可以用于识别不同的两个集群
2024-03-19 14:30:17 +08:00
v-zhangjc9
4f055bfcf8 docs: 补充文档架构图 2024-03-18 22:35:19 +08:00
v-zhangjc9
a6845675d1 fix(sync): 修复decimal字段类型重名 2024-03-15 15:10:07 +08:00
v-zhangjc9
9f92f600b1 fix(cli): 修复命令行生成配置 2024-03-15 13:05:30 +08:00
v-zhangjc9
5eeb913ced docs: 补充离线查询截图 2024-03-15 10:17:03 +08:00
v-zhangjc9
a4675960f6 feat(command): 初始化sync_state表 2024-03-14 17:15:40 +08:00
v-zhangjc9
2a7e6639e7 feat(info-query): 增加初始化sync_state接口 2024-03-14 17:14:47 +08:00
v-zhangjc9
761ab9b933 docs: 优化文档格式 2024-03-14 11:59:32 +08:00
v-zhangjc9
4bfe35cb46 docs: 补充hudi表结构文档 2024-03-12 18:09:51 +08:00
v-zhangjc9
f850ad9c54 docs: 补充hudi command文档 2024-03-12 15:58:17 +08:00
v-zhangjc9
bad651b8a5 docs: 补充hudi web运维页面文档 2024-03-10 21:59:33 +08:00
v-zhangjc9
8cbbe97381 fix(monitor): 修复pulsar backlog查询指标为NaN
Map.getOrDefault只会保证一个默认值,但不会重新放入map里,导致每次都新创建一个指标,重复的guage指标会覆盖导致指标值为NaN
2024-03-08 16:10:45 +08:00
v-zhangjc9
e1bc8ac20c docs: 补充web文档 2024-03-08 15:19:17 +08:00
v-zhangjc9
f61c72164c docs: 补充运维文档 2024-03-07 18:06:39 +08:00
v-zhangjc9
9124b92838 fix(executor): 修复依赖错误 2024-03-07 14:45:03 +08:00
v-zhangjc9
a0cc56dcc5 refactor: 调整编译顺序 2024-03-07 09:38:03 +08:00
v-zhangjc9
bf0c83f5bb fix(bin): 优化编译脚本 2024-03-06 17:20:07 +08:00
v-zhangjc9
90b393277a docs: 补充文档和配置注释 2024-03-06 14:02:44 +08:00
v-zhangjc9
c038664567 refactor(all): 优化maven插件触发 优化编译打包版本 2024-03-06 10:42:55 +08:00
v-zhangjc9
f069dee39d docs: 增加文档 2024-03-05 15:40:52 +08:00
d4e161459a feat(monitor): 增加指标输出模块
一些外部指标查询通过指标输出模块输出,避免对原业务模块产生影响
2024-03-05 15:16:53 +08:00
41d5a6b264 fix(pulsar-query): 修复pulsar backlog获取错误 2024-03-05 15:16:53 +08:00
00257add00 feat(sync): 增加int unsigned类型转换为long 2024-03-05 15:16:53 +08:00
5ae92d644e fix(cli): 使用yaml转义key值中的点符号 2024-03-05 15:16:53 +08:00
637f290cd2 fix(sync): 修复空字符串导致消息基本类型解析失败 2024-03-05 15:16:53 +08:00
6ff19c1ebe feat(checker): 增加pulsar topic检查 2024-03-05 15:16:53 +08:00
6a0bbf3344 fix(sync): 修复decimal字段为空时抛出异常 使用返回null替代 2024-03-05 15:16:53 +08:00
396bc01f94 feat(sync): 字段类型不存在不抛出异常 默认使用String 2024-03-05 15:16:53 +08:00
299d8d5e23 fix(sync): 修复decimal类型名称重复导致schema解析报错
Schema中的类型名称不能重复,比如有一个decimal_15如果后面的字段再出现同样的类型名称,就会报错
2024-03-05 15:16:52 +08:00
c1d423bc32 fix(uploader): 修复hdfs默认构造导致问题 2024-03-05 15:16:52 +08:00
4a0db374fe fix(executor): 修复flink依赖版本 2024-03-05 15:16:52 +08:00
2669eed1ae feat(configuration): 输出http异常 2024-03-05 15:16:52 +08:00