feat(all): 移除b5集群
This commit is contained in:
v-zhangjc9
@@ -5,7 +5,7 @@ mvn install -N -D skipTests
|
|||||||
deploy service-common service-dependencies service-configuration service-forest service-cli service-cli/service-cli-core service-executor service-executor/service-executor-core utils/executor
|
deploy service-common service-dependencies service-configuration service-forest service-cli service-cli/service-cli-core service-executor service-executor/service-executor-core utils/executor
|
||||||
package service-api service-check service-cli/service-cli-runner service-cloud-query service-executor/service-executor-manager service-executor/service-executor-task service-command service-command-pro service-exporter service-flink-query service-gateway service-hudi-query service-info-query service-monitor service-loki-query service-pulsar-query service-queue service-scheduler service-uploader service-web service-yarn-query service-zookeeper-query utils/patch utils/sync
|
package service-api service-check service-cli/service-cli-runner service-cloud-query service-executor/service-executor-manager service-executor/service-executor-task service-command service-command-pro service-exporter service-flink-query service-gateway service-hudi-query service-info-query service-monitor service-loki-query service-pulsar-query service-queue service-scheduler service-uploader service-web service-yarn-query service-zookeeper-query utils/patch utils/sync
|
||||||
|
|
||||||
configs=(b2a4 b2b1 b2b5 b2b12)
|
configs=(b2a4 b2b1 b2b12)
|
||||||
for config in ${configs[*]};
|
for config in ${configs[*]};
|
||||||
do
|
do
|
||||||
mvn -pl service-launcher clean package -D skipTests -P $config
|
mvn -pl service-launcher clean package -D skipTests -P $config
|
||||||
|
|||||||
@@ -3,7 +3,7 @@ root_path=$(dirname $(cd $(dirname $0);pwd))
|
|||||||
source $root_path/bin/library.sh
|
source $root_path/bin/library.sh
|
||||||
deploy service-common service-dependencies service-configuration service-forest
|
deploy service-common service-dependencies service-configuration service-forest
|
||||||
|
|
||||||
configs=(b2a4 b2b1 b2b5 b2b12)
|
configs=(b2a4 b2b1 b2b12)
|
||||||
for config in ${configs[*]};
|
for config in ${configs[*]};
|
||||||
do
|
do
|
||||||
mvn -pl service-launcher clean package -D skipTests -P $config
|
mvn -pl service-launcher clean package -D skipTests -P $config
|
||||||
|
|||||||
@@ -1,265 +0,0 @@
|
|||||||
<configuration xmlns:xi="http://www.w3.org/2001/XInclude">
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.azure.user.agent.prefix</name>
|
|
||||||
<value>User-Agent: APN/1.0 Hortonworks/1.0 HDP/</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.defaultFS</name>
|
|
||||||
<value>hdfs://b2</value>
|
|
||||||
<final>true</final>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.s3a.fast.upload</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.s3a.fast.upload.buffer</name>
|
|
||||||
<value>disk</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.s3a.multipart.size</name>
|
|
||||||
<value>67108864</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.trash.interval</name>
|
|
||||||
<value>4320</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.trash.checkpoint.interval</name>
|
|
||||||
<value>360</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>ha.failover-controller.active-standby-elector.zk.op.retries</name>
|
|
||||||
<value>120</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>ha.zookeeper.acl</name>
|
|
||||||
<value>sasl:nn:rwcda</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>ha.zookeeper.quorum</name>
|
|
||||||
<value>b5m1.hdp.dc:2181,b5m2.hdp.dc:2181,b5m3.hdp.dc:2181</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.authentication.kerberos.keytab</name>
|
|
||||||
<value>/etc/security/keytabs/spnego.service.keytab</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.authentication.kerberos.principal</name>
|
|
||||||
<value>HTTP/_HOST@ECLD.COM</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.authentication.signature.secret.file</name>
|
|
||||||
<value>/etc/security/http_secret</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.authentication.simple.anonymous.allowed</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.authentication.type</name>
|
|
||||||
<value>simple</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.cross-origin.allowed-headers</name>
|
|
||||||
<value>X-Requested-With,Content-Type,Accept,Origin,WWW-Authenticate,Accept-Encoding,Transfer-Encoding</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.cross-origin.allowed-methods</name>
|
|
||||||
<value>GET,PUT,POST,OPTIONS,HEAD,DELETE</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.cross-origin.allowed-origins</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.cross-origin.max-age</name>
|
|
||||||
<value>1800</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.http.filter.initializers</name>
|
|
||||||
<value>org.apache.hadoop.security.AuthenticationFilterInitializer,org.apache.hadoop.security.HttpCrossOriginFilterInitializer</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.hdfs.groups</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.hdfs.hosts</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.hive.groups</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.hive.hosts</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.HTTP.groups</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.HTTP.hosts</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.iap.groups</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.iap.hosts</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.livy.groups</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.livy.hosts</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.yarn.groups</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.proxyuser.yarn.hosts</name>
|
|
||||||
<value>*</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.rpc.protection</name>
|
|
||||||
<value>authentication,privacy</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.security.auth_to_local</name>
|
|
||||||
<value>RULE:[1:$1@$0](hbase-b5@ECLD.COM)s/.*/hbase/
|
|
||||||
RULE:[1:$1@$0](hdfs-b5@ECLD.COM)s/.*/hdfs/
|
|
||||||
RULE:[1:$1@$0](spark-b5@ECLD.COM)s/.*/spark/
|
|
||||||
RULE:[1:$1@$0](yarn-ats-b5@ECLD.COM)s/.*/yarn-ats/
|
|
||||||
RULE:[1:$1@$0](.*@ECLD.COM)s/@.*//
|
|
||||||
RULE:[2:$1@$0](dn@ECLD.COM)s/.*/hdfs/
|
|
||||||
RULE:[2:$1@$0](hbase@ECLD.COM)s/.*/hbase/
|
|
||||||
RULE:[2:$1@$0](hive@ECLD.COM)s/.*/hive/
|
|
||||||
RULE:[2:$1@$0](jhs@ECLD.COM)s/.*/mapred/
|
|
||||||
RULE:[2:$1@$0](jn@ECLD.COM)s/.*/hdfs/
|
|
||||||
RULE:[2:$1@$0](livy@ECLD.COM)s/.*/livy/
|
|
||||||
RULE:[2:$1@$0](nm@ECLD.COM)s/.*/yarn/
|
|
||||||
RULE:[2:$1@$0](nn@ECLD.COM)s/.*/hdfs/
|
|
||||||
RULE:[2:$1@$0](rangeradmin@ECLD.COM)s/.*/ranger/
|
|
||||||
RULE:[2:$1@$0](rangerlookup@ECLD.COM)s/.*/ranger/
|
|
||||||
RULE:[2:$1@$0](rangertagsync@ECLD.COM)s/.*/rangertagsync/
|
|
||||||
RULE:[2:$1@$0](rangerusersync@ECLD.COM)s/.*/rangerusersync/
|
|
||||||
RULE:[2:$1@$0](rm@ECLD.COM)s/.*/yarn/
|
|
||||||
RULE:[2:$1@$0](spark@ECLD.COM)s/.*/spark/
|
|
||||||
RULE:[2:$1@$0](yarn@ECLD.COM)s/.*/yarn/
|
|
||||||
RULE:[2:$1@$0](yarn-ats-hbase@ECLD.COM)s/.*/yarn-ats/
|
|
||||||
DEFAULT</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.security.authentication</name>
|
|
||||||
<value>kerberos</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.security.authorization</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.security.instrumentation.requires.admin</name>
|
|
||||||
<value>false</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>io.compression.codec.lzo.class</name>
|
|
||||||
<value>com.hadoop.compression.lzo.LzoCodec</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>io.compression.codecs</name>
|
|
||||||
<value>org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>io.file.buffer.size</name>
|
|
||||||
<value>131072</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>io.serializations</name>
|
|
||||||
<value>org.apache.hadoop.io.serializer.WritableSerialization</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>ipc.client.connect.max.retries</name>
|
|
||||||
<value>50</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>ipc.client.connection.maxidletime</name>
|
|
||||||
<value>30000</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>ipc.client.idlethreshold</name>
|
|
||||||
<value>8000</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>ipc.server.tcpnodelay</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>mapreduce.jobtracker.webinterface.trusted</name>
|
|
||||||
<value>false</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>ipc.client.fallback-to-simple-auth-allowed</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.hdfs.impl.disable.cache</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
</configuration>
|
|
||||||
@@ -1,713 +0,0 @@
|
|||||||
<configuration xmlns:xi="http://www.w3.org/2001/XInclude">
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.block.access.token.enable</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.blockreport.initialDelay</name>
|
|
||||||
<value>120</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.blocksize</name>
|
|
||||||
<value>134217728</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.b5</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.read.shortcircuit</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.read.shortcircuit.streams.cache.size</name>
|
|
||||||
<value>4096</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.retry.policy.enabled</name>
|
|
||||||
<value>false</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.cluster.administrators</name>
|
|
||||||
<value> hdfs</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.content-summary.limit</name>
|
|
||||||
<value>5000</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.data.transfer.protection</name>
|
|
||||||
<value>authentication,privacy</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.address</name>
|
|
||||||
<value>0.0.0.0:1019</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.balance.bandwidthPerSec</name>
|
|
||||||
<value>6250000</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.data.dir</name>
|
|
||||||
<value>[DISK]file:///data1/hadoop/hdfs/data,[DISK]file:///data2/hadoop/hdfs/data,[DISK]file:///data3/hadoop/hdfs/data,[DISK]file:///data4/hadoop/hdfs/data,[DISK]file:///data5/hadoop/hdfs/data,[DISK]file:///data6/hadoop/hdfs/data,[DISK]file:///data7/hadoop/hdfs/data,[DISK]file:///data8/hadoop/hdfs/data,[DISK]file:///data9/hadoop/hdfs/data,[DISK]file:///data10/hadoop/hdfs/data,[DISK]file:///data11/hadoop/hdfs/data,[DISK]file:///data12/hadoop/hdfs/data,[DISK]file:///data13/hadoop/hdfs/data,[DISK]file:///data14/hadoop/hdfs/data,[DISK]file:///data15/hadoop/hdfs/data,[DISK]file:///data16/hadoop/hdfs/data,[DISK]file:///data17/hadoop/hdfs/data,[DISK]file:///data18/hadoop/hdfs/data,[DISK]file:///data19/hadoop/hdfs/data,[DISK]file:///data20/hadoop/hdfs/data,[DISK]file:///data21/hadoop/hdfs/data,[DISK]file:///data22/hadoop/hdfs/data,[DISK]file:///data23/hadoop/hdfs/data,[DISK]file:///data24/hadoop/hdfs/data</value>
|
|
||||||
<final>true</final>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.data.dir.perm</name>
|
|
||||||
<value>750</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.du.reserved</name>
|
|
||||||
<value>26405499904</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.failed.volumes.tolerated</name>
|
|
||||||
<value>2</value>
|
|
||||||
<final>true</final>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.http.address</name>
|
|
||||||
<value>0.0.0.0:1022</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.https.address</name>
|
|
||||||
<value>0.0.0.0:50475</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.ipc.address</name>
|
|
||||||
<value>0.0.0.0:8010</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.kerberos.principal</name>
|
|
||||||
<value>dn/_HOST@ECLD.COM</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.keytab.file</name>
|
|
||||||
<value>/etc/security/keytabs/dn.service.keytab</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.datanode.max.transfer.threads</name>
|
|
||||||
<value>16384</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.domain.socket.path</name>
|
|
||||||
<value>/var/lib/hadoop-hdfs/dn_socket</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.encrypt.data.transfer.cipher.suites</name>
|
|
||||||
<value>AES/CTR/NoPadding</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.automatic-failover.enabled</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.fencing.methods</name>
|
|
||||||
<value>shell(/bin/true)</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.b5</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.heartbeat.interval</name>
|
|
||||||
<value>3</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.hosts.exclude</name>
|
|
||||||
<value>/etc/hadoop/conf/dfs.exclude</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.http.policy</name>
|
|
||||||
<value>HTTP_ONLY</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.https.port</name>
|
|
||||||
<value>50470</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.internal.nameservices</name>
|
|
||||||
<value>b5</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.journalnode.edits.dir.b5</name>
|
|
||||||
<value>/data2/hadoop/hdfs/journal</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.journalnode.http-address</name>
|
|
||||||
<value>0.0.0.0:8480</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.journalnode.https-address</name>
|
|
||||||
<value>0.0.0.0:8481</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.journalnode.kerberos.internal.spnego.principal</name>
|
|
||||||
<value>HTTP/_HOST@ECLD.COM</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.journalnode.kerberos.principal</name>
|
|
||||||
<value>jn/_HOST@ECLD.COM</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.journalnode.keytab.file</name>
|
|
||||||
<value>/etc/security/keytabs/jn.service.keytab</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.accesstime.precision</name>
|
|
||||||
<value>0</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.acls.enabled</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.audit.log.async</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.avoid.read.stale.datanode</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.avoid.write.stale.datanode</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.checkpoint.dir</name>
|
|
||||||
<value>/data/hadoop/hdfs/namesecondary</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.checkpoint.edits.dir</name>
|
|
||||||
<value>${dfs.namenode.checkpoint.dir}</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.checkpoint.period</name>
|
|
||||||
<value>21600</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.checkpoint.txns</name>
|
|
||||||
<value>1000000</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.fslock.fair</name>
|
|
||||||
<value>false</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.handler.count</name>
|
|
||||||
<value>100</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b5.nn1</name>
|
|
||||||
<value>b5m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b5.nn2</name>
|
|
||||||
<value>b5m3.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b5.nn1</name>
|
|
||||||
<value>b5m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b5.nn2</name>
|
|
||||||
<value>b5m3.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.kerberos.internal.spnego.principal</name>
|
|
||||||
<value>HTTP/_HOST@ECLD.COM</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.kerberos.principal</name>
|
|
||||||
<value>nn/_HOST@ECLD.COM</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.keytab.file</name>
|
|
||||||
<value>/etc/security/keytabs/nn.service.keytab</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.max.extra.edits.segments.retained</name>
|
|
||||||
<value>180</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.name.dir</name>
|
|
||||||
<value>/data1/hadoop/hdfs/namenode,/data2/hadoop/hdfs/namenode</value>
|
|
||||||
<final>true</final>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.name.dir.restore</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.num.extra.edits.retained</name>
|
|
||||||
<value>18000</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b5.nn1</name>
|
|
||||||
<value>b5m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b5.nn2</name>
|
|
||||||
<value>b5m3.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.safemode.threshold-pct</name>
|
|
||||||
<value>0.99</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.shared.edits.dir.b5</name>
|
|
||||||
<value>qjournal://b5m1.hdp.dc:8485;b5m2.hdp.dc:8485;b5m3.hdp.dc:8485/b5</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.stale.datanode.interval</name>
|
|
||||||
<value>30000</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.startup.delay.block.deletion.sec</name>
|
|
||||||
<value>3600</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.write.stale.datanode.ratio</name>
|
|
||||||
<value>1.0f</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.nameservices</name>
|
|
||||||
<value>b5,b1,b2,b3,b4,a3,a4,f1,e1,d2</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.permissions.ContentSummary.subAccess</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.permissions.enabled</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.permissions.superusergroup</name>
|
|
||||||
<value>hdfs</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.replication</name>
|
|
||||||
<value>3</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.replication.max</name>
|
|
||||||
<value>50</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.web.authentication.kerberos.keytab</name>
|
|
||||||
<value>/etc/security/keytabs/spnego.service.keytab</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.web.authentication.kerberos.principal</name>
|
|
||||||
<value>HTTP/_HOST@ECLD.COM</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.webhdfs.enabled</name>
|
|
||||||
<value>true</value>
|
|
||||||
<final>true</final>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>fs.permissions.umask-mode</name>
|
|
||||||
<value>022</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>hadoop.caller.context.enabled</name>
|
|
||||||
<value>true</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>manage.include.files</name>
|
|
||||||
<value>false</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>nfs.exports.allowed.hosts</name>
|
|
||||||
<value>* rw</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>nfs.file.dump.dir</name>
|
|
||||||
<value>/tmp/.hdfs-nfs</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.datanode-restart.timeout</name>
|
|
||||||
<value>30</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.a4</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.a4</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.a4.nn1</name>
|
|
||||||
<value>a4m1.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.a4.nn2</name>
|
|
||||||
<value>a4m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.a4.nn1</name>
|
|
||||||
<value>a4m1.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.a4.nn2</name>
|
|
||||||
<value>a4m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.a4.nn1</name>
|
|
||||||
<value>a4m1.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.a4.nn2</name>
|
|
||||||
<value>a4m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.a3</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.a3</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.a3.nn1</name>
|
|
||||||
<value>a3m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.a3.nn2</name>
|
|
||||||
<value>a3m3.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.a3.nn1</name>
|
|
||||||
<value>a3m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.a3.nn2</name>
|
|
||||||
<value>a3m3.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.a3.nn1</name>
|
|
||||||
<value>a3m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.a3.nn2</name>
|
|
||||||
<value>a3m3.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.b3</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.b3</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b3.nn1</name>
|
|
||||||
<value>b3m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b3.nn2</name>
|
|
||||||
<value>b3m3.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b3.nn1</name>
|
|
||||||
<value>b3m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b3.nn2</name>
|
|
||||||
<value>b3m3.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b3.nn1</name>
|
|
||||||
<value>b3m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b3.nn2</name>
|
|
||||||
<value>b3m3.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.b1</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.b2</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.b1</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.b2</name>
|
|
||||||
<value>nn3,nn4</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b1.nn1</name>
|
|
||||||
<value>b1m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b1.nn2</name>
|
|
||||||
<value>b1m3.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b1.nn1</name>
|
|
||||||
<value>b1m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b1.nn2</name>
|
|
||||||
<value>b1m3.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b1.nn1</name>
|
|
||||||
<value>b1m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b1.nn2</name>
|
|
||||||
<value>b1m3.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b2.nn3</name>
|
|
||||||
<value>b1m5.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b2.nn4</name>
|
|
||||||
<value>b1m6.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b2.nn3</name>
|
|
||||||
<value>b1m5.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b2.nn4</name>
|
|
||||||
<value>b1m6.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b2.nn3</name>
|
|
||||||
<value>b1m5.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b2.nn4</name>
|
|
||||||
<value>b1m6.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.f1</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.f1</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.f1.nn1</name>
|
|
||||||
<value>f1m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.f1.nn2</name>
|
|
||||||
<value>f1m3.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.f1.nn1</name>
|
|
||||||
<value>f1m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.f1.nn2</name>
|
|
||||||
<value>f1m3.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.f1.nn1</name>
|
|
||||||
<value>f1m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.f1.nn2</name>
|
|
||||||
<value>f1m3.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.d2</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.d2</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.d2.nn1</name>
|
|
||||||
<value>d2m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.d2.nn2</name>
|
|
||||||
<value>d2m3.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.d2.nn1</name>
|
|
||||||
<value>d2m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.d2.nn2</name>
|
|
||||||
<value>d2m3.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.d2.nn1</name>
|
|
||||||
<value>d2m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.d2.nn2</name>
|
|
||||||
<value>d2m3.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.e1</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.e1</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.e1.nn1</name>
|
|
||||||
<value>e1m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.e1.nn2</name>
|
|
||||||
<value>e1m3.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.e1.nn1</name>
|
|
||||||
<value>e1m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.e1.nn2</name>
|
|
||||||
<value>e1m3.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.e1.nn1</name>
|
|
||||||
<value>e1m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.e1.nn2</name>
|
|
||||||
<value>e1m3.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
<property>
|
|
||||||
<name>dfs.client.failover.proxy.provider.b4</name>
|
|
||||||
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.ha.namenodes.b4</name>
|
|
||||||
<value>nn1,nn2</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b4.nn1</name>
|
|
||||||
<value>b4m2.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.http-address.b4.nn2</name>
|
|
||||||
<value>b4m3.hdp.dc:50070</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b4.nn1</name>
|
|
||||||
<value>b4m2.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.https-address.b4.nn2</name>
|
|
||||||
<value>b4m3.hdp.dc:50470</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b4.nn1</name>
|
|
||||||
<value>b4m2.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
<property>
|
|
||||||
<name>dfs.namenode.rpc-address.b4.nn2</name>
|
|
||||||
<value>b4m3.hdp.dc:8020</value>
|
|
||||||
</property>
|
|
||||||
|
|
||||||
</configuration>
|
|
||||||
File diff suppressed because it is too large
Load Diff
6
pom.xml
6
pom.xml
@@ -74,12 +74,6 @@
|
|||||||
<build-tag>b2b1</build-tag>
|
<build-tag>b2b1</build-tag>
|
||||||
</properties>
|
</properties>
|
||||||
</profile>
|
</profile>
|
||||||
<profile>
|
|
||||||
<id>b2b5</id>
|
|
||||||
<properties>
|
|
||||||
<build-tag>b2b5</build-tag>
|
|
||||||
</properties>
|
|
||||||
</profile>
|
|
||||||
<profile>
|
<profile>
|
||||||
<id>b2b12</id>
|
<id>b2b12</id>
|
||||||
<properties>
|
<properties>
|
||||||
|
|||||||
@@ -59,15 +59,13 @@ deploy:
|
|||||||
# hudi同步运行集群
|
# hudi同步运行集群
|
||||||
sync-clusters: b12
|
sync-clusters: b12
|
||||||
# hudi压缩运行集群
|
# hudi压缩运行集群
|
||||||
compaction-clusters: b12,b1,b5,a4
|
compaction-clusters: b12,b1,a4
|
||||||
# 覆盖service的公共配置，主要需要修改的就是部署副本数
|
# 覆盖service的公共配置，主要需要修改的就是部署副本数
|
||||||
services:
|
services:
|
||||||
service-api:
|
service-api:
|
||||||
replicas: 10
|
replicas: 10
|
||||||
service-launcher-b1:
|
service-launcher-b1:
|
||||||
replicas: 8
|
replicas: 8
|
||||||
service-launcher-b5:
|
|
||||||
replicas: 6
|
|
||||||
service-launcher-a4:
|
service-launcher-a4:
|
||||||
replicas: 6
|
replicas: 6
|
||||||
service-launcher-b12:
|
service-launcher-b12:
|
||||||
|
|||||||
@@ -46,27 +46,6 @@ deploy:
|
|||||||
"[connector.cluster.sync-queue-name]": sync-queue-b1
|
"[connector.cluster.sync-queue-name]": sync-queue-b1
|
||||||
"[connector.cluster.compaction-queue-name]": compaction-queue-b1
|
"[connector.cluster.compaction-queue-name]": compaction-queue-b1
|
||||||
"[connector.zookeeper.connect-url]": ${deploy.runtime.connector-zk-url}
|
"[connector.zookeeper.connect-url]": ${deploy.runtime.connector-zk-url}
|
||||||
service-launcher-b5:
|
|
||||||
order: 4
|
|
||||||
groups:
|
|
||||||
- "service"
|
|
||||||
- "service-hudi"
|
|
||||||
- "service-hudi-launcher"
|
|
||||||
source-jar: service-launcher-b2b5-1.0.0-SNAPSHOT.jar
|
|
||||||
replicas: 6
|
|
||||||
environments:
|
|
||||||
"[connector.hadoop.kerberos-principal]": ${deploy.runtime.user}/$\{hostname}.hdp.dc@ECLD.COM
|
|
||||||
"[connector.hadoop.kerberos-keytab-path]": ${deploy.runtime.kerberos-keytab-path}
|
|
||||||
"[connector.hudi.app-hdfs-path]": ${deploy.runtime.hudi.app-hdfs-path}
|
|
||||||
"[connector.hudi.app-test-hdfs-path]": ${deploy.runtime.hudi.app-test-hdfs-path}
|
|
||||||
"[connector.hudi.victoria-push-url]": ${deploy.runtime.hudi.victoria-push-url}
|
|
||||||
"[connector.hudi.loki-push-url]": ${deploy.runtime.hudi.loki-push-url}
|
|
||||||
arguments:
|
|
||||||
"[spring.application.name]": service-launcher-b5
|
|
||||||
"[connector.cluster.cluster]": b5
|
|
||||||
"[connector.cluster.sync-queue-name]": sync-queue-b5
|
|
||||||
"[connector.cluster.compaction-queue-name]": compaction-queue-b5
|
|
||||||
"[connector.zookeeper.connect-url]": ${deploy.runtime.connector-zk-url}
|
|
||||||
service-launcher-a4:
|
service-launcher-a4:
|
||||||
order: 4
|
order: 4
|
||||||
groups:
|
groups:
|
||||||
|
|||||||
@@ -227,12 +227,10 @@ public interface Constants {
|
|||||||
|
|
||||||
String COMPACTION_QUEUE_PRE = "compaction-queue-pre";
|
String COMPACTION_QUEUE_PRE = "compaction-queue-pre";
|
||||||
String COMPACTION_QUEUE_B1 = "compaction-queue-b1";
|
String COMPACTION_QUEUE_B1 = "compaction-queue-b1";
|
||||||
String COMPACTION_QUEUE_B5 = "compaction-queue-b5";
|
|
||||||
String COMPACTION_QUEUE_A4 = "compaction-queue-a4";
|
String COMPACTION_QUEUE_A4 = "compaction-queue-a4";
|
||||||
String COMPACTION_QUEUE_B12 = "compaction-queue-b12";
|
String COMPACTION_QUEUE_B12 = "compaction-queue-b12";
|
||||||
|
|
||||||
String CLUSTER_B1 = "b1";
|
String CLUSTER_B1 = "b1";
|
||||||
String CLUSTER_B5 = "b5";
|
|
||||||
String CLUSTER_A4 = "a4";
|
String CLUSTER_A4 = "a4";
|
||||||
String CLUSTER_B12 = "b12";
|
String CLUSTER_B12 = "b12";
|
||||||
|
|
||||||
|
|||||||
@@ -22,7 +22,6 @@ public class YarnClusters {
|
|||||||
MapUtil.<String, Cluster>builder()
|
MapUtil.<String, Cluster>builder()
|
||||||
.put("a4", new Cluster("http://132.121.107.91:8088"))
|
.put("a4", new Cluster("http://132.121.107.91:8088"))
|
||||||
.put("b1", new Cluster("http://132.122.98.13:8088"))
|
.put("b1", new Cluster("http://132.122.98.13:8088"))
|
||||||
.put("b5", new Cluster("http://132.122.116.12:8088"))
|
|
||||||
.put("b12", new Cluster("http://132.126.207.125:8088"))
|
.put("b12", new Cluster("http://132.126.207.125:8088"))
|
||||||
.build()
|
.build()
|
||||||
);
|
);
|
||||||
|
|||||||
@@ -1,12 +0,0 @@
|
|||||||
package com.lanyuanxiaoyao.service.forest.service.launcher.impl;
|
|
||||||
|
|
||||||
import com.dtflys.forest.annotation.BaseRequest;
|
|
||||||
import com.lanyuanxiaoyao.service.forest.service.launcher.LauncherService;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* @author lanyuanxiaoyao
|
|
||||||
* @date 2023-06-06
|
|
||||||
*/
|
|
||||||
@BaseRequest(baseURL = "http://service-launcher-b5")
|
|
||||||
public interface B5LauncherService extends LauncherService {
|
|
||||||
}
|
|
||||||
@@ -1,28 +0,0 @@
|
|||||||
package com.lanyuanxiaoyao.service.scheduler.quartz.distribute.cluster;
|
|
||||||
|
|
||||||
import com.lanyuanxiaoyao.service.common.Constants;
|
|
||||||
import com.lanyuanxiaoyao.service.forest.service.YarnService;
|
|
||||||
import org.springframework.cloud.client.discovery.DiscoveryClient;
|
|
||||||
import org.springframework.stereotype.Component;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* B5
|
|
||||||
*
|
|
||||||
* @author lanyuanxiaoyao
|
|
||||||
* @date 2023-06-08
|
|
||||||
*/
|
|
||||||
@SuppressWarnings("SpringJavaInjectionPointsAutowiringInspection")
|
|
||||||
@Component
|
|
||||||
public class B5Cluster extends Cluster {
|
|
||||||
public B5Cluster(DiscoveryClient client, YarnService yarnService) {
|
|
||||||
super(
|
|
||||||
Constants.CLUSTER_B5,
|
|
||||||
Constants.COMPACTION_QUEUE_B5,
|
|
||||||
/* AvailableStrategy.and(
|
|
||||||
new QueueSizeLimit(client, Constants.COMPACTION_QUEUE_B5, 10),
|
|
||||||
new YarnQueueUsedLimit(yarnService, Constants.CLUSTER_B5, "ten_iap.datalake", 0.9)
|
|
||||||
) */
|
|
||||||
metadata -> false
|
|
||||||
);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -13,7 +13,6 @@ const commonInfo = {
|
|||||||
compaction: {
|
compaction: {
|
||||||
'b12': 'default',
|
'b12': 'default',
|
||||||
'b1': 'datalake',
|
'b1': 'datalake',
|
||||||
'b5': 'ten_iap.datalake',
|
|
||||||
'a4': 'ten_iap.datalake',
|
'a4': 'ten_iap.datalake',
|
||||||
},
|
},
|
||||||
compaction_names() {
|
compaction_names() {
|
||||||
|
|||||||
@@ -7,7 +7,4 @@ yarn:
|
|||||||
web-urls:
|
web-urls:
|
||||||
a4: http://132.121.107.91:8088
|
a4: http://132.121.107.91:8088
|
||||||
b1: http://132.122.98.13:8088
|
b1: http://132.122.98.13:8088
|
||||||
b4: http://132.122.112.30:8088
|
|
||||||
b5: http://132.122.116.12:8088
|
|
||||||
t5: http://132.121.126.84:8088
|
|
||||||
b12: http://132.126.207.125:8088
|
b12: http://132.126.207.125:8088
|
||||||
|
|||||||
Reference in New Issue
Block a user