亲宝软件园·资讯

展开

kafka调整分区副本数

小码农叔叔 人气:0

前言

在生产环境中,akfka集群下的每台服务器的配置和性能可能不一样,但Kafka集群只会根据配置规则创建对应的分区副本,这样一来可能就会导致个别服务器存储压力较大。

在这种情况下,就需要手动调整分区副本的存储。我们不妨看看下面的这张图就明白了

在这里插入图片描述

上图的传达的意思是:

broker0和broker1所在的服务器配置较高,存储容量较大,但是broker2和broker3所在的机器配置稍差存储容量较小,一开始创建出主题之后,集群只会按照默认的配置规则,将leader和follower均匀的分配到不同的节点上去,并不知道具体哪一台机器的配置如何;

但实际上,我们希望某台服务器承担更多的读写压力,这样的话,就需要事后人为进行手动的对分区副本的调整

来看看我们的需求

创建一个新的topic,4个分区,两个副本,名为three,将 该topic的所有副本都存储到broker1和broker2两台服务器上

前置准备

操作步骤

1、创建一个主题,4个分区,2个副本

./kafka-topics.sh --zookeeper IP:2181 --create --topic three --partitions 4 --replication-factor 2

在这里插入图片描述

2、检查下当前创建的topic情况

./kafka-topics.sh --zookeeper IP:2181 --describe --topic three

在这里插入图片描述

从副本的分布情况来看,副本目前尽可能的分布在不同的机器上,而我们的需求是期望所有的数据尽可能存储在broker1和broker2上面

3、创建副本存储计划

这个有点类似于前面的章节中我们讲到的服役新节点的操作,在bin目录下创建一个json文件,手动指定分区副本的存储位置

创建一个名字叫做 increase-replication-factor.json 的文件,将如下内容拷贝进去,关于下面这段内容,相信大家都能看得懂,实际操作过程中,需要结合自己kafka集群下的机器配置情况合理调整,我这里按照原始需求,假定broker3和broker4的配置稍差,于是将副本尽可能的配置到broker1和broker2上

{
  "version":1,
  "partitions":[{"topic":"three","partition":0,"replicas":[1,2]},
  {"topic":"three","partition":1,"replicas":[1,2]},
  {"topic":"three","partition":2,"replicas":[2,1]},
  {"topic":"three","partition":3,"replicas":[2,1]}] 
}

4、执行存储计划

./kafka-reassign-partitions.sh --zookeeper IP:2181 --reassignment-json-file increase-replication-factor.json --execute

看到下面的内容,说明计划执行完毕,

在这里插入图片描述

5、验证第四步中的执行计划

./kafka-reassign-partitions.sh --zookeeper IP:2181 --reassignment-json-file increase-replication-factor.json --verify

看到下面的内容,说明副本执行计划完成执行

在这里插入图片描述

6、再次查看副本存储情况

./kafka-topics.sh --zookeeper IP:2181 --describe --topic three

与第一次的对比,重新分配之后,副本都转移到了broker1和broker2上面了

在这里插入图片描述

在这里插入图片描述

通过上面的操作步骤,我们就完成了手动调整分区副本的需求

增加副本

在生产环境中,假如某个主题重要等级需提升,则可以考虑在现有的基础上增加副本。副本数的增加需要先制定计划,然后根据计划执行,这个和之前的kafka集群服役新节点以及上文调整分区副本类似

下面来看看具体的操作步骤

1、创建一个新的主题,3个分区,1个副本

./kafka-topics.sh --zookeeper IP:2181 --create --topic zcy333 --partitions 3 --replication-factor 1

在这里插入图片描述

2、查看当前主题的分区副本存储情况

./kafka-topics.sh --zookeeper IP:2181 --describe --topic zcy333

从展示情况来看,目前副本只有一个,因此我们的需求是增加副本数量

在这里插入图片描述

3、创建副本存储计划

所有副本都指定存储在 broker1、broker2、broker3 中

增加一个increase-replication-factor.json的文件,将下面的内容拷贝进去

{
"version":1,
"partitions":[
  {"topic":"zcy333","partition":0,"replicas":[1,2,3]},
  {"topic":"zcy333","partition":1,"replicas":[1,2,3]},
  {"topic":"zcy333","partition":2,"replicas":[1,2,3]}
  ]
}

4、执行副本存储计划

./kafka-reassign-partitions.sh --zookeeper IP:2181 --reassignment-json-file increase-replication-factor.json --execute

看到下面的内容,说明执行成功

在这里插入图片描述

可以使用下面的命令,验证执行计划

./kafka-reassign-partitions.sh --zookeeper IP:2181 --reassignment-json-file increase-replication-factor.json --verify

在这里插入图片描述

5、再次查看执行后的主题分区副本情况

./kafka-topics.sh --zookeeper IP:2181 --describe --topic zcy333

可以对比执行后的情况与执行之前的情况,明显发现通过上面的操作,针对zcy333这个topic,副本增加了

在这里插入图片描述

在这里插入图片描述

通过上面的操作,我们成功对现有的topic的副本数进行了增加

加载全部内容

相关教程
猜你喜欢
用户评论