kafka) zookeeper cluster 설정하기

 

kafka cluster를 만들기 위해서는 zookeeper cluster 생성이 필요해요

zookeeper를 걷어낸다고는 하지만 아직 한참 남은 것 같아요

 

예상 독자

1. zookeeper cluster 설정하려고 하는 분
2. 미래의 나

요약

1. zookeepr 다운로드
2. 설정 변경
3. 실행/중지

설명

1. zookeepr 다운로드

다운로드 받아서 압축 풀기: https://zookeeper.apache.org/releases.html

bin conf 폴더 안의 파일을 수정하고 zookeeper_data는 자동 생성

$ wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
$ ls /home/manager/apache/zookeeper
bin  conf  docs  lib  LICENSE.txt  logs  NOTICE.txt  README.md  README_packaging.md  zookeeper_data

2. 설정 변경

설정 변경은 2개 파일만 진행하면됨

/bin/zkEnv.sh

#!/usr/bin/env bash

# +JAVA_HOME setting
JAVA_HOME=/home/manager/jdk-11.0.2

# +  zookeeper home 지정
ZOOKEEPER_HOME=/home/manager/zookeeper

# +zookeeper bin 디렉토리 지정
#ZOOBINDIR="${ZOOBINDIR:-/usr/bin}"
ZOOBINDIR=$ZOOKEEPER_HOME/bin 
# +zookeeper 설정 디렉토리 지정 
# 이 값이 없으면 zookeeper 구동 시 --config 옵션으로 설정 파일의 경로를 지정 해 줘야 다.
ZOOCFGDIR=$ZOOKEEPER_HOME/conf

conf/zoo.conf

#tickTime=2000
tickTime=3000
initLimit=10

#syncLimit=5
syncLimit=10

#dataDir=/tmp/zookeeper

dataDir=/home/manager/apache/zookeeper/zookeeper_data

clientPort=2181

#maxClientCnxns=60
maxClientCnxns=60

#autopurge.snapRetainCount=3
autopurge.snapRetainCount=3

#autopurge.purgeInterval=1
autopurge.purgeInterval=1

# + 추가한 것
minSessionTimeout=4000
quorum.cnxn.threads.size=20
leaderServes=yes
admin.enableServer=false

server.1=192.168.10.**2:2888:3888
server.2=192.168.10.**3:2888:3888
server.3=192.168.10.**4:2888:3888 

- zoo.cfg.dynamic.next 파일이 자동으로 생성됨

3. 실행/중지

실행전에 서버 id 생성해야함

echo 0 > /home/manager/apache/zookeeper/zookeeper_data/myid

실행 후 구조는 아래와 같음

- zoo.cfg 의 dataDir 폴더 아래

$ ll /home/manager/apache/zookeeper/zookeeper_data
-rw-r--r-- 1 manager mqm    2 Jul  5  2021 myid
drwxr-xr-x 2 manager mqm 4096 May 19 04:10 version-2 #실행하면 생성
-rw-r--r-- 1 manager mqm    5 Jul  5  2021 zookeeper_server.pid #실행하면 생성

서버가 재시작 되었을 때 꼬일 수도 있어서

systemctl에는 넣지 않고 수동으로 진행하고 있음

/home/manager/apache/kafka/zookeeper/bin/zkServer.sh start
/home/manager/apache/kafka/zookeeper/bin/zkServer.sh stop