기록의 공간 :: mightytedkim

kafka_exporter를 이용하면 prometheus에서 metric을 조회할 수 있어요 예상 독자는 아래와 같아요 kafka cluster를 모니터링하고 싶은 분 prometheus helm을 사용하시는 분 미래의 나 요약 kafka exporter 실행 prometheus 설정 grafana 대시보드 설명 1. kafka_exporter 실행 다운로드 wget https://github.com/danielqsj/kafka_exporter/releases https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz 실행 tar -zxvf kafka_exporter-1..

kafka cluster를 설정하기 위해서, 이전 포스팅에서 zk와 kafka를 실행했어요 이제 관리를 위해 yahoo에서 만든 kafka manager를 설치해보려합니다. 예상 독자 kafka manager를 설치하려고 하는 분 미래의 나 요약 cmak binary 다운로드 설정 변경 시작/중지 설명 1. cmak binary 다운로드 wget https://github.com/yahoo/CMAK/releases/download/3.0.0.6/cmak-3.0.0.6.zip unzip cmak-3.0.0.6.zip 2. 설정 변경 # conf/application.conf 수정 kafka-manager.zkhosts="kafka1:2181,kafka2:2181,kafka3:2181" cmak.zkhost..

이전 포스팅에서 zookeeper cluster 생성했고 kafka) zookeeper cluster 설정하기 kafka cluster를 만들기 위해서는 zookeeper cluster 생성이 필요해요 zookeeper를 걷어낸다고는 하지만 아직 한참 남은 것 같아요 예상 독자 zookeeper cluster 설정하려고 하는 분 미래의 나 요약 zookeepr 다운.. mightytedkim.tistory.com 이제 kafka cluster 세팅해야해요 예상 독자 kafka cluster 설정하려고 하는 분 미래의 나 요약 kafka다운로드 설정 변경 실행/중지 설명 1. Kafka 다운로드 다운로드 받아서 압축 풀기: https://archive.apache.org/dist/kafka/3.1.1/ka..

kafka cluster를 만들기 위해서는 zookeeper cluster 생성이 필요해요 zookeeper를 걷어낸다고는 하지만 아직 한참 남은 것 같아요 예상 독자 zookeeper cluster 설정하려고 하는 분 미래의 나 요약 zookeepr 다운로드 설정 변경 실행/중지 설명 1. zookeepr 다운로드 다운로드 받아서 압축 풀기: https://zookeeper.apache.org/releases.html bin conf 폴더 안의 파일을 수정하고 zookeeper_data는 자동 생성 $ wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz $ ls /home/manager/apac..

당장 kafka 코드를 짤일은 없어서, 빠르게 kafka인강을 들었어요 지금 몰라도 될 것 같은 부분은 빠르게 스킵했습니다. --- Kafka 인강) Apache Kafka Series - Learn Apache Kafka for Beginners v2_udemy https://www.udemy.com/course/apache-kafka/learn/lecture/11566808#overview 강사는 Stephane Maearek. 프랑스 출신인 것 같고, kafka, aws에 엄청 핫한 강사에요. 수강평이 2.2만개 ㅋㅋㅋㅋㅋ 역시 믿음의 유데미 가격도 할인해서 1.4만원 뿐이 안했어요 ​ 7시간 32분인데, 보통 3배 정도 더 걸리더라고요. 요즘 바쁜 시기니까 1달 정도 잡을라고요 ​ 19 secti..