3. kafka와 모니터링을 위한 grafana 세팅

 

 

이전 포스팅에서 간단한 API 구축 테스트를 완료했다.

 

 

0. Kafka 개념 공부하기

 

 

 

 

 

1. docker-compose로 Kafka 클러스터 구축하기

 

 

 

이제 실시간 데이터를 받아오고 저장할 수 있도록 Kafka를 docker-compose를 사용하여 구축해보았다.

 

kafka broker 3개, zookeeper 3개로 인스턴스를 올려 진행했다.

 

 

| docker-compose.yml

version: '2'
services:
  zookeeper-1:
    image: confluentinc/cp-zookeeper:latest
    ports:
      - "12181:2181"
    environment:
      ZOOKEEPER_SERVER_ID: 1
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      ZOOKEEPER_INIT_LIMIT: 5
      ZOOKEEPER_SYNC_LIMIT: 2
      ZOOKEEPER_SERVERS: zookeeper-1:12888:13888;zookeeper-2:22888:23888;zookeeper-3:32888:33888

  zookeeper-2:
    image: confluentinc/cp-zookeeper:latest
    ports:
      - "22181:2181"
    environment:
      ZOOKEEPER_SERVER_ID: 2
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      ZOOKEEPER_INIT_LIMIT: 5
      ZOOKEEPER_SYNC_LIMIT: 2
      ZOOKEEPER_SERVERS: zookeeper-1:12888:13888;zookeeper-2:22888:23888;zookeeper-3:32888:33888

  zookeeper-3:
    image: confluentinc/cp-zookeeper:latest
    ports:
      - "32181:2181"
    environment:
      ZOOKEEPER_SERVER_ID: 3
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      ZOOKEEPER_INIT_LIMIT: 5
      ZOOKEEPER_SYNC_LIMIT: 2
      ZOOKEEPER_SERVERS: zookeeper-1:12888:13888;zookeeper-2:22888:23888;zookeeper-3:32888:33888

  kafka-1:
    image: confluentinc/cp-kafka:latest
    ports:
      - "19092:19092"
      - "19094:19094"
    depends_on:
      - zookeeper-1
      - zookeeper-2
      - zookeeper-3
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181
      KAFKA_LISTENERS: INTERNAL://kafka-1:19092,EXTERNAL://kafka-1:19094
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-1:19092,EXTERNAL://localhost:19094
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_JMX_PORT: 9999

  kafka-2:
    image: confluentinc/cp-kafka:latest
    ports:
      - "29092:29092"
      - "29094:29094"
    depends_on:
      - zookeeper-1
      - zookeeper-2
      - zookeeper-3
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181
      KAFKA_LISTENERS: INTERNAL://kafka-2:29092,EXTERNAL://kafka-2:29094
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-2:29092,EXTERNAL://localhost:29094
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_JMX_PORT: 9999

  kafka-3:
    image: confluentinc/cp-kafka:latest
    ports:
      - "39092:39092"
      - "39094:39094"
    depends_on:
      - zookeeper-1
      - zookeeper-2
      - zookeeper-3
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181
      KAFKA_LISTENERS: INTERNAL://kafka-3:39092,EXTERNAL://kafka-3:39094
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka-3:39092,EXTERNAL://localhost:39094
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_JMX_PORT: 9999

 

 

 

 

2. Kafka 모니터링?

 

 

 

Kafka 브로커를 모니터링 및 관리하기 위해 다양한 툴들이 존재한다.

 

어떤 툴을 사용하여 모니터링 할 수 있도록 구축해볼까?

 

Kafka 모니터링에 대해 검색해보면 Kafka UI Tool을 사용하는 글들이 많았는데, Kafka 메트릭을 통해 좀 더 시각적으로 표현할 수 있는 게 다양했으면 좋을 것 같기도 하고 더 현업에 쓰일 것 같은(?) Prometheus와 Grafana를 사용해 함께 구축해보았다.

 

(Kafka와 같이 prometheus와 grafana를 docker-compose로 구축하는 코드를 찾진 못해서 더 도전적으로 적용해보고 싶었던 것도 있다 ㅎㅎ)

 

 

 

| prometheus.yml

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['prometheus:9090']

  - job_name: 'kafka'
    static_configs:
      - targets: ['kafka-exporter:9308']

 

 

 

| docker-compose.yml

 

위에서 작성한 docker-compose.yml에 추가로 아래 코드를 작성해서 구축하면 된다.

 

  kafka-exporter:
    image: danielqsj/kafka-exporter:latest
    ports:
      - "9308:9308"
    command: ["--kafka.server=kafka-1:19092", "--kafka.server=kafka-2:29092", "--kafka.server=kafka-3:39092"]

  prometheus:
    image: prom/prometheus:latest
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    ports:
      - "9090:9090"
    depends_on:
      - kafka-1
      - kafka-2
      - kafka-3
      - kafka-exporter

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    environment:
      - GF_SECURITY_ADMIN_USER=admin
      - GF_SECURITY_ADMIN_PASSWORD=admin
    depends_on:
      - kafka-1
      - kafka-2
      - kafka-3
      - prometheus
      - kafka-exporter
    volumes:
      - grafana-data:/var/lib/grafana

volumes:
  grafana-data:

 

 

 

prometheus에서 사용할 kafka 메트릭을 수집하는 역할인 kafka-exporter, 모니터링 및 메트릭 수집 역할인 prometheus, 데이터 수집 및 시각화 역할인 grafana로 구성했다.

 

 

ADD: kafka 및 모니터링용 prometheus, grafana docker-compose 구축 · Lee-SungMin/LOL_Data_Pipeline@4cc6381

 

 

 

명령어를 통해 kafka 구성을 위한 여러 컨테이너들을 한 번에 띄워보았다.

 

 

 

 

 

 

모든 컨테이너가 성공적으로 실행됨을 확인했다.

 

 

 

3. Prometheus 확인하기

 

 

 

Prometheus 같은 경우, 포트를 9090으로 설정했기 때문에 해당 주소로 접근했다.

 

상위 탭에서 Status > Targets를 클릭하면, 아래와 같이 대시보드를 확인할 수 있다.

 

 

 

 

 

 

 

4. Kafka 클러스터 구성 테스팅

 

 

 

Kafka 클러스터가 구성이 잘되어 있는지 확인하기 위해, 터미널을 통해 카프카 컨테이너 2개에 접속했다.

 

 

 

 

Kafka-1 클러스터에 접속하여, test1 이라는 토픽을 생성했다.

 

 

 

 

그리고 현재까지 생성된 Kafka 토픽 목록을 확인하는 명령어로, test1이라는 토픽이 생성된 것을 확인할 수 있다.

 

 

 

 

또한 위의 명령어를 통해 생성한 토픽에 대한 정보를 얻을 수 있다.

 

 

그 다음 다른 터미널 창으로 Kafka-3 클러스터에 접속했다.

 

 

 

 

test1 토픽의 내용을 producer를 사용해 produce한다.

 

 

그리고 다시 Kafka-1 클러스터를 띄운 터미널로 돌아가 consumer를 사용해 토픽 내용을 받아오도록 명령어를 작성했다.

 

 

beginning 옵션을 사용하여 첫 data부터 읽어왔다.

 

 

 

이로서 Kafka 토픽을 보내고 읽어오는 과정이 잘 진행됨을 확인할 수 있었다.

(Kafka-1,3 뿐만 아니라 모든 브로커끼리 해당 과정들이 잘 작동해야 한다.)

 

 

 

 

4. Grafana 대시보드 확인하기

 

 

 

grafana의 포트 번호인 3000번으로 경로에 맞게 웹 페이지를 접속하면 admin 페이지로 연결되고, 아이디 및 비번은 admin으로 로그인했다.

 

대시보드는 상황에 맞게 원하는 정보를 볼 수 있도록 직접 구현하는 게 좋은데, 처음 접근하는 거라 아직 미숙해서 대시보드 템플릿을 사용하기로 했다.

 

kafka-exporter 이미지를 사용한 곳에서 대시보드도 함께 공유하길래 사용해보았다.

GitHub - danielqsj/kafka_exporter: Kafka exporter for Prometheus

Kafka Exporter Overview | Grafana Labs

 

 

Dashboard > New > Import를 클릭하고, 템블릿 ID인 7589를 입력하여 Load해서 사용했다.

 

 

 

 

대시보드를 통해, 위에서 만든 Kafka 토픽에 대해 대시보드를 통해 시각적으로 확인할 수 있다.

 

 

 

(대시보드가 엄청 옛날에 만든 버전이라 필요한 정보에 맞게 수정해야 할 것 같다.)

 

 

 

이제 Kafka를 통해 더 다양한 동작들이 이루어지도록 구현해서 대시보드를 통해 더 자세한 정보를 얻을 수 있도록 해야겠다.

 

 

 

 

*참고한 블로그 자료들

 

[Kafka] Docker Compose로 멀티브로커 Kafka 구성하기

Docker-compose로 Prometheus + Grafana 설치

[Kafka Monitoring] Prometheus & Grafana

[Kubernetes] Grafana 에서 Kafka 모니터링 하기 #Prometheus #kafka-exporter