[Back-End] kafka 이용시 docker-compose 통해 실행되도록 구현 및 트러블 슈팅

docker-compose.yml

version: '3.8'
services:
  kafka-1:
    image: apache/kafka
    hostname: kafka-1
    container_name: kafka-1
    ports:
      - 29092:9092
    environment:
      KAFKA_NODE_ID: 1
      KAFKA_PROCESS_ROLES: 'broker,controller'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: 'CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT'
      KAFKA_CONTROLLER_QUORUM_VOTERS: '1@kafka-1:9093,2@kafka-2:9093,3@kafka-3:9093'
      KAFKA_LISTENERS: 'PLAINTEXT://kafka-1:19092,CONTROLLER://kafka-1:9093,PLAINTEXT_HOST://kafka-1:9092'
      KAFKA_INTER_BROKER_LISTENER_NAME: 'PLAINTEXT'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka-1:19092,PLAINTEXT_HOST://localhost:29092'
      KAFKA_CONTROLLER_LISTENER_NAMES: 'CONTROLLER'
      CLUSTER_ID: '4L6g3nShT-eMCtK--X86sw'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_LOG_DIRS: '/tmp/kraft-combined-logs'

  kafka-2:
    image: apache/kafka
    hostname: kafka-2
    container_name: kafka-2
    ports:
      - 39092:9092
    environment:
      KAFKA_NODE_ID: 2
      KAFKA_PROCESS_ROLES: 'broker,controller'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: 'CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT'
      KAFKA_CONTROLLER_QUORUM_VOTERS: '1@kafka-1:9093,2@kafka-2:9093,3@kafka-3:9093'
      KAFKA_LISTENERS: 'PLAINTEXT://kafka-2:19092,CONTROLLER://kafka-2:9093,PLAINTEXT_HOST://kafka-2:9092'
      KAFKA_INTER_BROKER_LISTENER_NAME: 'PLAINTEXT'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka-2:19092,PLAINTEXT_HOST://localhost:39092'
      KAFKA_CONTROLLER_LISTENER_NAMES: 'CONTROLLER'
      CLUSTER_ID: '4L6g3nShT-eMCtK--X86sw'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_LOG_DIRS: '/tmp/kraft-combined-logs'

  kafka-3:
    image: apache/kafka
    hostname: kafka-3
    container_name: kafka-3
    ports:
      - 49092:9092
    environment:
      KAFKA_NODE_ID: 3
      KAFKA_PROCESS_ROLES: 'broker,controller'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: 'CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT'
      KAFKA_CONTROLLER_QUORUM_VOTERS: '1@kafka-1:9093,2@kafka-2:9093,3@kafka-3:9093'
      KAFKA_LISTENERS: 'PLAINTEXT://kafka-3:19092,CONTROLLER://kafka-3:9093,PLAINTEXT_HOST://kafka-3:9092'
      KAFKA_INTER_BROKER_LISTENER_NAME: 'PLAINTEXT'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka-3:19092,PLAINTEXT_HOST://localhost:49092'
      KAFKA_CONTROLLER_LISTENER_NAMES: 'CONTROLLER'
      CLUSTER_ID: '4L6g3nShT-eMCtK--X86sw'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_LOG_DIRS: '/tmp/kraft-combined-logs'

  kafka-connect:
    image: confluentinc/cp-kafka-connect:7.2.1
    user: root
    hostname: kafka-connect
    container_name: kafka-connect
    ports:
      - "8083:8083"
    extra_hosts:
      - "unioncluster-shard-00-00.wudxj.mongodb.net:3.37.91.61"
      - "unioncluster-shard-00-01.wudxj.mongodb.net:3.37.220.42"
      - "unioncluster-shard-00-02.wudxj.mongodb.net:3.35.150.151"
    environment:
      CONNECT_BOOTSTRAP_SERVERS: "kafka-1:19092,kafka-2:19092,kafka-3:19092"
      CONNECT_REST_ADVERTISED_HOST_NAME: "kafka-connect"
      CONNECT_GROUP_ID: "kafka-connect-cluster"
      CONNECT_CONFIG_STORAGE_TOPIC: "connect-configs"
      CONNECT_OFFSET_STORAGE_TOPIC: "connect-offsets"
      CONNECT_STATUS_STORAGE_TOPIC: "connect-status"
      CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR: 3
      CONNECT_OFFSET_STORAGE_REPLICATION_FACTOR: 3
      CONNECT_STATUS_STORAGE_REPLICATION_FACTOR: 3
      CONNECT_KEY_CONVERTER: "org.apache.kafka.connect.json.JsonConverter"
      CONNECT_VALUE_CONVERTER: "org.apache.kafka.connect.json.JsonConverter"
      CONNECT_INTERNAL_KEY_CONVERTER: "org.apache.kafka.connect.json.JsonConverter"
      CONNECT_INTERNAL_VALUE_CONVERTER: "org.apache.kafka.connect.json.JsonConverter"
      CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components"
    depends_on:
      - kafka-1
      - kafka-2
      - kafka-3
    dns:
      - 8.8.8.8
      - 8.8.4.4
    volumes:
      - ./plugins:/usr/share/confluent-hub-components  # 로컬 plugins 폴더에 커넥터를 배치할 경우

  kafka-ui:
    image: provectuslabs/kafka-ui
    container_name: kafka-ui
    ports:
      - "20000:8080"
    restart: always
    depends_on:
      - kafka-3
    environment:
      - KAFKA_CLUSTERS_0_NAME=kafka-ui
      - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka-1:19092,kafka-2:19092,kafka-3:19092

application.yml 중 일부

  kafka:
    bootstrap-servers: localhost:29092,localhost:39092,localhost:49092

kafka-1:19092, kafka-2:19092, kafka-3:19092는 각 브로커의 PLAINTEXT 리스너를 가리킴, 클라이언트가 브로커에 연결할 때 사용하는 포트
각 Kafka 브로커는 Docker 컨테이너 내에서 실행
KAFKA_LISTENERS와 KAFKA_ADVERTISED_LISTENERS 환경 변수를 통해 클라이언트가 연결할 수 있는 주소를 설정
- KAFKA_LISTENERS는 브로커가 수신할 주소
- KAFKA_ADVERTISED_LISTENERS는 클라이언트가 브로커에 연결할 때 사용할 주소
PLAINTEXT://kafka-1:19092는 컨테이너 내에서 다른 Kafka 브로커나 Kafka Connect와 통신할 때 사용
PLAINTEXT_HOST://localhost:29092는 호스트 머신에서 Kafka 브로커에 접근할 때 사용
Kafka Connect와 Kafka UI는 컨테이너 내에서 실행
- Kafka 브로커에 연결하기 위해 컨테이너 이름(kafka-1, kafka-2, kafka-3)을 사용
- Kafka Connect의 설정에서 CONNECT_BOOTSTRAP_SERVERS는 컨테이너 내에서 Kafka 브로커에 접근하기 위해 컨테이너 이름을 사용

kafka-1:
    image: apache/kafka
    hostname: kafka-1
    container_name: kafka-1
    ports:
      - 29092:9092
    environment:
      KAFKA_NODE_ID: 1
      KAFKA_PROCESS_ROLES: 'broker,controller'
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: 'CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT'
      KAFKA_CONTROLLER_QUORUM_VOTERS: '1@kafka-1:9093,2@kafka-2:9093,3@kafka-3:9093'
      KAFKA_LISTENERS: 'PLAINTEXT://kafka-1:19092,CONTROLLER://kafka-1:9093,PLAINTEXT_HOST://kafka-1:9092'
      KAFKA_INTER_BROKER_LISTENER_NAME: 'PLAINTEXT'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka-1:19092,PLAINTEXT_HOST://localhost:29092'
      KAFKA_CONTROLLER_LISTENER_NAMES: 'CONTROLLER'
      CLUSTER_ID: '4L6g3nShT-eMCtK--X86sw'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_LOG_DIRS: '/tmp/kraft-combined-logs'

29092: 이 포트는 호스트 머신에서 외부에 노출되는 포트
- Kafka 클라이언트가 이 포트를 통해 Kafka 브로커에 접근
- KAFKA_ADVERTISED_LISTENERS에서 PLAINTEXT_HOST://localhost:29092로 설정되어 있어, 클라이언트는 이 포트를 통해 Kafka에 연결
9092: 이 포트는 Kafka 브로커 내부에서 사용하는 포트
- KAFKA_LISTENERS에서 PLAINTEXT_HOST://kafka-1:9092로 설정되어 있어, Kafka 브로커가 내부적으로 다른 브로커와 통신할 때 사용
KAFKA_LISTENERS
- Kafka 브로커가 수신할 리스너를 정의
- PLAINTEXT://kafka-1:19092: 이 리스너는 Kafka 브로커가 kafka-1 호스트의 19092 포트에서 클라이언트의 요청을 수신, 클러스터 내의 브로커 간 통신 및 외부 클라이언트가 Kafka에 접근할 때 사용 (kafka-connect, kafka-ui 사용)
- CONTROLLER://kafka-1:9093: 이 리스너는 Kafka 클러스터의 컨트롤러 역할을 하는 브로커가 사용하는 포트
- PLAINTEXT_HOST://kafka-1:9092: 이 리스너는 Kafka 브로커가 내부적으로 사용하는 포트
KAFKA_ADVERTISED_LISTENERS
- Kafka 브로커가 클라이언트에게 광고하는 리스너
- PLAINTEXT://kafka-1:19092: 클라이언트가 kafka-1 브로커에 연결할 때 사용하는 리스너
- PLAINTEXT_HOST://localhost:29092: 클라이언트가 로컬 머신에서 Kafka 브로커에 연결할 때 사용하는 포트. 로컬 개발 환경에서 외부 클라이언트가 Kafka에 접근할 때 사용