카테고리 없음

Apache Kafka: 분산 스트리밍 플랫폼의 모든 것

wittyJini 2024. 6. 15. 15:24
728x90
반응형
SMALL

안녕하세요! 오늘은 많은 기업과 개발자들이 실시간 데이터 스트리밍을 위해 사용하는 강력한 도구, Apache Kafka에 대해 알아보려고 합니다. Apache Kafka는 높은 처리량과 낮은 지연 시간을 자랑하는 분산 메시징 시스템으로, LinkedIn에서 처음 개발된 이후 다양한 분야에서 널리 활용되고 있습니다. 이번 포스팅에서는 Kafka의 기본 개념부터 구조, 사용 예제, 그리고 실제 사용 사례까지 자세히 다루어 보겠습니다. Kafka에 대해 궁금하신 분들이나, 실무에서 어떻게 활용할 수 있을지 고민 중이신 분들에게 유용한 정보가 되길 바랍니다.

-------------------------------------

1. Apache Kafka란 무엇인가?

Apache Kafka는 대규모 데이터 스트리밍을 위한 분산 메시징 시스템입니다. LinkedIn에서 처음 개발되었으며, 실시간 데이터 피드를 처리하고 분석하는 데 사용됩니다.

주요 특징

  • 고성능: 높은 처리량과 낮은 지연 시간을 제공합니다.
  • 내결함성: 복제와 클러스터링을 통해 내구성과 가용성을 보장합니다.
  • 확장성: 수평 확장이 가능하여 대규모 데이터 스트림을 처리할 수 있습니다.

2. Kafka의 구조

Kafka의 구조는 크게 프로듀서(Producer), 컨슈머(Consumer), 브로커(Broker), 그리고 주키퍼(Zookeeper)로 구성됩니다.

주요 구성 요소

  • 토픽(Topic): 메시지가 저장되는 카테고리입니다. 각 토픽은 파티션으로 나뉘며, 파티션은 로그 파일입니다.
  • 프로듀서(Producer): 데이터를 생성하여 토픽에 전송합니다.
  • 컨슈머(Consumer): 토픽에서 데이터를 읽어 처리합니다.
  • 브로커(Broker): Kafka 서버로, 메시지를 저장하고 관리합니다.
  • 주키퍼(Zookeeper): 분산 시스템의 조정 및 관리 도구로, Kafka 클러스터의 메타데이터를 관리합니다.

3. Kafka 사용 예제

예제 1: 간단한 프로듀서와 컨슈머(Python)

from kafka import KafkaProducer, KafkaConsumer

# Kafka Producer
producer = KafkaProducer(bootstrap_servers='localhost:9092')
producer.send('test-topic', b'Hello, Kafka!')
producer.close()

# Kafka Consumer
consumer = KafkaConsumer('test-topic', bootstrap_servers='localhost:9092')
for message in consumer:
    print(f"Received message: {message.value.decode('utf-8')}")
4. Kafka 컨슈머란 무엇인가?

컨슈머는 Kafka에서 토픽의 데이터를 읽어오는 역할을 합니다. 컨슈머 그룹을 형성하여 병렬 처리가 가능하며, 메시지 오프셋을 관리합니다.

컨슈머 그룹

컨슈머 그룹은 동일한 그룹 ID를 가지는 컨슈머들의 모임입니다. 각 컨슈머는 하나의 파티션에서만 데이터를 읽어오며, 하나의 메시지는 동일한 그룹의 컨슈머 중 하나에만 전달됩니다.

5. 토픽 사용법

토픽은 메시지가 저장되는 논리적인 장소입니다. 각 토픽은 여러 파티션으로 나뉘며, 파티션은 로그 파일입니다.

토픽 생성(bash)

kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1

6. Kafka를 사용하는 이유

Kafka는 다음과 같은 이유로 많이 사용됩니다.

  • 실시간 데이터 처리: 실시간 스트리밍 데이터를 처리할 수 있습니다.
  • 내결함성: 데이터 손실 없이 안정적으로 메시지를 전달합니다.
  • 확장성: 대규모 데이터를 효율적으로 처리할 수 있습니다.

7. 실제 사용하는 사례

  • LinkedIn: 사용자 활동 로그와 데이터 파이프라인을 처리합니다.
  • Netflix: 실시간 이벤트 처리와 데이터 스트리밍을 관리합니다.
  • Uber: 실시간 위치 추적과 로그 데이터를 수집하고 분석합니다.

8. Kafka 설정 방법

Kafka 설치 및 설정

1. Kafka 다운로드 및 압축 해제(bash)

wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz
tar -xzf kafka_2.13-2.7.0.tgz
cd kafka_2.13-2.7.0

 

 

2. Zookeeper 서버 시작(bash)

bin/zookeeper-server-start.sh config/zookeeper.properties

 

3. Kafka 서버 시작(bash)

bin/kafka-server-start.sh config/server.properties

Kafka 토픽 생성(bash)

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
 

Kafka 메시지 전송(bash)

bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
 
Kafka 메시지 수신(bash)
bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

 

 

이번 포스팅을 통해 Apache Kafka의 기본 개념, 구조, 사용 예제, 그리고 다양한 실제 사용 사례를 알아보았습니다. Kafka는 실시간 데이터 스트리밍 및 분석에 매우 유용한 도구로, 높은 처리량과 확장성을 제공하여 대규모 데이터를 효율적으로 처리할 수 있습니다. LinkedIn, Netflix, Uber와 같은 글로벌 기업들이 Kafka를 통해 실시간 데이터 파이프라인을 구축하고 있다는 점에서 그 중요성을 다시 한번 확인할 수 있었습니다. 

 

공감 또는 따뜻한 댓글은 포스팅 작성에 큰 힘이 됩니다:)

-------------------------------------

이상으로 포스팅을 마치겠습니다.

감사합니다.

 

반응형
LIST