CentOS/RHEL 7에 Apache Kafka를 설치하는 방법

Apache Kafka는 빅데이터 프로젝트와 데이터 분석 수명 주기에서 널리 사용되는 강력한 메시징 엔진입니다. 실시간 데이터 스트리밍 파이프라인을 구축하기 위한 오픈 소스 플랫폼입니다. 신뢰성, 확장성, 내구성을 갖춘 분산 게시-구독 플랫폼입니다.

Kafka를 독립형 또는 클러스터로 사용할 수 있습니다. Kafka는 스트리밍 데이터를 저장하며 주제로 분류할 수 있습니다. 주제에는 임의의 양의 데이터를 처리할 수 있도록 여러 개의 파티션이 있습니다. 또한 HDFS에서와 같이 내결함성을 위해 여러 개의 복제본을 가질 수 있습니다. Kafka 클러스터에서 브로커는 게시된 데이터를 저장하는 구성 요소입니다.

Zookeeper는 Kafka 브로커의 조정을 관리하는 데 사용되므로 Kafka 클러스터를 실행하는 데 필수 서비스입니다. Zookeeper는 생산자와 소비자 사이에서 모든 브로커의 상태를 유지 관리하는 핵심 역할을 합니다.

이 문서에서는 단일 노드 CentOS 7 또는 RHEL 7에 Apache Kafka를 설치하는 방법을 설명합니다.

CentOS 7에 Apache Kafka 설치

1. Apache Kafka를 오류 없이 실행하려면 먼저 시스템에 Java를 설치해야 합니다. 따라서 다음 yum 명령을 사용하여 Java의 기본 사용 가능한 버전을 설치하고 표시된 대로 Java 버전을 확인하세요.

yum -y install java-1.8.0-openjdk
java -version

2. 다음으로 공식 홈페이지에서 Apache Kafka의 최신 안정 버전을 다운로드하거나 다음 wget 명령을 사용하여 직접 다운로드하고 압축을 풉니다.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. kafka 패키지에 대한 심볼릭 링크를 생성한 다음 Kafka 환경 경로를 .bash_profile 파일에 추가하고 그림과 같이 초기화합니다.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. 다음으로 Kafka 패키지에 내장되어 있는 Zookeeper를 시작합니다. 단일 노드 클러스터이므로 기본 속성으로 사육사를 시작할 수 있습니다.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Zookeeper 포트 2181에 대한 telnet을 통해 Zookeeper에 액세스할 수 있는지 여부를 확인합니다.

telnet localhost 2181

6. 기본 속성으로 Kafka를 시작합니다.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. 단순히 Kafka 포트 9092에 텔넷을 연결하여 Kafka에 액세스할 수 있는지 여부를 확인합니다.

telnet localhost 9092

8. 다음으로 샘플 주제를 만듭니다.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. 생성된 주제를 나열합니다.

kafka-topics.sh --zookeeper localhost:2181 --list

결론

이 기사에서는 CentOS 7에 단일 노드 Kafka 클러스터를 설치하는 방법을 살펴보았습니다. 다음 기사에서는 다중 노드 Kafka 클러스터를 설치하는 방법을 살펴보겠습니다.