웹사이트 검색

Ubuntu 18.04에 Apache Kafka를 설치하는 방법

저자는 Write for DOnations 프로그램을 선택했습니다.

소개

RabbitMQ. 일반적으로 게시/구독 메시징 시스템으로 사용되지만 게시된 메시지에 대한 영구 저장소를 제공하기 때문에 많은 조직에서 로그 집계에도 사용합니다.

게시/가입 메시징 시스템을 사용하면 하나 이상의 생산자가 소비자 수나 메시지 처리 방법을 고려하지 않고 메시지를 게시할 수 있습니다. 가입한 클라이언트는 업데이트 및 새 메시지 생성에 대해 자동으로 알립니다. 이 시스템은 클라이언트가 새 메시지를 사용할 수 있는지 확인하기 위해 주기적으로 폴링하는 시스템보다 효율적이고 확장 가능합니다.

이 자습서에서는 Ubuntu 18.04에 Apache Kafka 2.1.1을 설치하고 사용합니다.

전제 조건

따라 하려면 다음이 필요합니다.

  • 하나의 Ubuntu 18.04 서버 및 sudo 권한이 있는 루트가 아닌 사용자. 루트가 아닌 사용자를 설정하지 않은 경우 이 가이드에 지정된 단계를 따르십시오.
  • 서버에 최소 4GB의 RAM이 있어야 합니다. 이 양의 RAM 없이 설치하면 Kafka 서비스가 실패할 수 있으며 시작 시 JVM(Java Virtual Machine)에서 "메모리 부족\ 예외가 발생합니다.
  • 특정 버전의 OpenJDK 설치에 대한 지침입니다. Kafka는 Java로 작성되었으므로 JVM이 필요합니다. 그러나 시작 셸 스크립트에는 JVM 버전 8 이상에서 시작하지 못하는 버전 감지 버그가 있습니다.

1단계 - Kafka용 사용자 생성

Kafka는 네트워크를 통해 요청을 처리할 수 있으므로 전용 사용자를 만들어야 합니다. 이렇게 하면 Kafka 서버가 손상될 경우 Ubuntu 시스템의 손상이 최소화됩니다. 이 단계에서는 전용 kafka 사용자를 생성하지만 Kafka 설정을 완료한 후 이 서버에서 다른 작업을 수행하려면 루트가 아닌 다른 사용자를 생성해야 합니다.

루트가 아닌 sudo 사용자로 로그인하고 useradd 명령을 사용하여 kafka라는 사용자를 만듭니다.

  1. sudo useradd kafka -m

-m 플래그는 사용자를 위한 홈 디렉토리가 생성되도록 합니다. 이 홈 디렉토리인 /home/kafka는 아래 섹션에서 명령을 실행하기 위한 작업 공간 디렉토리 역할을 합니다.

passwd를 사용하여 암호를 설정합니다.

  1. sudo passwd kafka

adduser 명령을 사용하여 sudo 그룹에 kafka 사용자를 추가하여 Kafka의 종속성을 설치하는 데 필요한 권한을 갖도록 합니다.

  1. sudo adduser kafka sudo

이제 kafka 사용자가 준비되었습니다. su를 사용하여 이 계정에 로그인합니다.

  1. su -l kafka

이제 Kafka 관련 사용자를 생성했으므로 Kafka 바이너리 다운로드 및 추출로 이동할 수 있습니다.

2단계 - Kafka 바이너리 다운로드 및 추출

Kafka 사용자의 홈 디렉터리에 있는 전용 폴더에 Kafka 바이너리를 다운로드하고 압축을 풉니다.

시작하려면 다운로드를 저장할 Downloads라는 디렉토리를 /home/kafka에 만듭니다.

  1. mkdir ~/Downloads

curl을 사용하여 Kafka 바이너리를 다운로드합니다.

  1. curl "https://www.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgz" -o ~/Downloads/kafka.tgz

kafka라는 디렉터리를 만들고 이 디렉터리로 변경합니다. 이것은 Kafka 설치의 기본 디렉토리가 됩니다.

  1. mkdir ~/kafka && cd ~/kafka

tar 명령을 사용하여 다운로드한 아카이브를 추출합니다.

  1. tar -xvzf ~/Downloads/kafka.tgz --strip 1

--strip 1 플래그를 지정하여 아카이브의 콘텐츠가 다른 디렉토리(예: ~/kafka /kafka_2.11-2.1.1/) 내부에 있습니다.

이제 바이너리를 성공적으로 다운로드하고 추출했으므로 주제 삭제를 허용하도록 Kafka로 구성할 수 있습니다.

3단계 - Kafka 서버 구성

Kafka의 기본 동작은 메시지를 게시할 수 있는 카테고리, 그룹 또는 피드 이름인 주제를 삭제할 수 없습니다. 이를 수정하기 위해 구성 파일을 편집해 보겠습니다.

Kafka의 구성 옵션은 server.properties에 지정됩니다. nano 또는 선호하는 편집기로 이 파일을 엽니다.

  1. nano ~/kafka/config/server.properties

Kafka 주제를 삭제할 수 있는 설정을 추가해 보겠습니다. 파일 맨 아래에 다음을 추가합니다.

delete.topic.enable = true

파일을 저장하고 nano를 종료합니다. 이제 Kafka를 구성했으므로 실행을 위한 시스템 단위 파일 생성 및 시작 시 활성화로 이동할 수 있습니다.

4단계 - Systemd Unit 파일 생성 및 Kafka 서버 시작

이 섹션에서는 Kafka 서비스를 위한 시스템 단위 파일을 생성합니다. 이렇게 하면 다른 Linux 서비스와 일관된 방식으로 Kafka 시작, 중지 및 다시 시작과 같은 일반적인 서비스 작업을 수행하는 데 도움이 됩니다.

Zookeeper는 Kafka가 클러스터 상태 및 구성을 관리하는 데 사용하는 서비스입니다. 일반적으로 많은 분산 시스템에서 통합 구성 요소로 사용됩니다. 이에 대해 더 알고 싶다면 공식 Zookeeper 문서를 방문하세요.

zookeeper에 대한 단위 파일을 만듭니다.

  1. sudo nano /etc/systemd/system/zookeeper.service

파일에 다음 단위 정의를 입력합니다.

[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

[Unit] 섹션은 Zookeeper가 시작되기 전에 네트워킹 및 파일 시스템이 준비되어야 함을 지정합니다.

[Service] 섹션은 systemd가 zookeeper-server-start.sh 및 zookeeper-server-stop.sh 셸 파일을 사용하도록 지정합니다. 서비스 시작 및 중지. 또한 Zookeeper가 비정상적으로 종료되는 경우 자동으로 다시 시작하도록 지정합니다.

다음으로 kafka에 대한 systemd 서비스 파일을 만듭니다.

  1. sudo nano /etc/systemd/system/kafka.service

파일에 다음 단위 정의를 입력합니다.

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

[Unit] 섹션은 이 유닛 파일이 zookeeper.service에 종속됨을 지정합니다. 이렇게 하면 kafka 서비스가 시작될 때 zookeeper가 자동으로 시작됩니다.

[Service] 섹션은 systemd가 kafka-server-start.sh 및 kafka-server-stop.sh 셸 파일을 사용하도록 지정합니다. 서비스 시작 및 중지. 또한 Kafka가 비정상적으로 종료되는 경우 자동으로 다시 시작하도록 지정합니다.

이제 단위가 정의되었으므로 다음 명령으로 Kafka를 시작합니다.

  1. sudo systemctl start kafka

서버가 성공적으로 시작되었는지 확인하려면 kafka 장치에 대한 저널 로그를 확인하십시오.

  1. sudo journalctl -u kafka

다음과 유사한 출력이 표시되어야 합니다.

Output
Jul 17 18:38:59 kafka-ubuntu systemd[1]: Started kafka.service.

이제 포트 9092에서 수신 대기 중인 Kafka 서버가 있습니다.

kafka 서비스를 시작한 상태에서 서버를 재부팅하면 자동으로 시작되지 않습니다. 서버 부팅 시 kafka를 활성화하려면 다음을 실행합니다.

  1. sudo systemctl enable kafka

이제 서비스를 시작하고 활성화했으므로 설치를 확인하겠습니다.

5단계 - 설치 테스트

Kafka 서버가 올바르게 작동하는지 확인하기 위해 "Hello World\ 메시지를 게시하고 사용하겠습니다. Kafka에서 메시지를 게시하려면 다음이 필요합니다.

  • 레코드 및 데이터를 주제에 게시할 수 있게 해주는 제작자.
  • 주제에서 메시지와 데이터를 읽는 소비자.

먼저 다음을 입력하여 TutorialTopic이라는 주제를 만듭니다.

  1. ~/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TutorialTopic

kafka-console-producer.sh 스크립트를 사용하여 명령줄에서 생산자를 생성할 수 있습니다. Kafka 서버의 호스트 이름, 포트 및 주제 이름을 인수로 예상합니다.

다음을 입력하여 문자열 \Hello, World\를 TutorialTopic 주제에 게시합니다.

  1. echo "Hello, World" | ~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TutorialTopic > /dev/null

다음으로 kafka-console-consumer.sh 스크립트를 사용하여 Kafka 소비자를 생성할 수 있습니다. 주제 이름과 함께 ZooKeeper 서버의 호스트 이름 및 포트를 인수로 예상합니다.

다음 명령은 TutorialTopic의 메시지를 사용합니다. 소비자가 시작되기 전에 게시된 메시지의 소비를 허용하는 --from-beginning 플래그 사용에 유의하십시오.

  1. ~/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic TutorialTopic --from-beginning

구성 문제가 없으면 터미널에 Hello, World가 표시되어야 합니다.

Output
Hello, World

스크립트는 계속 실행되며 더 많은 메시지가 주제에 게시될 때까지 기다립니다. 자유롭게 새 터미널을 열고 생산자를 시작하여 몇 가지 메시지를 더 게시하십시오. 소비자의 출력에서 모두 볼 수 있어야 합니다.

테스트를 마치면 CTRL+C를 눌러 소비자 스크립트를 중지합니다. 이제 설치를 테스트했으므로 KafkaT 설치로 이동하겠습니다.

6단계 - KafkaT 설치(선택 사항)

KafkaT는 Kafka 클러스터에 대한 세부 정보를 쉽게 보고 명령줄에서 특정 관리 작업을 수행할 수 있게 해주는 Airbnb의 도구입니다. Ruby gem이므로 사용하려면 Ruby가 필요합니다. 의존하는 다른 gem을 빌드하려면 build-essential 패키지도 필요합니다. apt를 사용하여 설치하십시오.

  1. sudo apt install ruby ruby-dev build-essential

이제 gem 명령을 사용하여 KafkaT를 설치할 수 있습니다.

  1. sudo gem install kafkat

KafkaT는 .kafkatcfg를 구성 파일로 사용하여 Kafka 서버의 설치 및 로그 디렉터리를 결정합니다. 또한 KafkaT를 ZooKeeper 인스턴스로 가리키는 항목이 있어야 합니다.

.kafkatcfg라는 새 파일을 만듭니다.

  1. nano ~/.kafkatcfg

Kafka 서버 및 Zookeeper 인스턴스에 대한 필수 정보를 지정하려면 다음 행을 추가하십시오.

{
  "kafka_path": "~/kafka",
  "log_path": "/tmp/kafka-logs",
  "zk_path": "localhost:2181"
}

이제 KafkaT를 사용할 준비가 되었습니다. 먼저 모든 Kafka 파티션에 대한 세부 정보를 보는 데 사용하는 방법은 다음과 같습니다.

  1. kafkat partitions

다음 출력이 표시됩니다.

Output
Topic                 Partition   Leader      Replicas        ISRs    
TutorialTopic         0             0         [0]             [0]
__consumer_offsets	  0		          0		      [0]							[0]
...
...

클라이언트 관련 정보를 저장하기 위해 Kafka에서 사용하는 내부 주제인 __consumer_offsets와 TutorialTopic이 표시됩니다. __consumer_offsets로 시작하는 줄은 무시해도 됩니다.

KafkaT에 대한 자세한 내용은 GitHub 리포지토리를 참조하십시오.

7단계 - 다중 노드 클러스터 설정(선택 사항)

더 많은 Ubuntu 18.04 시스템을 사용하여 다중 브로커 클러스터를 생성하려면 각각의 새 시스템에서 1단계, 4단계 및 5단계를 반복해야 합니다. 또한 각각에 대해 server.properties 파일에서 다음과 같이 변경해야 합니다.

  • broker.id 속성 값은 클러스터 전체에서 고유하도록 변경해야 합니다. 이 속성은 클러스터의 각 서버를 고유하게 식별하며 모든 문자열을 해당 값으로 가질 수 있습니다. 예를 들어 server1, server2 등입니다.
  • 모든 노드가 동일한 ZooKeeper 인스턴스를 가리키도록 zookeeper.connect 속성 값을 변경해야 합니다. 이 속성은 Zookeeper 인스턴스의 주소를 지정하고 : 형식을 따릅니다. 예: 203.0.113.0:2181, 203.0.113.1:2181 등

클러스터에 대해 여러 ZooKeeper 인스턴스를 사용하려는 경우 각 노드의 zookeeper.connect 속성 값은 모든 ZooKeeper의 IP 주소와 포트 번호를 나열하는 쉼표로 구분된 동일한 문자열이어야 합니다. 인스턴스.

8단계 - Kafka 사용자 제한

이제 모든 설치가 완료되었으므로 kafka 사용자의 관리자 권한을 제거할 수 있습니다. 그렇게 하기 전에 루트가 아닌 다른 sudo 사용자로 로그아웃했다가 다시 로그인하십시오. 이 자습서를 시작한 것과 동일한 셸 세션을 계속 실행 중인 경우 exit를 입력하면 됩니다.

sudo 그룹에서 kafka 사용자를 제거합니다.

  1. sudo deluser kafka sudo

Kafka 서버의 보안을 더욱 강화하려면 passwd 명령을 사용하여 kafka 사용자의 암호를 잠급니다. 이렇게 하면 아무도 이 계정을 사용하여 서버에 직접 로그인할 수 없습니다.

  1. sudo passwd kafka -l

이 시점에서 루트 또는 sudo 사용자만 다음 명령을 입력하여 kafka로 로그인할 수 있습니다.

  1. sudo su - kafka

나중에 잠금을 해제하려면 -u 옵션과 함께 passwd를 사용하십시오.

  1. sudo passwd kafka -u

이제 kafka 사용자의 관리자 권한을 성공적으로 제한했습니다.

결론

이제 Apache Kafka가 Ubuntu 서버에서 안전하게 실행됩니다. 문서를 사용하여 Kafka 생산자 및 소비자를 생성하여 프로젝트에서 사용할 수 있습니다.