웹사이트 검색

Puppet을 사용하여 Graylog 서버 설치 자동화

이 가이드에서는 Puppet을 사용하여 Ubuntu/Debian/CentOS에 Graylog 서버를 설치하는 방법을 자세히 설명합니다. Graylog는 로그를 관리하고 집계하는 데 사용되는 무료 오픈 소스 도구입니다. 수집된 로그를 기반으로 알림을 저장, 분석, 전송하는데 사용됩니다. 이 도구는 일반적으로 구조화된 데이터와 구조화되지 않은 데이터를 모두 분석하는 데 사용됩니다.

Graylog 서버는 다음 구성 요소로 구성됩니다.

  • MongoDB – 데이터와 구성을 저장합니다.
  • Graylog 서버 – 내장된 웹 인터페이스를 사용하여 시각화를 위해 로그를 전달하는 서버입니다.
  • ElasticSearch – Graylog 서버용 로그 분석 도구입니다.
  • Java /OpenJDK – ElasticSearch를 위한 런타임 환경을 제공합니다.

여기서 Puppet은 원하는 노드에 이러한 모든 구성 요소의 설치를 자동화하는 데 사용됩니다. Puppet Labs에서 개발한 이 제품은 Graylog 서버를 구성, 관리 및 배포하는 데 사용할 수 있습니다.

Ansible을 사용하여 GrayLog를 설치하려면 아래 가이드를 확인하세요.

  • Ubuntu/Debian/CentOS에서 Ansible을 사용하여 Graylog 서버 배포

1단계 – Ubuntu/Debian/CentOS에 Puppet 설치 및 구성

이 가이드를 사용하려면 시스템에 Puppet을 설치하고 구성해야 합니다. 여기에는 Puppet 서버 및 이에 연결된 에이전트 노드 설정이 포함됩니다. 최신 버전의 Graylog는 아래 전용 가이드를 사용하여 설치할 수 있는 Puppet >= 6.21.0 < 8.0.0과 호환됩니다.

  • Debian/Ubuntu에서
    • Ubuntu에 Puppet Master 및 에이전트 설치
  • CentOS 8
    • CentOS 8|RHEL 8|Rocky Linux 8에 Puppet 서버 설치
  • CentOS 7
    • CentOS 7|RHEL 7에 Puppet 서버 및 에이전트 설치

Puppet 서버와 클라이언트를 구성한 후 연결을 확인하세요.

$ sudo /opt/puppetlabs/bin/puppet agent -t
Info: Using environment 'production'
Info: Retrieving pluginfacts
Info: Retrieving plugin
Info: Loading facts
Info: Caching catalog for rocky-linux-8.localdomain
Info: Applying configuration version '1651833223'
Info: Creating state file /opt/puppetlabs/puppet/cache/state/state.yaml
Notice: Applied catalog in 0.01 seconds

2단계 - 필수 Puppet 모듈 설치

이 가이드에서는 Graylog 모듈뿐만 아니라 Java, MongoDB 및 Elasticsearch와 같은 종속성을 위한 다른 모듈도 설치합니다.

Graylog Puppet 모듈 설치

Graylog 모듈 설치부터 시작하겠습니다.

$ sudo /opt/puppetlabs/bin/puppet module install graylog/graylog
Notice: Preparing to install into /etc/puppetlabs/code/environments/production/modules ...
Notice: Downloading from https://forgeapi.puppet.com ...
Notice: Installing -- do not interrupt ...
/etc/puppetlabs/code/environments/production/modules
└─┬ graylog-graylog (v1.0.0)
  ├── puppetlabs-apt (v8.3.0)
  └── puppetlabs-stdlib (v7.1.0)

Graylog 모듈은 기타 필수 모듈과 함께 제공됩니다.

  • Puppet APT 모듈 – 다음 명령을 사용하여 설치할 수도 있습니다.
sudo /opt/puppetlabs/bin/puppet module install puppetlabs-apt --version <version-number>
  • Puppet 표준 라이브러리 모듈 – 아래와 같이 설치할 수도 있습니다:
sudo /opt/puppetlabs/bin/puppet module install puppetlabs-stdlib --version <version-number>

MongoDB Puppet 모듈 설치

다음으로 MongoDB 모듈을 설치합니다.

$ sudo /opt/puppetlabs/bin/puppet module install puppet-mongodb
Notice: Preparing to install into /etc/puppetlabs/code/environments/production/modules ...
Notice: Downloading from https://forgeapi.puppet.com ...
Notice: Installing -- do not interrupt ...
/etc/puppetlabs/code/environments/production/modules
└─┬ puppet-mongodb (v4.1.1)
  ├─┬ puppet-systemd (v3.8.0)
  │ └── puppetlabs-inifile (v5.2.0)
  ├─┬ puppet-zypprepo (v4.0.1)
  │ └── puppetlabs-concat (v7.1.1)
  ├── puppetlabs-apt (v8.3.0)
  └── puppetlabs-stdlib (v7.1.0)

불행하게도 이 모듈은 Debian 11 시스템과 완전히 호환되지 않습니다. 따라서 Debian 11 노드가 있는 경우 설치 중에 오류가 발생할 수 있습니다.

설치할 다른 모듈은 자바 모듈입니다. 다음 명령으로 설치할 수 있습니다.

$ sudo /opt/puppetlabs/bin/puppet module install puppetlabs-java
Notice: Preparing to install into /etc/puppetlabs/code/environments/production/modules .
Notice: Downloading from https://forgeapi.puppet.com ...
Notice: Installing -- do not interrupt ...
/etc/puppetlabs/code/environments/production/modules
└─┬ puppetlabs-java (v8.0.0)
  ├── puppet-archive (v6.0.2)
  └── puppetlabs-stdlib (v7.1.0)

마지막으로 Elasticsearch 모듈을 설치합니다.

$ sudo /opt/puppetlabs/bin/puppet module install puppet-elasticsearch
Notice: Preparing to install into /etc/puppetlabs/code/environments/production/modules ...
Notice: Downloading from https://forgeapi.puppet.com ...
Notice: Installing -- do not interrupt ...
/etc/puppetlabs/code/environments/production/modules
└─┬ puppet-elasticsearch (v8.0.2)
  ├─┬ puppet-elastic_stack (v8.0.0)
  │ ├─┬ puppet-yum (v5.4.0)
  │ │ └── puppetlabs-concat (v7.1.1)
  │ ├── puppetlabs-apt (v8.3.0)
  │ └── puppetlabs-stdlib (v7.1.0)
  ├── puppetlabs-java (v8.0.0)
  └── richardc-datacat (v0.6.2)

다음 명령을 사용하여 설치된 Puppet 모듈을 나열합니다.

$ sudo /opt/puppetlabs/bin/puppet module list --environment production
/etc/puppetlabs/code/environments/production/modules
├── graylog-graylog (v1.0.0)
├── puppet-archive (v6.0.2)
├── puppet-elastic_stack (v8.0.0)
├── puppet-elasticsearch (v8.0.2)
├── puppet-mongodb (v4.1.1)
├── puppet-systemd (v3.8.0)
├── puppet-yum (v5.4.0)
├── puppet-zypprepo (v4.0.1)
├── puppetlabs-apt (v8.3.0)
├── puppetlabs-concat (v7.1.1)
├── puppetlabs-inifile (v5.2.0)
├── puppetlabs-java (v8.0.0)
├── puppetlabs-stdlib (v7.1.0)
└── richardc-datacat (v0.6.2)
/etc/puppetlabs/code/modules (no modules installed)
/opt/puppetlabs/puppet/modules (no modules installed)

3단계 – Puppet을 사용하여 Ubuntu/Debian/CentOS에 Graylog 서버 설치

모듈 설치가 완료되면 아래와 같이 MongoDB, Elasticsearch, Graylog를 단일 노드에서 관리하기 위한 매니페스트를 생성해 보겠습니다.

패키지 버전 가져오기:

  • 그레이로그 릴리스
  • 시스템 요구 사항(Elasticsearch, MongoDB, Java 지원 버전)

아래와 같이 파일을 생성합니다.

sudo vim /etc/puppetlabs/code/environments/production/manifests/init.pp

파일에는 아래 줄이 포함됩니다.

class { 'mongodb::globals':
  manage_package_repo => true,
}->
class { 'mongodb::server':
  bind_ip => ['127.0.0.1'],
  ensure     => 'present',
  restart    => true,
}

include ::java

class { 'elasticsearch':
  ensure => 'present',
  status => 'enabled',
  version      => '7.10.2',
  restart_on_change => true,
  config => {
    'cluster.name' => 'graylog',
    'network.host' => '127.0.0.1',
  },
  jvm_options => [
    '-Xms512m',
    '-Xmx512m'
  ]
}

class { 'graylog::repository':
  version => '4.2'
}->
class { 'graylog::server':
  package_version => 'latest',
  config          => {
    'password_secret' => 'pmHuefc3sMv6SWN6wPoCss6hTy8vksYr1QkFmtVjChi1rdRr6s7FeqNJOrWOWlipMsfmFgqGJM8HLdpF3thwFA4QvLSPhC0O', # Fill in your password secret
    'root_password_sha2' => '434e27fac24a15cbf8b160b7b28c143a67d9e6939cbb388874e066e16cb32d75',# Fill in your root password hash
    'http_bind_address' => '0.0.0.0:9000',
     'http_external_uri'   => 'https://0.0.0.0:9000/',
  }
}

파일에서 생성된 password_secret 값을 아래와 같이 pwgen으로 바꿉니다.

$ pwgen -N 1 -s 96
pmHuefc3sMv6SWN6wPoCss6hTy8vksYr1QkFmtVjChi1rdRr6s7FeqNJOrWOWlipMsfmFgqGJM8HLdpF3thwFA4QvLSPhC0O

root_password_sha2는 관리자에 대해 생성된 sha256 비밀번호입니다.

$ echo -n "Enter Password: " && head -1 </dev/stdin | tr -d '\n' | sha256sum | cut -d" " -f1
Enter Password: Str0ngPassw0rd

샘플 출력:

434e27fac24a15cbf8b160b7b28c143a67d9e6939cbb388874e066e16cb32d75

Debian/Ubuntu 시스템에서는 매니페스트를 적용할 때 MongoDB 오류가 발생할 수 있습니다. 이 오류는 수동으로 추가된 MongoDB 저장소를 사용하도록 매니페스트를 편집하여 해결할 수 있습니다.

예를 들어 MongoDB 4.4 저장소는 다음 명령을 사용하여 Debian Buster에 추가할 수 있습니다.

wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add -
echo "deb http://repo.mongodb.org/apt/debian buster/mongodb-org/4.4 main"|sudo tee /etc/apt/sources.list.d/mongodb-org.list
sudo apt update

저장소 및 해당 GPG 키가 추가되고 시스템이 업데이트되면 아래와 같이 매니페스트를 편집합니다.

 class { 'mongodb::globals':
  manage_package_repo => false,
  manage_package      => true,
}->
class { 'mongodb::server':
  bind_ip => ['127.0.0.1'],
  ensure     => 'present',
  restart    => true,
}->
class { 'mongodb::client':
}
....

마지막으로 아래와 같이 에이전트에서 매니페스트를 실행합니다.

sudo /opt/puppetlabs/bin/puppet agent -t

샘플 출력:

Elasticsearch가 9200 포트에서 실행되고 있는지 확인하세요.

$ curl -X GET localhost:9200
{
  "name" : "graylog.example.com",
  "cluster_name" : "graylog",
  "cluster_uuid" : "tMJGsHuNS6OUgCk5q8RGBQ",
  "version" : {
    "number" : "7.9.3",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "c4138e51121ef06a6404866cddc601906fe5c868",
    "build_date" : "2020-10-16T10:36:16.141335Z",
    "build_snapshot" : false,
    "lucene_version" : "8.6.2",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

4단계 – Graylog 웹 인터페이스에 액세스

이 시점에서 Graylog 서버는 포트 9000에서 수신 대기 중입니다. 방화벽을 통해 이 포트를 허용합니다.

##For Firewalld
sudo firewall-cmd --add-port=9000/tcp --permanent
sudo firewall-cmd --reload

##For UFW
sudo ufw allow 9000/tcp

이제 URL http://IP_Address:9000을 사용하여 Graylog 웹 인터페이스에 액세스하십시오.

위와 같이 로그인 자격 증명을 제공하세요. 기본 사용자 이름은 admin이고 비밀번호는 root_password_sha2로 설정된 비밀번호입니다. 이 경우 비밀번호는 Str0ngPassw0rd입니다.

인증에 성공하면 아래와 같은 Graylog 대시보드를 볼 수 있습니다.

그게 다야! Graylog 웹 인터페이스에서 수집된 로그를 시각화하기 위해 대시보드를 생성하고 진행하세요.

평결

이것으로 Puppet을 사용하여 Ubuntu/Debian/CentOS에 Graylog 서버를 설치하는 방법에 대한 이 가이드가 끝났습니다. 이제 우리는 Puppet 자동화를 통해 Graylog 서버를 쉽게 설치하고 구성할 수 있다는 점에 동의할 수 있습니다. 이것이 의미 있는 일이었기를 바랍니다.

더보기:

  • Let's Encrypt SSL을 사용하여 Graylog Nginx 프록시 구성
  • Let's Encrypt SSL을 사용하여 Ubuntu에 Graylog 서버 설치
  • Puppet 및 Chef 자동화를 배우기 위한 최고의 책

관련기사: