CentOS/RHEL 7에서 CDH를 설치하고 서비스 배치를 구성하는 방법 - 4부
이전 기사에서는 Cloudera Manager 설치에 대해 설명했습니다. 이 기사에서는 CDH(Cloudera Distribution Hadoop)를 설치하고 구성하는 방법을 설명합니다. RHEL/센트OS 7.
CDH 패키지를 설치하는 동안 Cloudera Manager 및 CDH 호환성을 확인해야 합니다. Cloudera 버전은
예를 들어 Cloudera Manager 6.3.1 및 CDH 6.3.2를 사용하고 있습니다. 여기서 6은 주 버전이고 3은 부 버전입니다. 호환성 문제를 방지하려면 메이저와 마이너가 동일해야 합니다.
요구사항
- CentOS/RHEL 7에 Hadoop 서버를 배포하기 위한 모범 사례 – 1부
- Hadoop 전제 조건 및 보안 강화 설정 - 2부
- CentOS/RHEL 7에서 Cloudera Manager를 설치 및 구성하는 방법 – 3부
CDH 설치를 위해 아래 2개의 노드를 사용하겠습니다. 이미 master1에 Cloudera Manager를 설치했으며 master1을 저장소 서버로 사용하고 있습니다.
master1.linux-console.net
worker1.linux-console.net
1단계: 마스터 서버에 CDH 소포 다운로드
1. 먼저 master1 서버에 연결하고 /var/www/html/cloudera-repos/에 CDH Parcels 파일을 다운로드합니다. cdh 디렉토리 . RHEL/CentOS 7과 호환되는 아래 언급된 3개 파일을 다운로드해야 합니다.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. 이 파일을 다운로드하기 전에 /var/www/html/cloudera-repos/ 위치에 cdh 디렉토리를 생성해야 합니다.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. 다음으로, 다음 wget 명령을 사용하여 위에 언급된 3개 파일을 다운로드합니다.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
2단계: 작업자 클라이언트에 Cloudera Manager Repo 설정
4. 이제 작업자 서버에 연결하고 repo 서버(master1<)에서 repo 파일(cloudera-manager.repo)을 복사합니다.)을 나머지 모든 작업자 서버로 보냅니다. 이 repo 파일은 설치하는 동안 필요한 모든 소포와 RPM이 repo 서버에서 다운로드되도록 서버를 보장합니다.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. 저장소가 추가되면 활성화된 저장소를 나열하여 cloudera-manager 저장소가 활성화되었는지 확인합니다.
yum repolist
3단계: 작업자 서버에 Cloudera Manager 데몬 및 에이전트 설치
6. 이제 나머지 모든 서버에 cloudera-manager-daemons 및 cloudera-manager-agent를 설치해야 합니다.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. 다음으로 Cloudera Manager 서버를 보고하도록 Cloudera Manager 에이전트를 구성해야 합니다.
sudo vi /etc/cloudera-scm-agent/config.ini
localhost를 Cloudera Manager 서버 IP 주소로 바꿉니다.
8. Cloudera Manager 에이전트를 시작하고 상태를 확인합니다.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
4단계: CDH 설치 및 설정
master1 – 저장소 서버에 CDH 소포가 있습니다. Cloudera Manager를 사용하여 자동 설치를 수행하는 경우 모든 서버의 /etc/yum.repos.d/에 Cloudera Manager repo 파일이 있는지 확인하세요.
9. 포트 7180에서 아래 URL을 사용하여 Cloudera Manager에 로그인하고 Cloudera Manager의 기본 사용자 이름과 비밀번호를 사용합니다.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. 로그인하면 환영 페이지가 나타납니다. 여기서 릴리스 노트, Cloudera Manager의 새로운 기능을 찾을 수 있습니다.
11. 라이선스에 동의하고 계속하세요.
12. 에디션을 선택합니다. 기본적으로 평가판이 선택되어 있으므로 계속 진행할 수 있습니다.
13. 이제 클러스터 설치 단계를 따르세요. 시작 페이지를 계속합니다.
14. 클러스터 이름을 지정하고 계속해서 "tecmint"라는 이름을 지정했습니다. 정의할 수 있는 클러스터에는 두 가지 유형이 있습니다. 정규클러스터를 진행하고 있습니다.
- 일반 클러스터: 스토리지 노드, 컴퓨팅 노드 및 기타 필수 서비스로 구성됩니다.
- 컴퓨팅 클러스터: 컴퓨팅 노드로만 구성됩니다. 데이터 저장을 위해 외부 저장소를 사용할 수 있습니다.
15. 이미 모든 서버에 Cloudera Manager 에이전트를 설치했습니다. '현재 관리되는 호스트 '에서 해당 서버를 찾을 수 있습니다. 자동 설치를 위해서는 “새 호스트” 옵션에 해당 서버의 FQDN이나 IP를 입력하고 검색해야 합니다. Cloudera Manager는 CDH를 설치해야 하는 호스트를 자동으로 감지합니다.
여기에서 '현재 관리되는 호스트'를 클릭하고 '호스트 이름'을 선택하여 모든 호스트를 선택한 후 계속하세요.
16. 저장소 선택 – Parcel을 사용하는 것이 권장되는 방법입니다. 저장소를 구성하려면 '추가 옵션'을 클릭하세요.
17. 아래와 같이 로컬 저장소 URL을 입력합니다. 웹(Cloudera Repositories)을 가리키는 나머지 공개 저장소를 모두 제거합니다.
이는 master1에 있는 CDH 로컬 저장소 URL입니다.
http://104.211.95.96/cloudera-repos/cdh/
18. 저장소 URL을 입력하면 이 페이지에는 사용 가능한 구획만 표시됩니다. 이 단계를 계속하세요.
19. 이제 사용 가능한 모든 서버에서 소포가 다운로드, 배포, 포장 풀기 및 활성화되고 있습니다.
20. CDH 소포가 활성화되면 클러스터를 검사합니다. 이 단계에서는 클러스터의 상태 점검을 수행합니다. 여기서는 건너뛰고 계속합니다.
5단계: 클러스터 구성
21. 여기서 클러스터에 설치할 서비스를 선택해야 합니다. 일부 압축 조합은 기본적으로 사용할 수 있으며 맞춤 서비스를 사용할 예정입니다.
22. 사용자 정의 서비스에서는 핵심 구성요소(HDFS 및 YARN )만 설치합니다. ) 이 데모 목적을 위해.
23. 서버에 역할을 할당합니다. 우리는 요구 사항에 따라 사용자 정의할 수 있습니다. 고가용성을 갖춘 5~20개의 노드가 있는 기본 소규모 클러스터에 권장되는 역할 분배를 설명하는 아래 차트를 찾으세요.
24. 데이터베이스 유형, 호스트 이름, DB 이름, 사용자 이름 및 비밀번호를 선택합니다. Embedded PostgreSQL을 사용하므로 기본적으로 선택됩니다. 연결을 테스트하면 성공할 것입니다.
25. 이 페이지에는 데이터 디렉터리를 포함하여 HDFS 및 Yarn의 기본 구성 매개변수가 표시됩니다. 모든 구성 세부 정보를 검토하고 필요한 경우 변경할 수 있습니다. 그런 다음 계속하십시오.
26. 이 페이지에는 '첫 실행' 명령의 세부정보가 표시됩니다. 확장하여 실행 중인 명령의 세부정보를 볼 수 있습니다. 클러스터에 네트워크 또는 권한 문제가 있는 경우 이 단계는 실패합니다. 일반적으로 이 단계는 클러스터 구축의 원활한 설치를 결정합니다.
27. 위 단계가 완료되면 '마침'을 클릭하여 설치를 완료하세요. CDH를 설치한 후 Cloudera Manager의 대시보드입니다.
http://104.211.95.96:7180/cmf/home
결론
Cloudera Manager 및 CDH 설치를 성공적으로 완료했습니다. Cloudera Manager 대시보드에서는 클러스터 CPU, 디스크 IO 등을 모니터링할 수 있는 사전 정의된 차트 세트를 찾을 수 있습니다. 이 Cloudera Manager를 사용하여 전체 클러스터를 관리할 수 있습니다. >. 다음 기사에서 모든 관리 작업을 살펴보겠습니다.