웹사이트 검색

네임노드의 고가용성을 설정하는 방법 - 5부

Hadoop에는 HDFS와 YARN이라는 두 가지 핵심 구성요소가 있습니다. HDFS는 데이터를 저장하기 위한 것이고, YARN은 데이터를 처리하기 위한 것입니다. HDFS는 Hadoop 분산 파일 시스템이며, 마스터 서비스로 네임노드와 데이터노드를 갖습니다. 노예 서비스로.

네임노드는 HDFS에 저장된 데이터의 메타데이터를 저장하는 Hadoop의 핵심 구성요소입니다. 네임노드가 다운되면 전체 클러스터에 액세스할 수 없으며 이는 단일 실패 지점(SPOF)입니다. 따라서 프로덕션 환경은 기계 충돌, 계획된 유지 관리 활동 등과 같은 다양한 이유로 네임노드 하나가 다운되는 경우 프로덕션 중단을 방지하기 위해 네임노드 고가용성을 갖습니다.

Hadoop 2.x는 두 개의 네임노드를 가질 수 있는 가능성을 제공합니다. 하나는 활성 네임노드이고 다른 하나는 대기 네임노드<입니다. /강하게>.

  • 활성 네임노드 – 모든 클라이언트 작업을 관리합니다.
  • 대기 네임노드 – 활성 네임노드와 중복됩니다. Active NN이 다운되면 Standby NN이 Active NN의 모든 책임을 집니다.

Namenode 고가용성을 활성화하려면 자동 장애 조치에 필수인 Zookeeper가 필요합니다. ZKFC(Zookeeper 장애 조치 컨트롤러)는 Namenode의 상태를 유지하는 데 사용되는 Zookeeper 클라이언트입니다.

요구사항

  • CentOS/RHEL 7에 Hadoop 서버를 배포하기 위한 모범 사례 – 1부
  • Hadoop 전제 조건 및 보안 강화 설정 - 2부
  • CentOS/RHEL 7에서 Cloudera Manager를 설치 및 구성하는 방법 – 3부
  • CentOS/RHEL 7에서 CDH를 설치하고 서비스 배치를 구성하는 방법 – 4부

이 글에서는 Cloudera Manager에서 네임노드 고가용성을 활성화하겠습니다.

1단계: 주키퍼 설치

1. Cloudera Manager에 로그인합니다.

http://Your-IP:7180/cmf/home

2. 클러스터(tecmint) 작업 프롬프트에서 '서비스 추가'를 선택합니다.

3. 'Zookeeper' 서비스를 선택합니다.

4. Zookeeper를 설치할 서버를 선택합니다.

5. 3명의 사육사로 동물 사육사 쿼럼을 구성할 예정입니다. 아래에 언급된 대로 서버를 선택합니다.

6. Zookeeper 속성을 구성합니다. 여기에는 기본 속성이 있습니다. 실시간으로 Zookeeper 데이터를 저장하려면 별도의 디렉터리/마운트 지점이 있어야 합니다. 1부에서는 각 서비스별 스토리지 구성에 대해 설명했습니다. 계속하려면 '계속'을 클릭하세요.

7. 설치가 시작됩니다. 설치가 완료되면 Zookeeper가 시작됩니다. 여기에서 백그라운드 작업을 볼 수 있습니다.

8. 위 단계가 성공적으로 완료되면 상태는 '완료'가 됩니다.

9. 이제 Zookeeper가 성공적으로 설치 및 구성되었습니다. '마침'을 클릭하세요.

10. Cloudera Manager 대시보드에서 Zookeeper 서비스를 볼 수 있습니다.

2단계: 네임노드 고가용성 활성화

11. Cloudera Manager로 이동 –> HDFS –> 작업 –> 고가용성 활성화 강하다>.

12. 네임서비스 이름을 "nameservice1"으로 입력합니다. 이는 활성 및 대기 네임노드 모두에 대한 공통 네임스페이스입니다.

13. 대기 네임노드를 둘 두 번째 네임노드를 선택합니다.

14. 여기서는 대기 Namenode로 master2.linux-console.net을 선택합니다.

15. Journal 노드를 선택합니다. 이는 Active 및 Standby Namenode를 동기화하기 위한 필수 서비스입니다.

16. 아래와 같이 3개의 서버에 Journal 노드를 배치하여 Quorum Journal을 만들고 있습니다. 3개의 서버를 선택하고 '확인'을 클릭하세요.

17. 계속하려면 '계속'을 클릭하세요.

18. 저널 노드 디렉터리 경로를 입력합니다. 이 디렉토리를 설치하는 동안 경로를 언급하면 서비스 자체에서 자동으로 생성됩니다. 우리는 '/jn'으로 언급하고 있습니다. 계속하려면 '계속'을 클릭하세요.

19. 고가용성이 활성화되기 시작합니다.

20. 모든 백그라운드 프로세스가 완료되면 '완료' 상태가 됩니다.

21. 마지막으로 '고가용성을 성공적으로 활성화했습니다'라는 알림을 받게 됩니다. '마침'을 클릭하세요.

22. Cloudera Manager –> HDFS활성 및 대기 네임노드를 확인합니다. > –> 인스턴스.

23. 여기에서 두 개의 네임노드를 확인할 수 있습니다. 하나는 '활성' 상태이고 다른 하나는 '대기' 상태입니다. ' 상태.

결론

이 문서에서는 네임노드 고가용성을 활성화하는 단계별 프로세스를 살펴보았습니다. 실시간 환경에서는 모든 클러스터에 네임노드 고가용성을 갖추는 것이 좋습니다. 이 과정을 진행하는 동안 오류가 발생하면 의심스러운 점을 게시해 주세요. 다음 문서에서는 리소스 관리자 고가용성을 살펴보겠습니다.