웹사이트 검색

CentOS/RHEL 7에 Hadoop 서버를 배포하기 위한 모범 사례 - 1부


이 기사 시리즈에서는 공급업체산업 권장 모범 사례를 통해 전체 Cloudera Hadoop 클러스터 빌딩 건물을 다룰 예정입니다.

OS 설치 및 OS 수준 필수 구성 요소 수행은 Hadoop 클러스터를 구축하기 위한 첫 번째 단계입니다. HadoopCentOS, RedHat, Ubuntu, Debian< 등 다양한 Linux 플랫폼에서 실행될 수 있습니다., SUSE 등, 실시간 프로덕션에서 대부분의 Hadoop 클러스터RHEL/CentOS 위에 구축됩니다. 이 튜토리얼 시리즈에서는 시연을 위해 CentOS 7을 사용합니다.

조직에서는 kickstart를 사용하여 OS 설치를 수행할 수 있습니다. 3~4노드 클러스터라면 수동 설치도 가능하지만, 10노드가 넘는 대규모 클러스터를 구축한다면 OS를 하나씩 설치하는 것이 번거롭다. 이 시나리오에서는 Kickstart 방법이 등장하므로 kickstart를 사용하여 대량 설치를 진행할 수 있습니다.

Hadoop 환경에서 좋은 성능을 얻으려면 올바른 하드웨어 및 소프트웨어를 프로비저닝해야 합니다. 따라서 프로덕션 Hadoop 클러스터를 구축하려면 하드웨어 및 소프트웨어와 관련하여 많은 고려 사항이 필요합니다.

이 문서에서는 OS 설치에 대한 다양한 벤치마크와 CentOS/RHEL 7Cloudera Hadoop 클러스터 서버를 배포하기 위한 몇 가지 모범 사례를 살펴보겠습니다.

Hadoop 서버 배포에 대한 중요한 고려 사항 및 모범 사례

다음은 CentOS/RHEL 7Cloudera Hadoop 클러스터 서버 배포를 설정하기 위한 모범 사례입니다.

  • Hadoop 서버에는 클러스터를 구축하기 위해 엔터프라이즈 표준 서버가 필요하지 않으며 상용 하드웨어가 필요합니다.
  • 프로덕션 클러스터에서는 8~12개의 데이터 디스크를 사용하는 것이 좋습니다. 작업량의 성격에 따라 이를 결정해야 합니다. 클러스터가 컴퓨팅 집약적인 애플리케이션용인 경우 I/O 문제를 방지하려면 드라이브를 4~6개 갖는 것이 가장 좋습니다.
  • 예를 들어, 데이터 드라이브는 /data01에서 시작하여 /data10까지 개별적으로 파티션을 나누어야 합니다.
  • Hadoop 자체는 기본적으로 블록을 3개로 복제하여 데이터에 대한 내결함성을 제공하므로 작업자 노드에는 RAID 구성을 권장하지 않습니다. 따라서 JBOD는 작업자 노드에 가장 적합합니다.
  • 마스터 서버의 경우 RAID 1이 모범 사례입니다.
  • CentOS/RHEL 7.x의 기본 파일 시스템은 XFS입니다. Hadoop은 XFS, ext3 및 ext4를 지원합니다. 권장되는 파일 시스템은 좋은 성능을 위해 테스트된 ext3입니다.
  • 모든 서버에는 동일한 OS 버전, 최소한 동일한 마이너 릴리스가 있어야 합니다.
  • 동일한 유형의 하드웨어를 보유하는 것이 가장 좋습니다. 모든 작업자 노드는 동일한 하드웨어 특성(RAM, 디스크 공간 및 코어 등)을 가져야 합니다.
  • 클러스터 워크로드(균형 있는 워크로드, 컴퓨팅 집약적, I/O 집약적) 및 크기에 따라 서버당 리소스(RAM, CPU) 계획이 달라집니다.

아래에서 24TB 스토리지 서버의 디스크 파티셔닝 예를 찾아보세요.

Hadoop 서버 배포를 위한 CentOS 7 설치

Hadoop 서버CentOS 7 서버를 설치하기 전에 알아야 할 사항입니다.

  • Hadoop 서버(작업자 노드)에는 최소 설치만으로 충분하며, 어떤 경우에는 웹 UI용 브라우저를 사용할 수 있는 마스터 서버 또는 관리 서버에만 GUI를 설치할 수 있습니다. 관리 도구.
  • 네트워크, 호스트 이름, 기타 OS 관련 설정은 OS 설치 후에 구성할 수 있습니다.
  • 실시간으로 서버 공급업체는 서버와 상호 작용하고 관리하기 위한 자체 콘솔을 갖게 됩니다. 예를 들어 Dell 서버에는 서버에 내장된 장치인 iDRAC가 있습니다. 해당 iDRAC 인터페이스를 사용하면 로컬 시스템에 OS 이미지가 있는 OS를 설치할 수 있습니다.

이 문서에서는 VMware 가상 머신에 OS(CentOS 7)를 설치했습니다. 여기서는 파티션을 수행하기 위해 여러 개의 디스크를 사용하지 않습니다. CentOS는 RHEL과 유사하므로(동일 기능) CentOS 설치 단계를 살펴보겠습니다.

1. 먼저 로컬 Windows 시스템에 CentOS 7.x ISO 이미지를 다운로드하고 가상 머신을 부팅하는 동안 이를 선택하세요. 표시된 대로 'CentOS 7 설치'를 선택합니다.

2. 언어를 선택합니다. 기본값은 영어이고 계속을 클릭합니다.

3. 소프트웨어 선택 – '최소 설치'를 선택하고 '완료'를 클릭합니다.

4. 설정하라는 메시지가 표시되므로 루트 비밀번호를 설정하세요.

5. 설치 대상 - 주의해야 할 중요한 단계입니다. OS를 설치할 디스크를 선택해야 하고, OS용으로 전용 디스크를 선택해야 합니다. '설치 대상'을 클릭하고 디스크를 선택하세요. 실시간으로 여러 디스크가 있을 것이므로 'sda'를 선택해야 합니다.

6. 기타 저장소 옵션/var, /와 같은 OS 관련 파티션을 구성하려면 두 번째 옵션(파티션을 구성하겠습니다)을 선택합니다. var/log, /home, /tmp, /opt, /swap.

7. 완료되면 설치를 시작합니다.

8. 설치가 완료되면 서버를 재부팅합니다.

9. 서버에 로그인하고 호스트 이름을 설정합니다.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

요약

이 기사에서는 OS 설치 단계와 파일 시스템 파티셔닝 모범 사례를 살펴보았습니다. 이는 모두 일반적인 지침이며, 워크로드의 특성에 따라 클러스터의 최상의 성능을 달성하기 위해 더 많은 미묘한 차이에 집중해야 할 수도 있습니다. 클러스터 계획은 Hadoop 관리자를 위한 기술입니다. 다음 기사에서는 OS 수준 전제 조건과 보안 강화에 대해 자세히 살펴보겠습니다.