웹사이트 검색

CentOS 7의 단일 노드에 Apache Hadoop을 설치하고 구성하는 방법


Apache Hadoop은 분산형 빅 데이터 저장 및 컴퓨터 클러스터 전반의 데이터 처리를 위해 구축된 오픈 소스 프레임워크입니다. 이 프로젝트는 다음 구성 요소를 기반으로 합니다.

  1. Hadoop Common – 다른 Hadoop 모듈에 필요한 Java 라이브러리와 유틸리티가 포함되어 있습니다.
  2. HDFS – Hadoop 분산 파일 시스템 – 여러 노드에 분산된 Java 기반의 확장 가능한 파일 시스템입니다.
  3. MapReduce – 병렬 빅데이터 처리를 위한 YARN 프레임워크입니다.
  4. Hadoop YARN: 클러스터 리소스 관리를 위한 프레임워크입니다.

이 문서에서는 CentOS 7(RHEL 7Fedora 23 이상에서도 작동)의 단일 노드 클러스터에 Apache Hadoop을 설치하는 방법을 안내합니다. > 버전). 이러한 유형의 구성은 Hadoop 의사 분산 모드라고도 합니다.

1단계: CentOS 7에 Java 설치

1. Java 설치를 진행하기 전에 먼저 루트 사용자 또는 루트 권한이 있는 사용자로 로그인하여 다음 명령을 사용하여 시스템 호스트 이름을 설정하십시오.

hostnamectl set-hostname master

또한 시스템 IP 주소를 가리키도록 자체 시스템 FQDN을 사용하여 호스트 파일에 새 레코드를 추가합니다.

vi /etc/hosts

아래 줄을 추가하세요.

192.168.1.41 master.hadoop.lan

위의 호스트 이름과 FQDN 레코드를 원하는 설정으로 바꿉니다.

2. 다음으로, Oracle Java 다운로드 페이지로 이동하여 curl의 도움으로 시스템에 최신 버전의 Java SE Development Kit 8을 설치하세요. 명령:

curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”

3. Java 바이너리 다운로드가 완료된 후 아래 명령을 실행하여 패키지를 설치합니다.

rpm -Uvh jdk-8u92-linux-x64.rpm

2단계: CentOS 7에 Hadoop 프레임워크 설치

4. 다음으로, Hadoop 설치 경로 및 작업 환경에 사용할 루트 권한 없이 시스템에 새 사용자 계정을 만듭니다. 새 계정 홈 디렉터리는 /opt/hadoop 디렉터리에 있습니다.

useradd -d /opt/hadoop hadoop
passwd hadoop

5. 다음 단계에서는 최신 안정 버전에 대한 링크를 얻고 시스템에 아카이브를 다운로드하려면 Apache Hadoop 페이지를 방문하세요.

curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 

6. 아카이브를 추출하여 디렉토리 콘텐츠를 hadoop 계정 홈 경로에 복사합니다. 또한 복사된 파일 권한을 적절하게 변경했는지 확인하세요.

 tar xfz hadoop-2.7.2.tar.gz
cp -rf hadoop-2.7.2/* /opt/hadoop/
chown -R hadoop:hadoop /opt/hadoop/

7. 다음으로 hadoop 사용자로 로그인하고 HadoopJava 환경 변수를 편집하여 시스템에 구성합니다..bash_profile 파일.

su - hadoop
vi .bash_profile

파일 끝에 다음 줄을 추가합니다.

## JAVA env variables
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

## HADOOP env variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

8. 이제 아래 명령을 실행하여 환경 변수를 초기화하고 상태를 확인합니다.

source .bash_profile
echo $HADOOP_HOME
echo $JAVA_HOME

9. 마지막으로 아래 명령을 실행하여 hadoop 계정에 대한 SSH 키 기반 인증을 구성합니다(호스트 이름 또는 FQDN 교체). 그에 따라 ssh-copy-id 명령에 대해).

또한 SSH를 통해 자동으로 로그인하려면 암호 입력란을 비워 두세요.

ssh-keygen -t rsa
ssh-copy-id master.hadoop.lan