1. Introduction
하둡(Hadoop) 공식 홈페이지에 업로드 되어 있는 컴파일 된 하둡을 사용할 때 다음과 같은 문제가 발생하였다. (사실 하둡만을 운영 한다면 문제 될 에러는 아니다. Java의 native 라이브러리를 사용하려고 한다면 해결해야 할 문제이다.)
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
이 오류는 32비트 운영체제에서 컴파일 된 것이기 때문에 64비트에서 사용하게되어 WARNING 에러가 발생한다. 그래서 이 문서에서는 하둡 2.2.0을 64비트로 컴파일하여 Psedo-Distributed Mode 설정까지 하려고 한다.
2. Environment
- OS : Ubuntu 12.04 LTS 64bit
- Hadoop : Hadoop 2.2.0
- Proto Buffer : Protoc >= 2.5.0
- User : hakawati
- Building Path : /home/hakawati/tools
3. Compile
3.1. Support Package
[hakawati@hakawati-Virtualbox:~$] sudo apt-get install build-essential maven openjdk-7-jdk cmake libssl-dev ssh
- build-essential : 프로그램 개발하는데 필요한 라이브러리를 제공하는 패키지
- maven : 메이븐은 자바용 프로젝트 관리 도구로 Hadoop은 메이븐으로 설치
- openjdk-7-jdk : 메이븐을 운용하기 위해서 자바 설치
- cmake, libssl-dev : 하둡 설치 시 Common Library와 컴파일로 사용
- ssh : 하둡에서 ssh 설정에 필요
[~$] mkdir tools
[~$] cd tools
[~/tools$] wget http://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
[~/tools$] tar -zxvf protobuf-2.5.0.tar.gz
[~/tools$] cd protobuf-2.5.0
[~/tools/protobuf-2.5.0$] ./configure
[~/tools/protobuf-2.5.0$] make
[~/tools/protobuf-2.5.0$] sudo make install
[~/tools/protobuf-2.5.0$] sudo ldconfig
[~/tools/protobuf-2.5.0$] cd ..
- Proto buffer : 통신을 통해 데이터를 주고 받을 때 각종 데이터를 byte형태로 바꾸어주는 도구 Ubuntu에는 기본으로 2.4.1 버전이 설치되어 있으나, Hadoop 컴파일때는 2.5.0 이후 버전을 사용해야 하기 때문에 설치
3.2. Hadoop Compile
소스 컴파일을 할것이기 때문에 소스를 압축한 타르볼을 다운로드 받는다.
[~/tools$] wget http://mirror.apache-kr.org/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
[~/tools$] tar xfz hadoop-2.2.0-src
[~/tools$] cd hadoop-2.2.0-src
3.2.1. Apply HADOOP-10110
패치 없이 하둡을 컴파일 시 Apache Hadoop Auth 부분에서 에러가 발생하여 컴파일이 중단된다.
아파치 하둡에서 해당 에러를 패치(Patch) 할 수 있게 대응했다. 해당 패치는 Hadoop Auth 설정 파일인 hadoop-common-project/hadoop-auth/pom.xml 파일을 패치한다. (https://issues.apache.org/jira/browse/HADOOP-10110)
[~/tools/hadoop-2.2.0-src$] wget https://issues.apache.org/jira/secure/attachment/12614482/HADOOP-10110.patch
[~/tools/hadoop-2.2.0-src$] patch -p0 < HADOOP-10110.patch
patching file hadoop-common-project/hadoop-auth/pom.xml
Hunk #1 succeeded at 55 (offset 1 line)
3.2.2. Command of Hadoop Compile
[~/tools/hadoop-2.2.0-src$] mvn package -Pdist,native -DskipTests -Dtar
정상적으로 완료되면 다음과 같은 결과를 볼 수 있다.
컴파일 완료되었다면 ~/tools/hadoop-2.2.0-src/hadoop-dist/target 폴더안에 다음과 같이 압축이 풀린 하둡 폴더와 Tarball로 압축된 하둡 두 가지 형태를 볼 수 있다. 어느 것이든 가져다 설정하여 쓸 수 있다.
3.3. Error Report
3.3.1. Haddop Common Error
만약 Apache Haddop Common에서 FAILURE가 뜬다면 보조 모듈설치에서 설치하는 cmake와 libssl-dev를 설치하지 않았거나 설치 시 문제가 생겼을 경우이다.
4. Setting of Hadoop
4.1. Kind of Hadoop Mode
- Stand-Alone Mode (독립 모드) : 하둡의 기본 모드로 로컬 머신에서만 실행한다. 다른 노드와 통신을 할 필요가 없기 때문에 HDFS를 사용하지 않으며 데몬들도 모두 실행하지 않는다. 독립적으로 MapReduce 프로그램의 로직을 개발하고 디버깅하는데 유용하다.
- Pseudo-Distributed Mode (가상 분산 모드) : 한대의 메인 컴퓨터로 클러스터를 구성하고, 모든 데몬을 실행한다. 독립 모드 기능을 보완한 형태로 다른 데몬과의 상호작용에서 발생하는 일들을 모두 검사한다.
- Fully-Distributed Mode (완전 분산 모드) : 분산 저장과 분산 연산의 모든 기능이 갖추어진 클러스터를 구성한다.
4.2. Setting of Path
환경 변수를 설정하는데, 하둡에서 사용하는 환경 변수도 함께 설정하기 때문에 환경 변수명을 바꾸어서는 안된다. 추가로 하둡 설정 파일에서 환경 변수의 JAVA_HOME 경로를 읽어들이는데, 하둡이 사용하는 사용자 그룹과 환경 변수를 사용하는 구룹은 다르다. 이 문서에서는 ~/.bashrc 에 환경 변수를 설정하고 하둡의 설정에서 복수로 설정한다. 하지만 복잡한 설정을 하고싶지 않으면 모든 사용자가 사용하는 환경변수 설정인 /etc/environment에 설정을 하면된다. (다만 environment에 설정하면 시스템을 재부팅 해줘야 한다.)
[~$] vim ~/.bashrc
#Java
export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"
export PATH=$PATH:$JAVA_HOME/bin
# Hadoop
export HADOOP_PREFIX="~/hadoop-2.2.0"
export PATH=$PATH:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
# Native Path
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"
[~$] source ~/.bashrc
4.3. Setting of SSH
하둡이 노드들과 통신을 할 때 기본으로 SSH를 사용한다. 로컬에서 테스트를 할 목적이기에 비밀번호를 요구하지 않도록 설정한다.
[~$] ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[~$] cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[~$] chmod 644 ~/.ssh/authorized_keys
로컬로 SSH를 접근했을 때 비밀번호를 묻지 않으면 제대로 설정 된 것이다. 접근 후 exit로 빠져나온다.
[~$] ssh localhost
Welcome to Ubuntu 12.04 LTS (GNU/Linux 3.2.0-23-generic x86_64)
[~$] exit
logout
Connection to localhost closed.
4.4. Setting of Hadoop
Pseudo-Distributed Mode 형태로 설정을 진행한다. 설정파일들은 모두 ${HADOOP_PREFIX}/etc/hadoop 디렉토리 안에 존재한다.
4.4.1. hadoop-env.sh
하둡이 실행하는 모든 프로세스에 적용되는 시스템 환경 값에 대한 스크립트 파일로 전체 클러스터 노드에 복사해 사용하는 설정 파일이다.
# export JAVA_HOME=${JAVA_HOME} // 주석처리
export JAVA_HOME=”/usr/bin/jvm/java-7-openjdk-amd64”
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"
4.4.2. yarn-env.sh
yarn(Yet Another Resource Negotiator)는 분산된 환경을 운영 할 수 있도록 제공하는 환경 설정 파일이다.
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"
4.4.3. core-site.xml
HDFS와 MapReduce에서 공통으로 사용하는 로그 파일, 네트워크 튜닝, I/O 튜닝, 파일 시스템 튜닝, 압축 등과 같은 하둡 코어를 위한 환경 설정 파일이다. MapReduce에서도 공통으로 사용한다.
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<final>true</final>
</property>
4.4.4. hdfs-site.xml
hdfs-site.xml은 네임노드, 보조 네임노드, 데이터 노드 등과 같은 HDFS 데몬을 위한 환경설정 구성한다. dfs.namenode.name.dir은 파일의 디렉토리 정보와 파일 정보 등을 저장하는 폴더이다. 해당 저장위치는 hdfs가 아닌 로컬에 저장을 한다. dfs.datanode.name.dir은 하둡 파일 시스템에 저장되는 모든 파일이 저장되는 위치이다.
<property>
<name>dfs.namenode.name.dir</name>
<value>file:${HADOOP_PREFIX}/hadoop/dfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:${HADOOP_PREFIX}/hadoop/dfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
4.4.5. mapred-site.xml
mapred-site.xml은 JobTracker와 Task Track과 같이 맵 리듀스 데몬을 위한 환경설정 파일이다. 해당 파일은 mapred-site.xml.template로 제공되며 mapred-site.xml로 변경하여 사용한다.
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>file:${HADOOP_PREFIX}/hadoop/mapred/system</value>
<final>true</final>
</property>
<property>
<name>mapred.local.dir</name>
<value>file:${HADOOP_PREFIX}/hadoop/mapred/local</value>
<final>true</final>
</property>
4.4.6. yarn-site.xml
yarn과 관련된 데몬을 설정하는 파일이다.
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
4.4.7. Create Directories
hdfs-site.xml과 mapred-site.xml에서 설정한 디렉터리 경로에 맞게 디렉터리를 생성한다. 디렉터리 이름들은 사용자가 원하는대로 변경해도 된다.
[~$] mkdir –p ${HADOOP_PREFIX}/hadoop/dfs/name
[~$] mkdir –p ${HADOOP_PREFIX}/hadoop/dfs/data
[~$] mkdir –p ${HADOOP_PREFIX}/hadoop/mapred/system
[~$] mkdir –p ${HADOOP_PREFIX}/hadoop/mapred/local
5. Start Hadoop
5.1. NameNode Format
최초 실행시 NameNode를 포맷해준다.
[~$] hdfs namenode -format
5.2. 데몬 실행
데몬 실행 스크립트는 ${HADOOP_PREFIX}/sbin 에 위치해있다. start-all.sh로 모든 데몬을 실행한다.
- 전체 데몬 실행/종료 : start-all.sh / stop-all.sh
- HDFS만 실행/종료 : start-dfs.sh / stop-dfs.sh
- YARN만 실행/종료 : start-yarn.sh / stop-yarn.sh
5.3. 데몬 실행 확인
5.3.1. JPS
jps 명령으로 자바 가상 머신(JVM)의 프로세스 상태를 확인한다. 다음과 같이 하둡과 관련된 5개의 데몬과 jps 명령의 1개의 데몬 총 6개의 데몬이 실행 되어있으면 된다.
5.3.2. Command of Hadoop
하둡의 명령어 중에서 dfsadmin -report 명령을 통해 마스터와 슬레이브의 모든 시스템들의 상태를 콘솔 형태의 레포트로 확인 할 수 있다.
5.3.3. Connection Web Interface
하둡은 웹 인터페이스로도 다양한 관리를 제공해주고 있다.
localhost:8088
localhost:50070
6. 참조 사이트
▶ 소스 작성 후에 coomit을 하면 local repository에는 연동한 디렉토리에 반영이 되고 "Git repository" perspective view에 표시가 됩니다.
