M1 Mac에 하둡 환경 만들기

카테고리 없음

M1 Mac에 하둡 환경 만들기

포그너 2023. 6. 11. 11:59

Brew 설치하기

하둡을 설치하려면 homebrew이 설치되어 있어야 합니다. brew 명령어가 설치가 안되어 있다면, 아래 글에서 먼저 설치해주세요.

하둡 설치

하둡 설치를 위해 터미널을 열고 아래 스크립트를 실행합니다.

brew install hadoop

설치된 경로 확인 및 폴더로 이동합니다.

cd /opt/homebrew/Cellar/hadoop/*/libexec/etc/hadoop

Visual Studio Code 에디터 사용하여 Java Home 설정

code 명령어를 사용하기 위해 VS code에디터를 사용합니다. 혹시 프로그램이 없으시면 터미널의 vi 나 nano 를 사용하셔도 됩니다.

다시 터미널에서 아래 명령어를 수행합니다.

code hadoop-env.sh

파일 안에 JAVA_HOME 구문이 보이면 # 을 제거하고 아래 구문을 추가해주세요.

export JAVA_HOME="/opt/homebrew/opt/openjdk@11/libexec/openjdk.jdk/Contents/Home”

4가지 Configuration 파일 추가해야할 코드입니다

# 1
code /opt/homebrew/Cellar/hadoop/*/libexec/etc/hadoop/core-site.xml

<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
 </property>
</configuration>

# 2
code /opt/homebrew/Cellar/hadoop/*/libexec/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

</configuration>

# 3 
code /opt/homebrew/Cellar/hadoop/*/libexec/etc/hadoop/mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
    <name>mapreduce.application.classpath</name>   
  <value>
$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/
  </value>
    </property>

</configuration>

# 4
code /opt/homebrew/Cellar/hadoop/*/libexec/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>  
   <value>
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
  </value>
  </property>
</configuration>

하둡을 실행하기 전에 먼저 namenode 포맷을 수행합니다.

hadoop namenode -format

SSH 접속 설정 및 보안 설정

하둡계정이 서버에 접속하려면 권한이 필요합니다. System setting에서 General > sharing에서 remote login 활성화를 합니다.

자 이제 터미널을 열어줍니다. 다음 아래 하둡 시작 명령어를 입력합니다.

start-all.sh

하둡 정지 명령어

stop-all.sh

하둡 프로세스 확인 명령어

jps

수행 중 시행착오...

오류: localhost: Permission denied (publickey,password,keyboard-interactive).

혹시 위와 같은 권한 오류가 발생하면 아래 명령어 순서대로 수행해 해결했습니다.

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

정상적으로 실행이 되었다면, 여기에 접속해서 볼 수 있습니다! 하둡!

HDFS: http://localhost:9870/dfshealth.html#tab-overview

YARN: http://localhost:8088/cluster/cluster

여기까지 오시느라 수고하셨습니다!

설치 참고 https://codewitharjun.medium.com/install-hadoop-on-macos-efe7c860c3ed

현재글M1 Mac에 하둡 환경 만들기

포그너의 기록