[Hadoop/기록] 1. Ubuntu 20.04 LTS에 하둡 설치 및 환경구성

[Ubuntu 20.04 LTS에 Hadoop 3.2.1 설치]

1. ssh 설치

sudo apt-get install ssh
sudo apt-get install pdsh

 

2. 권한 변경

sudo chmod -R 777 /home/lsy1206/.bashrc
nano .bashrc
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost
exit
sudo apt-get update

 

3. java 설치

oracle에서 java 1.8 linux download
적당한 곳에 압축파일 해제
sudo tar -xvzf ~/Downloads/jdk-8u301.........

+ 환경변수 설정

sudo chmod -R 777 /etc/environment

 

 

4.  하둡 다운로드 -> 압축해제!

wget https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

 

5. 하둡 설정파일 변경 

1) JAVA_HOME 설정

nano ~/hadoop/etc/hadoop/hadoop-env.sh

2) Hadoop Configuration file 설정
    core-site.xml / hdfs-site.xml / mapred-site.xml / yarn.xml

    core-site.xml 설정 : 하둡실행 초기화면

    hdfs-site.xml 설정 : 
    네임노드, 데이터노드 디렉토리 생성

mkdir -p /home/lsy1206/hadoop/hdfs/namenode
mkdir -p /home/lsy1206/hadoop/hdfs/datanode

    mapred-site.xml 설정

    yarn-site.xml

 

6. hadoop 환경변수설정

hdfs namenode 를 포맷한다

/bin/hdfs namenode -format

 

7. DFS 데몬 실행/중지 및 hadoop에 작동중인 프로세스 확인

sbin/start-dfs.sh

jps

yarn도 마저 실행해서 확인해준다.

start-yarn.sh

dfs 데몬 실행

dfs 데몬 정지