728x90
[Ubuntu 20.04 LTS에 Hadoop 3.2.1 설치]
1. ssh 설치
sudo apt-get install ssh
sudo apt-get install pdsh
2. 권한 변경
sudo chmod -R 777 /home/lsy1206/.bashrc
nano .bashrc
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost
exit
sudo apt-get update
3. java 설치
oracle에서 java 1.8 linux download
적당한 곳에 압축파일 해제
sudo tar -xvzf ~/Downloads/jdk-8u301.........
+ 환경변수 설정
sudo chmod -R 777 /etc/environment
4. 하둡 다운로드 -> 압축해제!
wget https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
5. 하둡 설정파일 변경
1) JAVA_HOME 설정
nano ~/hadoop/etc/hadoop/hadoop-env.sh
2) Hadoop Configuration file 설정
core-site.xml / hdfs-site.xml / mapred-site.xml / yarn.xml
core-site.xml 설정 : 하둡실행 초기화면
hdfs-site.xml 설정 :
네임노드, 데이터노드 디렉토리 생성
mkdir -p /home/lsy1206/hadoop/hdfs/namenode
mkdir -p /home/lsy1206/hadoop/hdfs/datanode
mapred-site.xml 설정
yarn-site.xml
6. hadoop 환경변수설정
hdfs namenode 를 포맷한다
/bin/hdfs namenode -format
7. DFS 데몬 실행/중지 및 hadoop에 작동중인 프로세스 확인
sbin/start-dfs.sh
jps
yarn도 마저 실행해서 확인해준다.
start-yarn.sh
728x90
'[Data Engineering] > [Hadoop]' 카테고리의 다른 글
[Hadoop/기록] 6. Hadoop Read/Write Architecture (0) | 2021.08.29 |
---|---|
[Hadoop/기록] 5. Hadoop Architectures 훑기 (0) | 2021.08.29 |
[Hadoop/기록] 4. 하둡 User Common commands (0) | 2021.08.28 |
[Hadoop/기록] 3. Linux -> Hadoop 데이터 적재 과정(fs cmd 복습) (0) | 2021.08.27 |
[Hadoop/기록] 2. 하둡 File-System Shell commands (1) | 2021.08.27 |