[Hadoop/기록] 2. 하둡 File-System Shell commands

Hadoop File-System commands

[초기 실행]

dfs, yarn을 실행시켜준다. hadoop의 fs command에 익숙해지기 위한 연습이며, 리눅스와 유사한 커맨드는 구체적인 설명을 생략했다.

sbin/start-dfs.sh
sbin/start-yarn.sh

 

[Hadoop FS Shell Commands]

linux에서 통상적으로 쓰이는 쉘 커맨드랑 굉장히 유사하다. 하지만 하둡의 루트 디렉토리에서 반드시 실행시켜야 한다!

(ls)

hadoop fs -ls
bin/hdfs dfs -ls

(mkdir)

hadoop fs -mkdir /user
bin/hdfs dfs -mkdir /hdfs-user

(touchz)

bin/hdfs dfs -touchz /생성하고자 하는 경로/파일명

- hadoop fs : Hadoop을 포함한 여러 파일 시스템과 상호작용하여 관리 
- hdfs dfs : HDFS에 해당하는 명령어

(put) : 리눅스 로컬에 있는 파일을 하둡 시스템으로 옮기는 명령어
하나의 파일이나 디렉토리 내의 모든 파일들을 리눅스 로컬 파일 시스템에서 해당 목적지 하둡 파일 시스템의 소스로 복사하는 명령어.
리눅스 로컬 파일 시스템에서 여러 파일을 HDFS 파일 시스템으로 복사 가능.

hadoop fs -put /etc/xml /user/etc

 

(copyFromLocal) put 명령어와 비슷하지만  소스는 로컬 파일 참조를 위해 제한적

bin/hdfs dfs -copyFromLocal /etc/apt /user/etc/apt

 

(get) 하둡 분산 파일 시스템에서 리눅스 로컬 파일 시스템으로 복사.

hadoop fs -get 하둡파일위치 리눅스옮길위치

 

CRC 체크실패여부 관련 파일을 복사.

 

(copyToLocal) get 명령어와 비슷하지만, 목적지가 로컬 파일 참조로 제한

bin/hdfs dfs -copyFromLocal 하둡위치 리눅스옮길위치

 

(cat)

 

(mv)  리눅스 <-> 하둡 간 mv는 허용되지 않으며 하둡 내에서만 이동 가능한 점을 명심해야 한다.

 

(cp)

 

(rm)

 

(chmod)

 

(chown) -> root 권한 등 owner 변경할 때 유용