[Hadoop/기록] 4. 하둡 User Common commands

user-commands

[user-commands]

  하둡의 common-commands 는 user-command와 administrator-command로 나뉘어진다. 그 중 사용자 명령어인 user-command에 대한 기록이다. 마찬가지 특별하지 않은 cmd는 별다른 코멘트를 달지 않았다.

(archive) : 파일 시스템 디렉토리를 위해 로드맵을 그린다. *.har파일로 압축되며, 메타데이터와 데이터 파일들을 가지고 있다.
하둡 HDFS는 작은 사이즈의 파일이 많아지면 네임노드에서 이를 관리하는데 어려움이 발생한다. 따라서 블록사이즈 정도로 파일을 유지해주는 것이 좋은데, 이를 위해서 하둡은 파일을 묶어서 관리하고, 사용할 수 있는 하둡 아카이브를 제공한다.

hadoop archive -archiveName 압축파일명.har -p <src> 특정디렉토리 <dest src>

 실행시켜보면 맵-리듀스가 동작하면서 archive 명령어를 수행하는 것을 볼 수 있다. (map-reduce에 대한 구체적인 포스팅은 곧이어 올리도록 하겠다.)

결과 확인

(checknative) : hadoop native code로의 가용성을 검사한다.

hadoop checknative -a

 

(classpath)

 

(conftest) : xml등 hadoop config 파일을 검사(빈 속성이나 이중성 등등)

all vaild 기분좋네ㅎㅎ

 

(credential) 하둡 시스템 자격증명, 시스템 토큰 관리 등 하둡 보안과 연결된 명령어. 보안문제는 매우 중요한 부분이므로, 추후 구체적인 학습이 필요해보인다.

 

(distcp : distributed copy) 분산 복사시 사용하는 사용자 명령어. 맵-리듀스를 사용하며, 에러처리, 복구, 리포팅에 유용하다 .

-1. 새로운 컨텐츠(sample xml file) 생성 후 디렉토리 하나를 만들어 준다.

-2. 만든 하둡 풀더에 방금 생성한 xml 파일을 집어넣는다.

-3. target 폴더를 만들고, xml파일을 타겟 디렉토리로 copy해본다.

-4.결과 확인

 

(jar) pi값 계산. 

pi값이 3.1425......로 계산되었다. 오오오오!!!

 

(kerbname) : 정확한 사용용도는 모르겠다.  Convert the named principal via the auth_to_local rules to the Hadoop user name.이라는 한줄로 설명되어 있다. 하둡 유져네임으로 사용하기 위한 과정? 인 것 같다. 

Apache Hadoop 3.0.1 – Hadoop Commands Guide

 

(kdiag) 사용자와 서버가 동시에 kerberos 문제를 해결하도록 돕는다. kerberos는 보안을 강화하기 위해 사용하는 프로토콜이다. Principal과 Keytab 혹은 패스워드를 이용해 계정을 인증 받은 후 커버로스 티켓을 이용해 하둡의 서비스를 사용할 수 있게해서 클러스터의 보안을 강화할 수 있다. 관련 설명은 링크를 첨부해 둔다.

하둡(Hadoop)에서 커버로스(Kerberos) 인증 사용하기 - 여러개 인증 동시 사용

 

(그외, version, envvars -> 이건 유용하겠네)