[Hadoop/기록] 3. Linux -> Hadoop 데이터 적재 과정(fs cmd 복습)

[1. Hadoop 환경변수 재설정]

java, hadoop native 

 

[2. Hadoop에 데이터를 저장할 폴더 생성]

이 과정에서 찝찝한 warning 하나를 잡고 넘어갔다.

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 라는 에러가 발생하는 경우, 위의 사진에서 HADOOP_OPT 부분을 추가적으로 입력해 준다.
-> 64bit Linux에서 32bit Hadoop을 실행하면 발생할 수 있다고 한다.

 

[3. put 명령어로 옮기고 싶은 파일을 하둡의 생성한 폴더로 옮김]

현 시점이 접근허가가 제외된 놈들을 빼고 이동된 상태이다.

 

[4. 옮겨진 내용 브라우저를 통해 확인]

이번에는 커멘드 쉘이 아니라 브라우저로 파일들이 잘 적재되었는지 확인해 본다.
브라우저를 열고, secondary namenode 정보가 포함된 9870 포트로 이동한다. 이동 후 Browse the file-system으로 이동한다.

이동 후, 아까 옮겨놓은 폴더 경로를 검색하면 로그파일들이 잘 옮겨져있는 것을 볼 수 있다...