[Hadoop] MapReduce 실행 중 Error: org.apache.hadoop.hdfs.BlockMissingException

MapReduce을 실행하려고 했으나 BlockMissingException.. 노드들이 죽었다 ㅜㅜ

해결 방법 : namenode format

밑의 명령어들을 차례로 실행해보자

sbin/stop-all.sh
rm -rf /tmp/hadoop-*
$HADOOP_HOME/bin/hadoop namenode -format
sbin/start-all.sh

 

jps를 실행해보고 datanode까지 올라왔는지 확인해보기!

포맷이 잘 안되서 VMware를 껐다 키니까 다시 정상작동 하였다. 안되면 껐다가 켜보는 것도 방법..

namenode를 포맷했으니 hadoop fs -ls로 확인해보면 모두 삭제되어있다.

hadoop fs -mkdir -p /user/root/input
hadoop fs -put LICENSE.txt input

/user/root/input 경로를 생성하고 mapreduce에 넣을 LICENSE.txt를 input 경로에 넣는다.

https://nymagicshop16.tistory.com/29

[Hadoop] Java로 MapReduce 구현하기

이 글처럼 다시 mapreduce를 실행해보면 실행 성공 !!

wordcount가 성공한 것을 알 수 있다!