[HADOOP] Heam size문제로 오류나는 문제.

[해결법]
외부 jar를 실행할 때 붉은색 옵션을 추가하면 된다.
-D mapred.child.java.opts=Xmx1024m

$ hadoop jar mytest.jar com.tistory.tost.Main -D mapred.child.java.opts=-Xmx1024m  ~~블라블라~~~

* 참고글 : https://getsatisfaction.com/cloudera/topics/map_reduce_streaming_job_heap_size_error



 [문제]
실행했는데.. map과 reduce 0%에서 무한대기한다면... 오류가 생긴거다.

12/03/26 14:27:10 INFO mapred.FileInputFormat: Total input paths to process : 4
12/03/26 14:27:10 INFO mapred.FileInputFormat: Total input paths to process : 4
12/03/26 14:27:10 INFO runner.RunJobCommand: To kill this job, run:
12/03/26 14:27:10 INFO runner.RunJobCommand: 블라블러서버:9001 -kill job_201201052117_1709
12/03/26 14:27:11 INFO runner.RunJobCommand: mytest map 0%  reduce 0%        <--- 여기서 무한대기

 

http://하둡IP:50030/jobfailures.jsp  에 접속해서 failed난 task를 눌러보면 오류메시지가 보인다.

보니까 뭔가 heap space문제로 오류가 났다.