2014. 10. 30. 22:24ㆍ서버 프로그래밍
<Cygwin설치>
1>Install from Internet 선택
2>D:\cygwin64 설치
3>D:\cygwin_local_packages 다운
4>Direct Connection 선택
5>Download Site:box-soft.com 선택
6>ssh 검색 후 install 선택
7>설치 종료 후, 환경변수 Path에 추가
....;d:\cygwin64\bin;d:\cygwin64\usr\sbin
<SSH설정>
1>ssh-host-config 실행
2>yes,no,yes,enter,no,no,yes순으로 입력
3>net start sshd 실행
4>관리도구-서비스에서 "CYGWIN sshd" 실행 확인
5>ssh-keygen 실행 : 공개키 생성
6>cd ~/.ssh 이동
7>cat id_rsa.pub >> authorized_keys
<Hadoop 다운로드>
https://archive.apache.org/dist/hadoop/core/hadoop-0.21.0/
1>hadoop-0.21.0.tar.gz 파일 다운로드
2>d:\cygwin64\home\administrator 폴더에 복사
3>tar xvfx hadoop-0.21.0.tar.gz 압축해제
4>ln -s hadoop-0.21.0 hadoop 심볼릭링크
<hadoop 환경설정>
1>cd hadoop
cd conf
2>vi hadoop-env.sh 실행
export JAVA_HOME=/cygdrive/d/jdk1.7.0_45
항목수정
ESC누르고 :wq! 입력하면 저장후 종료
3>vi core-site.xml 실행
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://127.0.0.1:9000</value>
</property>추가
</configuration>
4>vi hdfs-site.xml 실행
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property> 추가
</configuration>
5>vi mapred-site.xml 실행
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://127.0.0.1:9001</value>
</property> 추가
</configuration>
<하둡 실행>
1> ./bin/hadoop namenode -format
2> ./bin/start-all.sh 실행
* 퍼미션 문제로 정상 실행이 안되면 각각 실행시킴
$ bin/hadoop namenode
$ bin/hadoop secondarynamenode
$ bin/hadoop jobtracker
$ bin/hadoop datanode
$ bin/hadoop tasktracker
<맵리듀스 실행>
1> input 파일을 HDFS에 업로드
./bin/hadoop fs -put input.txt input.txt
2> 빌드한 jar 파일의 main Class를 실행
./bin/hadoop jar bitec-hadoop-wordcount.jar kr.or.bitec.wordcount.WordCount input.txt wordcount_output