测试环境:

系统: centos 5.5

安装包: hadoop-0.20.2.tar.gz jdk1.6.0
虚拟机三台: 192.168.1.239为namenode 192.168.1.123为datanode123 192.168.1.222为datanode222

目的:

    对hadoop安装配置使用做一个初步的认识。为深入研究了学习hadoop做一个铺垫。

1.. 配置ssh无密码登录和hosts文件
2.. 安装 jdk环境
3.. 系统环境变量配置
4.. 安装配置hadoop
1.. 配置ssh无密码登录
    使用namenode.hdp.com能够登录两台datanode222和datanode123

 
    
     
         
  1. ssh-keygen -t rsa 
    2.  
         
  2. cat .ssh/id_rsa.pub | ssh hadoop@192.168.1.123 "cat >>/home/hadoop/.ssh/authorized_keys" 
    3.  
         
  3. cat .ssh/id_rsa.pub | ssh hadoop@192.168.1.222 "cat >>/home/hadoop/.ssh/authorized_keys" 
    4.  
        
 
    
 测试
 ssh 192.168.1.123
 ssh 192.168.1.222
 cat /etc/hosts
 
    
 
    
     
         
  1. #### hadoop 
    2.  
         
  2. 192.168.1.239 namenode.hdp.com 
    3.  
         
  3. 192.168.1.222 datanode222.hdp.com 
    4.  
         
  4. 192.168.1.123 datanode123.hdp.com 
    5.  
        
 
    
 测试
 ping namenode.hdp.com
 2.. 安装 jdk环境
 ./jdk-6u33-linux-i586.bin
 最后按一下回车即可.
 3..  系统环境变量配置
 vim /etc/profile
 在文件最后加上
 
    
 
    
     
         
  1. export JAVA_HOME=/usr/local/jdk1.6.0_33 
    2.  
         
  2. export JRE_HOME=/usr/local/jdk1.6.0_33/jre 
    3.  
         
  3. export CLASSPATH=".:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH" 
    4.  
         
  4. export PATH="$JAVA_HOME/bin:$JRE_HOME/bin:$PATH" 
    5.  
        
 
    
 测试java环境
 
    
 
    
     
         
  1. [root@station jdk1.6.0_33]# java -version 
    2.  
         
  2. java version "1.6.0_33" 
    3.  
         
  3. Java(TM) SE Runtime Environment (build 1.6.0_33-b04) 
    4.  
         
  4. Java HotSpot(TM) Client VM (build 20.8-b03, mixed mode, sharing) 
    5.  
        
 
    
 4.. 安装配置hadoop
 tar zxvf hadoop-0.20.2.tar.gz
 cd hadoop-0.20.2
 配置：
 
    
 
    
     
         
  1. vim hadoop-env.sh 
    2.  
         
  2. export JAVA_HOME=/usr/local/jdk1.6.0_33 
    3.  
         
  3.  
    4.  
         
  4. vim core-site.xml 
    5.  
         
  5. <?xml version="1.0"?> 
    6.  
         
  6. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    7.  
         
  7.  
    8.  
         
  8. <!-- Put site-specific property overrides in this file. --> 
    9.  
         
  9.  
    10.  
         
  10. <configuration> 
    11.  
         
  11.     <property> 
    12.  
         
  12.         <name>hadoop.tmp.dir</name> 
    13.  
         
  13.         <value>/home/hadoop/tmp</value> 
    14.  
         
  14.     </property> 
    15.  
         
  15.     <property> 
    16.  
         
  16.         <name>fs.default.name</name> 
    17.  
         
  17.         <value>hdfs://namenode.hdp.com:9000</value> 
    18.  
         
  18.     </property> 
    19.  
         
  19. </configuration> 
    20.  
         
  20.  
    21.  
         
  21. vim hdfs-site.xml 
    22.  
         
  22. <?xml version="1.0"?> 
    23.  
         
  23. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    24.  
         
  24.  
    25.  
         
  25. <!-- Put site-specific property overrides in this file. --> 
    26.  
         
  26.  
    27.  
         
  27. <configuration> 
    28.  
         
  28.     <property> 
    29.  
         
  29.         <name>dfs.name.dir</name> 
    30.  
         
  30.         <value>/home/hadoop/name</value> 
    31.  
         
  31.     </property> 
    32.  
         
  32.     <property> 
    33.  
         
  33.         <name>dfs.data.dir</name> 
    34.  
         
  34.         <value>/home/hadoop/data</value> 
    35.  
         
  35.     </property> 
    36.  
         
  36.     <property> 
    37.  
         
  37.         <name>dfs.replication</name> 
    38.  
         
  38.         <value>1</value> 
    39.  
         
  39.     </property> 
    40.  
         
  40. </configuration> 
    41.  
         
  41.  
    42.  
         
  42. vim mapred-site.xml 
    43.  
         
  43. <?xml version="1.0"?> 
    44.  
         
  44. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    45.  
         
  45.  
    46.  
         
  46. <!-- Put site-specific property overrides in this file. --> 
    47.  
         
  47.  
    48.  
         
  48. <configuration> 
    49.  
         
  49.     <property> 
    50.  
         
  50.         <name>mapred.job.tracker</name> 
    51.  
         
  51.         <value>localhost:9001</value> 
    52.  
         
  52.     </property> 
    53.  
         
  53. </configuration> 
    54.  
        
 
    
 hadoop服务启动
 首先文件系统格式化
 
    
 
    
     
         
  1. cd /home/hadoop/hadoop-0.20.2 
    2.  
         
  2. ./hadoop namenode -format 
    3.  
        
 
    
 start-all.sh（全部启动）
 打开浏览器，分别输入网址：
     http://namenode.hdp.com:50030 (MapReduce的Web页面)   可以查看jobtracker状态,map reduce完成情况
     http://namenode.hdp.com:50070 (HDFS的Web页面)   可以查看到数据节点的状态
 应该可看到下面截面
 
    
 
    
 
 
    
 
 
    
 
    
 
 
    
 点击Live Nodes 进入查看详细信息