hadoop+hbase+zookeeper集群装置办法51CTO博客 - 牛牛娱乐

hadoop+hbase+zookeeper集群装置办法51CTO博客

2019年04月01日15时40分15秒 | 作者: 曜文 | 标签: 集群,装置,文件 | 浏览: 1369

  1.    最近公司树立hadoop+hbase+zookeeper集群,期间遇到了许多问题,这儿和我们共享一下装置的一些经历,意图在于我们在布置hadoop集群环境中少走一些弯路:  
  2. 因为刚开始的时分我用虚拟机装置,装置版别是hadoop0.20.2+hbase0.90.3+zookeeper3.3.3版别,在测验hbase集群的时分hmaster不能正常发动或者是发动后进程自杀(在网上找到的答案应该是虚拟机的内存小,不支持0.90.x今后的hbase版别发动hmaster),最终hbase换成0.20.6或者是0.89.X版别的测验没有问题;  
  3. hadoop的下载地址http://archive.apache.org/dist/hadoop/common/  
  4. hbase的下载地址:http://archive.apache.org/dist/hbase/  
  5. zookeeper的下载地址:http://archive.apache.org/dist/hadoop/zookeeper/  
  6. 1、 我的主机装备如下:(增加到/etc/hosts文件里边)    
  7. 192.168.0.211 master  (用于集群主机供给hmaster namenode jobtasker效劳 )  
  8. 192.168.0.212 s1      (用于集群丛机供给regionsrever datanode  tasktacuter效劳)  
  9. 192.168.0.213 s2  
  10.  
  11. 2、装置jdk1.6.2.X  
  12.  
  13. 3、增加java环境变量(/etc/profile),后履行source /etc/profile ,使环境变量当即收效  
  14. export JAVA_HOME=/usr/java/jdk1.6.0_26/  
  15. export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
  16. export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin  
  17. export HADOOP_HOME=/home/hadoop/hadoop  
  18. export HBASE_HOME=/home/hadoop/hbase  
  19. PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin  
  20.  
  21. 4、在三台电脑上增加hadoop用户   
  22.  
  23. useradd hadoop  
  24.  
  25. 5、在/home/hadoop/.bashrc增加变量  
  26. (将hadoop hbase的装备文件放到hadoop装置包根目录文件下,意图在于今后晋级hadoop和hbase的时分不必从头导入装备文件)  
  27.                  
  28. export HADOOP_CONF_DIR=/home/hadoop/hadoop-config  
  29. export HBASE_CONF_DIR=/home/hadoop/hbase-config  
  30.  
  31. 6、将hadoop hbase zookepper的装置包解压到/home/hadoop/下,偏重命名为hadoop hbase zookepper,在home/hadoop/下树立hadoop-config和hbase-config文件夹,而且将home/hadoop/hadoop/conf下的masters、slaves、core-site、mapred-sit、hdfs-site、hadoop-env复制到此文件夹,将home/hadoop/hbase/conf下的hbase-site和hbase-env.sh复制到次文件夹。  
  32.  
  33. 7、修正masters、slaves文件:  
  34.  分别为 master 和s1与s2  
  35.  
  36. 8、修正hadoop-env.sh的变量:  
  37.                
  38. export JAVA_HOME=/usr/java/jdk1.6.0_26/  
  39. export HADOOP_PID_DIR=/home/hadoop/hadoop/tmp  
  40.           
  41. 9、修正core-site.xml  
  42.                         
  43. <configuration> 
  44. <property> 
  45. <name>fs.default.name</name> 
  46. <value>hdfs://master:9000</value> 
  47. </property> 
  48. </configuration> 
  49.  
  50. 修正mapred-site.xml  
  51.  
  52. <configuration> 
  53. <property> 
  54.    <name>mapred.job.tracker</name> 
  55.    <value>hdfs://master:9001/</value> 
  56. </property> 
  57.  
  58. </configuration> 
  59.  
  60. 修正hdfs-site.xml(name和data文件夹不要手动树立)  
  61. <configuration> 
  62. <property> 
  63. <name>dfs.name.dir</name> 
  64. <value>/home/hadoop/hadoop/name</value> 
  65. </property> 
  66. <property> 
  67. <name>dfs.data.dir</name> 
  68. <value>/home/hadoop/hadoop/data/</value> 
  69. </property> 
  70. <property> 
  71.    <name>dfs.replication</name> 
  72.    <value>3</value> 
  73. </property> 
  74.  
  75. 10、设置master, s1, s2  机几台器之间无暗码拜访:  
  76.             (网上有许多文章,这儿就不写了 )  
  77.  
  78. 11、scp -r /home/hadoop/hadoop     s1:/home/hadoop  
  79.  scp -r /home/hadoop/hadoop     s2:/home/hadoop  
  80.  
  81. 12、切换到/home/hadoop/hadoop目录下  
  82. 履行bin/hadoop namenode -format(格式化master主机生成name data tmp等文件夹)  
  83.  
  84.  13、发动namenode   
  85.  履行 bin/start-dfs.sh  
  86.  
  87. 运用jps指令检查nomenode、secondnamenode是否正常发动:  
  88. ie里边输入http://master:50070 检查namenode的相关装备信息、运转状况和日志文件  
  89.  
  90. 14、发动mapred  
  91. 履行 bin/start-mapred.sh  
  92.  运用jps指令检查nomenode、secondnamenode是否正常发动:  
  93. ie里边输入http://master:50030  检查jobtasker的相关装备信息、运转状况和日志文件  
  94.  
  95. hbase+zookeeper集群树立:  
  96.  
  97. 1、将/home/hadoop/hadoop/conf/目录下的hbase-site.xml、regionserver和hbase-env.sh复制到/home/hadoop/hbase-config/目录下;  
  98. 修改hbase-site.xml装备文件,如下:  
  99. <property> 
  100. <name>hbase.rootdir</name> 
  101. <value>hdfs://master:9000/hbase</value> 
  102. </property> 
  103. <property> 
  104. <name>hbase.cluster.distributed</name> 
  105. <value>true</value> 
  106. </property> 
  107. <property> 
  108. <name>hbase.master</name> 
  109. <value>master</value> 
  110. </property> 
  111. <property> 
  112. <name>hbase.zookeeper.quorum</name> 
  113. <value>s1,s2</value> 
  114. </property> 
  115. <property> 
  116. <name>zookeeper.session.timeout</name> 
  117. <value>60000000</value> 
  118. </property> 
  119. <property> 
  120. <name>hbase.zookeeper.property.clientport</name> 
  121. <value>2222</value> 
  122. </property> 
  123.  
  124. 2、修改regionserver文件  
  125.  
  126. S1  
  127. S2  
  128.  
  129. 3、修改hbase-env.xml文件  
  130.  
  131. export JAVA_HOME=/usr/java/jdk1.6.0_26/  
  132. export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
  133. export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin  
  134. export HADOOP_HOME=/home/hadoop/hadoop  
  135. export HBASE_HOME=/home/hadoop/hbase  
  136. export HBASE_MANAGES_ZK=true 
  137. export PATH=$PATH:/home/hadoop/hbase/bin  
  138.  
  139. 4、scp -r /home/hadoop/hbase     s1:/home/hadoop  
  140.      scp -r /home/hadoop/hbase    s2:/home/hadoop  
  141.  
  142. 5、进入/home/hadoop/zookeeper/conf/中  
  143.  
  144. (1)cp    zoo_sample.cfg    zoo.cfg  
  145.  
  146. (2)vim zoo.cfg,如下:  
  147.  
  148. # The number of milliseconds of each tick  
  149. tickTime=2000 
  150. # The number of ticks that the initial  
  151. # synchronization phase can take  
  152. initLimit=10 
  153. # The number of ticks that can pass between  
  154. # sending a request and getting an acknowledgement  
  155. syncLimit=5 
  156. # the directory where the snapshot is stored.  
  157. dataDir=/home/hadoop/zookeeper/data  
  158. # the port at which the clients will connect  
  159. clientPort=2181 
  160. server.1=s1:2888:3888  
  161. server.2=s2:2888:3888  
  162.  
  163. (3)touch myid  
  164.  
  165. 修改:1(此序号设置和zoo.cfg里边的server设置要对应)  
  166. scp -r /home/hadoop/zookeeper   s1:/home/hadoop  
  167. scp -r /home/hadoop/zookeeper  s2:/home/hadoop  
  168.  
  169. (4)在所有的节点履行chown -R hadoop.hadoop /home/hadoop  
  170.  
  171. 发动hbase集群:  
  172.  
  173. (1)/home/hadoop/hbase/bin/start-base.sh  
  174.  
  175. (2)履行jps显现Hmaster是否发动  
  176.  
  177. (3)履行bin/hbase shell  
  178.  
  179.   (4)>create t1 t2 t3(测验使用hmaster刺进数据)  
  180.     > list (显现现已刺进的数据)  
  181.     >t1+t2+t3  
  182.  
  183. 输入:http://master:60010  


     

2011-7-25 15:51:06 上传 下载附件 (10.84 KB)  




 

版权声明
本文来源于网络,版权归原作者所有,其内容与观点不代表牛牛娱乐立场。转载文章仅为传播更有价值的信息,如采编人员采编有误或者版权原因,请与我们联系,我们核实后立即修改或删除。

猜您喜欢的文章