博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop 集群搭建
阅读量:5023 次
发布时间:2019-06-12

本文共 4123 字,大约阅读时间需要 13 分钟。

master    192.168.132.131

slave3  192.168.132.141

slave2  192.168.132.144

slave3  192.168.132.142

 

master和node节点都要添加到/etc/hosts

192.168.132.144 slave2192.168.132.131 master192.168.132.142 slave1192.168.132.141 slave3

 

一、配置ssh无秘钥登录

ssh-keygen -t rsa -P ''#关闭防火墙:(centos7)systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动

 

二、java1.8 安装

环境变量设置

cat /etc/proifileexport HADOOP_HOME=/usr/local/hadoop (hadoop 环境变量)export PATH=$PATH:$HADOOP_HOME/binexport JAVA_HOME=/usr/local/java/jdk1.8.0_131/export JRE_HOME=/usr/local/java/jdk1.8.0_131/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

 

三 、安装hadoop 2.8.1

解压,放到/usr/local/hadoop目录,配置文件目录

cd /usr/local/hadoop/etc/hadoopmkdir /usr/local/hadoop/{hdfs,tmp}mkdir /usr/local/hadoop/hdfs/{name,tmp,data}

 

四、配置文件(master服务器)

core-site.xml

hadoop.tmp.dir
/usr/local/hadoop/tmp
true
A base for other temporary directories.
fs.default.name
hdfs://192.168.132.131:9000
##master ip
true
io.file.buffer.size
131072

 

配置hdfs-site.xml文件

dfs.replication
2
                  #数据备份的个数
dfs.name.dir
/usr/local/hadoop/hdfs/name
      #namenode持久存储名字的额空间、事物日志路径
dfs.data.dir
/usr/local/hadoop/hdfs/data
      #datanode数据存储路径
dfs.namenode.secondary.http-address
192.168.132.131:9001
    #master ip
dfs.webhdfs.enabled
true
dfs.permissions
false

 

配置mapred-site.xml文件

mapred.job.tracker
http://192.168.132.131:9001
    #master ip
mapreduce.framework.name
yarn

 

配置yarn-site.xml文件

yarn.resourcemanager.address
192.168.132.131:18040
yarn.resourcemanager.scheduler.address
192.168.132.131:18030
yarn.resourcemanager.webapp.address
192.168.132.131:18088
yarn.resourcemanager.resource-tracker.address
192.168.132.131:18025
yarn.resourcemanager.admin.address
192.168.132.131:18141
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

 

配置master文件

 

配置slaves文件(master节点独有)

 

五、配置所有slave节点

将master节点的hadoop 以上配置的文件拷贝过去即可(不包括slaves文件

 

六、启动服务(master节点)

hadoop namenode –format

 

启动 /关闭 hadoop ,/usr/local/hadoop/sbin 目录下

start-all.sh //此命令会启动集群所有节点

 

stop-all.sh //此命令会启动集群所有节点

 

启动单个节点命令,单个namenode,datanode,ResourceManager ,nodemanager的命令

hadoop namenode -format hadoop-daemon.sh start namenode hadoop-daemons.sh start datanode yarn-daemon.sh start resourcemanager yarn-daemons.sh start nodemanager

 

测试:

master节点

slave节点

 

 

 查看集群状态: hadoop dfsadmin -report

通过网页查看集群  masterip:50070

http://192.168.132.131:18088/cluster

 

MapReduce测试

[root@master mapreduce]# hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 10 100

 

转载于:https://www.cnblogs.com/FRESHMANS/p/8446343.html

你可能感兴趣的文章
IIS版本变迁
查看>>
使用Gzip压缩提升WEB服务器性能
查看>>
BZOJ3884: 上帝与集合的正确用法 拓展欧拉定理
查看>>
mybatis09--自连接一对多查询
查看>>
myeclipse10添加jQuery自动提示的方法
查看>>
【eclipse jar包】在编写java代码时,为方便编程,常常会引用别人已经实现的方法,通常会封装成jar包,我们在编写时,只需引入到Eclipse中即可。...
查看>>
视频监控 封装[PlayCtrl.dll]的API
查看>>
软件工程APP进度更新
查看>>
Python 使用正则替换 re.sub
查看>>
CTF中那些脑洞大开的编码和加密
查看>>
简化工作流程 10款必备的HTML5开发工具
查看>>
c++ 调用外部程序exe-ShellExecuteEx
查看>>
Java进击C#——语法之知识点的改进
查看>>
IdentityServer流程图与相关术语
查看>>
BirdNet: a 3D Object Detection Framework from LiDAR information
查看>>
icon fonts入门
查看>>
【Django】如何按天 小时等查询统计?
查看>>
HDU2191(多重背包)
查看>>
测试用例(一)
查看>>
【转】 mysql反引号的使用(防冲突)
查看>>