支付宝红包
京东盲盒抽奖
幸运转盘
秒杀
自营热卖
支付宝红包

修改yarn-site.xml配置文件

流星划过的永恒 1年前   阅读数 1042 0

前言

配置Hadoop的主要5个文件

序号 配置文件名 配置对象 主要内容
1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息
2 core-site.xml 集群全局参数 用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等
3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等
4 mapred-site.xml Mapreduce参数 包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等
5 yarn-site.xml 集群资源管理系统参数 配置ResourceManager ,nodeManager的通信端口,web监控端口等

yarn-site.xml最重要的参数及其解释如下:

No. 参数名 默认值 参数解释
1 yarn.resourcemanager.address 0.0.0.0:8032 ResourceManager(以下简称RM) 提供客户端访问的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等
2 yarn.resourcemanager.scheduler.address 0.0.0.0:8030 RM提供给ApplicationMaster的访问地址。ApplicationMaster同通过该地址向RM申请资源、释放资源等
3 yarn,resoucemanager.resource.resource-tracker.address 0.0.0.0:8031 RM提供NodeManager的地址。NodeManager通过该地址向RM汇报心跳,领取任务等
4 yarn.resourcemanager.admin.address 0.0.0.0:8033 RM提供管理员的访问地址。管理员通过该地址向RM发送管理命令等
5 yarn.resourcemanager.webapp.address 0.0.0.0:8088 RM对web服务提供地址。用户可通过该地址在浏览器中查看集群各类信息
6 yarn.nodemanager.aux-services 通过该配置项,用户可以自定义一些服务,例如Map-Reduce的shuffle功能就是采用这种方式实现的,这样就可以在NodeManager上扩展自己的服务

  本小节修改yarn.nodemanager.aux-services和yarn.resourcemanager.hostname参数为例

第一步

  修改yarn-site.xml
在这里插入图片描述

  修改前
在这里插入图片描述
  修改后

在这里插入图片描述

  解析:Nodemanager获取数据方式为shuffle方式;指定yarn的resourcemanager的地址。主机名或对应的IP地址均可。(无空格)

第三步:

  保存并退出

进阶

  通过hadoop官方网址查询yarn-site.xml配置信息,可以了解最新的全部的yarn-site.xml配置信息,而且包括一些过时的定义标识,从而更好地维护您的集群。

快速链接

上一篇 汇总目录 下一篇
5.2.4 修改mapred-site.xml配置文件 (四) 云计算数据平台-hadoop集群 5.2.6 配置hadoop环境变量

注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: