京东-优惠雷达
新人页面
精选商品
首月0月租体验,领12个月京东PLUS
自营热卖

1.__搭建hadoop前环境准备

趁我热情未改 1月前   阅读数 29 0

1.安装yum源

原因:

因为centos7自带的yum源可能更新比较慢,下载速度慢, 比赛的时候会给我们提供好yum源的相关文件

操作:

常规操作: 将备份/etc/yum.repos.d/CentOS-Base.repo和epel.repo 文件,然后下载腾讯, 阿里等等多种yum源的其中之一

比赛操作:将准备好的yum源文件,放在/etc/yum.repos.d文件下面
在这里插入图片描述
或者使用wget来进行下载:

示例: 阿里云
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

清除缓存,重新启动

yum clean all
yum makecache


2. 防火墙的关闭/开启

systemctl start firewalld
systemctl stop firewalld
#在windows10环境下关闭防火墙
netsh advfirewall set allprofile state off

3. 修改虚拟机网络ip

编辑路径:vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static  # 将网络ip的获取设置为静态
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=7fe042fd-12e0-4503-a68c-9227af16ad97
DEVICE=ens33
ONBOOT=yes   #设置是否开机自动启动
IPADDR=192.168.88.202   #网络ip地址
GATEWAY=192.168.88.2    #网关地址
DNS1=192.168.88.2		#默认服务器地址 

注意: 当网络环境不管用, 或者修改了文件时候, 可以使用重新启动网络服务

systemctl restart network

4. 修改本机主机名和主机名映射

1. 修改本机主机名

#修改主机名
hostnamectl set-hostname 主机名
#立即生效
bash

解释: 其实上面的方式就是修改了/etc/hostname文件

2. 添加映射

原因: 更加的方便使用主机名映射进行操作,而不是主机ip地址

操作:
修改/etc/hosts文件,将需要添加映射添加进去

vim /etc/hosts


5.配置时间同步

1. tzselect

在这里插入图片描述
在这里插入图片描述
解释:
tzselect命令用于选择时区。tzselect只是帮我们把选择的时区显示出来,并不会实际生效,也就是说它仅仅告诉我们怎么样去设置环境变量TZ。

设置环境变量:
1.直接在/etc/profile文件中添加环境变量
2. 在/etc/profile.d/下创建新的文件夹,添加上环境变量

2. ntp协议同步时间

centos7上没有携带ntp服务需要自行安装

yum install -y nep

从3台机器中找出一台机器当作内部时钟源服务器:
例: master

修改master的 /etp/ntp.conf文件:
添加如下内容,还有其他一些小修改

server 127.127.1.0
fudge 127.127.1.0 stratum 10

在这里插入图片描述

修改 hadoop202 的/etc/sysconfig/ntpd 文件

增加内容如下(让硬件时间与系统时间一起同步)

SYNC_HWCLOCK=yes

最后:重启ntpd服务

systemctl restart ntpd

在几分钟,就可以在其他机器上继续同步了

ntpdate hadoop202

3. crontab写定时任务,同步时间

文件介绍:

  1. 星号(*):代表所有可能的值,例如month字段如果是星号,则表示在满足其它字段的制约条件后每月都执行该命令操作。
  2. 逗号(,):可以用逗号隔开的值指定一个列表范围,例如,“1,2,5,7,8,9”
  3. 中杠(-):可以用整数之间的中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6”
  4. 正斜线(/):可以用正斜线指定时间的间隔频率,例如“0-23/2”表示每两小时执行一次。
  5. 同时正斜线可以和星号一起使用,例如*/10,如果用在minute字段,表示每十分钟执行一次。
  6. 5课星代表的含义(依次): 分钟 / 小时 / 日 / 月份 / 星期

例: 写一个每10分钟定时触发的任务

crontab -e # 写定时任务
crontab -e # 查正在执行的定时任务
*/10 * * * * /usr/sbin/ntpdate hadoop202

6. 配置SSH免密登陆

  1. 生成公钥和私钥(以rsa加密的形式)

ssh-keygen-id -t rsa

默认生成地址: ~/.ssh/ 文件下

  1. 进行拷贝公钥

id_rsa: 这个文件下的问私钥
id_rsa.pub: 这个文件为公钥
authorized_keys: 这个文件为授权的公钥存储
known_hosts:可以查看授权的主机地址名称

如果需要配置免密登录,只需要将本机的公钥,拷贝到对应机器所需的authorized_keys文件中即可,但有点麻烦,可用下列命令代替

ssh-copy-id 机器地址

7.配置java环境变量

个人习惯说明: 创建/opt/software和 /opt/module文件夹
software: 存放安装包
module: 存放具体的文件

这个比较简单就大概模糊说了

  1. 解压安装包
  2. 将解压好的按照包的路径配置到 /etc/profile当中或者在/etc/profild.d/创建文件
  3. 使profile重新生效 source /etc/profile

最后: 测试java环境是否管用

8. 安装Zookeeper,配置环境

  1. 解压安装包
  2. 配置环境变量
  3. 配置conf/下的文件,先将zoo开头的更改为zoo.cfg
  4. zoo.cfg文件配置

在这里插入图片描述
5. 如果要搭建集群就要在 数据存放地址下(dataDir),创建myid文件,进行编辑当前集群的编号(要求这个编号是唯一的)

6.启动zk

bin/zkServer.sh start #启动zk
bin/zkServer.sh status #查看状态
bin/zkCli.sh # 客户端连接


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: