Hadoop从搭建环境到运行(虚拟机准备)_hadoop准备虚拟机-程序员宅基地

技术标签： hadoop  大数据  

后续文章地址Hadoop从搭建环境到运行(集群建立)

Hadoop

大数据生态体系

结构图

1.png

推荐系统架构

2.png

Hadoop组成

3.png

虚拟机环境搭建

下载VMware

使用的15.1.0版本，前面下了一个版本的windows10 无法使用

下载地址 https://download3.vmware.com/software/wkst/file/VMware-workstation-full-15.1.0-13591040.exe

密钥：UA5DR-2ZD4H-089FY-6YQ5T-YPRX6

安装CentOS1.6

选择创建新的虚拟机，并找到镜像文件
4.png

使用本地网络
5.png

选择默认的SCSI控制器
6.png

  • 关于SCSI参考
    [转载]: http://blog.sina.com.cn/s/blog_49f8dc400101fwt7.html “VMware vSphere 创建虚拟机时SCSI适配器的选择”

设置磁盘容量
7.png

虚拟机环境配置

更改网络配置

8.png

9.png

设置虚拟机的IP、DNS和主机名

vi /etc/sysconfig/network-scripts/ifcfg-ens*

参考文章 https://www.cnblogs.com/shireenlee4testing/p/9469650.html

Xshell连接成功
10.png

虚拟机准备

  • 关闭防火墙
service iptables stop // 关闭服务
chkconfig iptables off // 关闭开机自启动
service iptables status // 查看防火墙状态
chkconfig --list iptables

这里权限可能会不够，需要切换到root用户，VMware默认的root用户密码跟自己设置的密码一样
11.png
12.png

  • 在 /opt 目录下创建software module 文件夹
mkdir /opt/software /opt/module // 创建文件夹
chown whb:whb /opt/software /opt/module // 给予权限

13.png

这里权限是root的，需要改成我们自己的
14.png

  • 给予root权限
vim /etc/sudoers
whb ALL= (ALL)

15.png

  • 测试权限
su whb // 这里输入自己的用户名
sudo ls // 不报错就证明可以了
exit; // 退回到root

修改Hosts文件

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.209.100 hadoop100
192.168.209.101 hadoop101
192.168.209.102 hadoop102
192.168.209.103 hadoop103
192.168.209.104 hadoop104
192.168.209.105 hadoop105

16.png

修改主机名

vim /etc/sysconfig/network

17.png

  • 将此虚拟机克隆一个出来，以防以后出问题了可以使用
    修改第二个虚拟机的hosts文件和主机名，同上，注意HOSENAME要改成自己需要的（Host目录里写的）
    然后修改一个文件，删除第一行，第二个name改为eth0
vim /etc/udev/rules.d/70-persistent-net.rules

18.png

19.png

JDK环境搭建

使用XFTP进行jdk和hadoop文件的传输，发现传输错误，查了一下原因发现是权限不足，使用root用户连接并右键opt(根据个人情况勾选包含子目录)文件对权限进行修改

20.png

  • 解压文件（jdk和hadoop）
tar -zxvf (你的jar包) -C /opt/module (这里是解压路径 )
  • 设置环境变量
sudo vim /etc/profile

在文件最后添加

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

验证

source /etc/profile
echo $JAVA_HOME

21.png

  • 同样的方法解压hadoop并配置环境变量
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意：这里还需要sbin文件夹

后续查看下一篇文章：Hadoop从搭建环境到运行(集群建立)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43431766/article/details/107151136

智能推荐

Verilog pcie_can_root.xdc_博客 verilog的can通信代码_老皮芽子的博客-程序员宅基地

文章浏览阅读512次，点赞2次，收藏3次。采用 FPGA + SJA1000 实现 PCIe to CANFPGA 约束文件。Xilinx Vivado: pcie_can_root.xdc_博客 verilog的can通信代码

opencv 3.0 填充矩形 填充多边形 fillPoly（图像填充）_opencv3 fillpoly-程序员宅基地

文章浏览阅读5.6k次。参考链接：https://blog.csdn.net/billbliss/article/details/43968291_opencv3 fillpoly

OC笔记-学习self时候2个target然后修改名字出现linker command failed with exit code 1 (use -v to see invocation)-程序员宅基地

文章浏览阅读412次。linker command failed with exit code 1 (use -v to see invocation)

Nature Microbiology | 枯草芽孢杆菌生物膜促进甜瓜生长并抗病_刘永鑫Adam的博客-程序员宅基地

文章浏览阅读1.3k次。文献信息原名：Bacillus subtilis biofilm matrixcomponents target seed oil bodies to promote growth and anti-fungal resistancein melon译名：枯草芽孢杆菌生物膜组分促进甜瓜植株生长，提高植物抗病性期刊：Nature Microbiology发表时间：202..._枯草芽孢杆菌细胞膜成分有哪些

mllib调参 spark_SparkMLlib分类算法之决策树学习-程序员宅基地

文章浏览阅读172次。SparkMLlib分类算法之决策树学习(一) 决策树的基本概念决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。En..._mllib fscore调库

一、faster_rcnn_framework.py-程序员宅基地

文章浏览阅读183次。# faster_rcnn_framework.py：该文件实现了 Faster R-CNN 的整体网络结构，并定义了损失函数的计算方式，包括分类损失和边界框回归损失的计算。

随便推点

GTK+2.0之初始学习篇（二）—— g_signal_connect宏解释及HelloWorld-程序员宅基地

文章浏览阅读1w次。GTK+2.0中利用信号/回调函数机制来处理窗口外部传来的事件、消息或信号。 以下实现的是单击窗口关闭按钮，窗口自动关闭。在程序中调用了gtk_main_quit()函数实现退出主循环。#includevoid on_delete_event(); //函数声明int main(int argc, char* argv[]){ GtkWidget *window;_g_signal_connect

太干了！一张图整理了 Python 所有内置异常-程序员宅基地

文章浏览阅读305次。在编写程序时，可能会经常报出一些异常，很大一方面原因是自己的疏忽大意导致程序给出错误信息，另一方面是因为有些异常是程序运行时不可避免的，比如在爬虫时可能有几个网页的结构不一致，这时两种结构的网页用同一套代码就会出错，所以我们就需要捕获出现的异常，以防止程序因为错误信息而终止运行。Python有很多的内置异常，也就是说Python开发者提前考虑到了用户编程过程中可能会出现这类错误，所以制造了这些内置异常可以快速准确向用户反馈出错信息帮助找出代码中的bug。Python官方文档中也给出了所有内置异常及触发条

driver 和 firmware 的区别-程序员宅基地

文章浏览阅读1.5k次。转自http://blog.csdn.net/a15757129260/article/details/53099837驱动和固件（firmware）都是代码，前者为软件服务，后者为硬件服务。在操作系统概念还不明确的时代，二者是没有明显区别的。但是随着计算机体系结构的发展，硬件的种类开始变多，操作系统的种类也变多了。这个时候，因为各种技术的、商业的原因，硬件厂商

Ubuntu Server 16.04 LTS上怎样安装下载安装Nginx并启动-程序员宅基地

文章浏览阅读107次。场景Linux-安装 Ubuntu Server 16.04 X64（图文教程详细版）：https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/93790806Nginx入门简介和反向代理、负载均衡、动静分离理解：https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/102790862注：博客： https://blog.csdn.net/badao_liumang...

史上最全的Chrome使用技巧集锦_chrome flags设置大全-程序员宅基地

文章浏览阅读1.6w次，点赞2次，收藏16次。史上最全的Chrome使用技巧集锦转自http://www.codeceo.com/article/chrome-usage-most-useful.htmlChrome的隐身模式先来说说隐身模式的启用方法吧1.键盘快捷：Ctrl + Shift + N。2.在Windows7下的任务栏处，右击“Chrome”图标，会出一个下拉菜单，_chrome flags设置大全

闭口式霍尔电流传感器（安科瑞-卓宋兰）_闭口霍尔-程序员宅基地

文章浏览阅读359次。1.产品概述AHKC-BS 系列电流传感器的初、次级之间是绝缘的，可用于测量直流、交流和脉冲电流。2.技术参数及外形尺寸3.安装方式4.注意事项1、霍尔传感器在使用时，为了得到较好的动态特性和灵敏度，要注意原边线圈和副边线圈之间的耦合，建议使用单根导线且导线完全填满霍尔传感器模块过线孔；2、霍尔传感器在使用时，在额定输入电流值下才能得到更佳的测量精度，当被测电流远低于额定值时，若要获得更佳精度，原边可使用多匝，即：IpNp=额定安匝数。另外，原边馈线温度不应超过 80℃；3、霍尔电流传感器_闭口霍尔

推荐文章

热门文章

相关标签