技术标签: datanode HDFS hadoop yarn namenode
开启方式(关闭方式):
【定期合并fsimage文件和edits_log文件,保证集群的可靠性】
secondarynamenode守护作用:【解决HDFS的可靠性】
【secondarynamenode利用检查点机制,将fsimage和edits_log合并,解决宕机以后对HDFS的】
【HA高可用是解决HDFS的单点故障】
【区别:】
secondarynamenode是解决高可靠
HA解决的是高可用,两者实现系统稳定运行的角度不一样
用了高可用就不需要secondarynamenode了,有另一台节点存储namenode在运行的namenode挂掉的时候,该节点顶上去,保证高可用
可靠性:
数据3份副本:确保数据的可靠性
心跳机制:确保数据节点的可靠性
secondarynamenode:确保宕机恢复的可靠性
机架感知:性能的可靠性
开启方式(关闭方式):
作用:
开启方式(关闭方式):
作用:
作用:
jar 默认10份副本
split 默认10份
job.xml 默认3份
splitmetainfo 默认3份,切分元数据
【随应用的开启而开启,生命周期同应用】
开启方式:
[hadoop@master hadoop]$ mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /home/hadoop/soft/hadoop-2.7.3/logs/mapred-hadoop-historyserver-master.out[hadoop@master hadoop]$ jps
21896 JobHistoryServer
21931 Jps
作用:
方式一:start-dfs.sh + start-yarn.sh
start-dfs.sh会开启如下线程:
[hadoop@master ~]$
start-dfs.sh
Starting namenodes on [master]
master: starting namenode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-namenode-master.out
master: starting datanode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-datanode-master.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-secondarynamenode-master.out
主节点:(仅一个节点)
[hadoop@master ~]$
jps
17922 Jps17804 SecondaryNameNode
17583 NameNode
17886 DataNode
start-yarn.sh会开启如下线程:【只能在主节点执行该命令,从节点执行ResourceManager无法开启】
[hadoop@master ~]$
start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-master.out
slave02: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-slave02.out
slave03: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-slave03.out
slave01: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-slave01.out
主节点:
[hadoop@master ~]$
jps
18262 Jps
17804 SecondaryNameNode
17998 ResourceManager
17583 NameNode
17886 DataNode
方式一:start-dfs.sh + start-yarn.sh
start-dfs.sh会开启如下线程:
[hadoop@master ~]$
start-dfs.sh
Starting namenodes on [master]
master: starting namenode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-namenode-master.out
slave03: starting datanode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-datanode-slave03.out
slave01: starting datanode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-datanode-slave01.out
slave02: starting datanode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-datanode-slave02.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-secondarynamenode-master.out
主节点:
[hadoop@master ~]$
jps
17922 Jps
17804 SecondaryNameNode(仅1个,辅助名称节点单独主机上开启)
17583 NameNode(仅1个,主节点中开启)【主节点开启NameNode守护进程以及SecondaryNameNode(一般会再启用一个主机给辅助名称节点)】
从节点:
[hadoop@slave01 ~]$
jps
19360 DataNode(多个,每个数据节点都会开启,用于维护和管理数据)
19472 Jps【从节点开启DataNode守护进程,每个数据节点都会开启】
start-yarn.sh会开启如下线程:【只能在主节点执行该命令,从节点执行ResourceManager无法开启】
[hadoop@master ~]$
start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-master.out
slave02: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-slave02.out
slave03: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-slave03.out
slave01: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-slave01.out主节点:
[hadoop@master ~]$
jps
18262 Jps
17804 SecondaryNameNode
17998 ResourceManager(仅1个,主节点中开启)
17583 NameNode【在主节点中会开启ResourceManager,,用于调度整体的资源】
从节点:
[hadoop@slave03 ~]$
jps
18870 DataNode
19035 NodeManager(多个,每个数据节点都会开启)
19485 Jps【从节点会开启NodeManager,用于管控本节点的资源调度】
方式二:
hadoop-daemon.sh start namenode +
hadoop-daemon.sh start datanode +
hadoop-daemon.sh start secondarynamenode +
start-yarn.sh
hadoop-daemon.sh start namenode
[hadoop@master ~]$
hadoop-daemon.sh start namenode
starting namenode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-namenode-master.out[hadoop@master ~]$
jps
18731 NameNode
18862 Jps
hadoop-daemon.sh start datanode
[hadoop@slave01 ~]$
hadoop-daemon.sh start datanode
starting datanode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-datanode-slave01.out[hadoop@slave01 ~]$
jps
19877 Jps
19829 DataNode【分别在要开启的数据节点执行该命令,开启DataNode】
hadoop-daemon.sh start secondarynamenode
[hadoop@master ~]$
hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-secondarynamenode-master.out[hadoop@master ~]$
jps
18827 SecondaryNameNode
18862 Jps【任意节点都能开,将fsimage和edits_log文件做合并操作】
start-yarn.sh
【通常采用方式二开启守护进程】
主节点:
[hadoop@master hadoop]$ jps
20321 SecondaryNameNode
20119 NameNode
20761 Jps
20474 ResourceManager【没有变化】
从节点:
[hadoop@slave03 ~]$ jps
20544 NodeManager
20420 DataNode
20857 YarnChild(在MRAppMaster开启后,MRAppMaster会根据Mapper任务的开启,启动YarnChild,用于执行Mapper任务以及reducer任务,一个数据节点默认最多开启2个YarnChild,而在哪个数据节点开启YarnChild也是随机的)
20905 Jps
20765 MRAppMaster(Job开启后,ResourceManager随机选定某个NodeManager,让其开启一个应用主节点,管理所有应用的运行,生命周期随Job的开启而开启,随Job的消亡而消亡)【开启了两个守护线程,MRAppMaster和YarnChild】
文章浏览阅读461次。_electron vue项目打开慢
文章浏览阅读229次。接1、2、3、4篇。10、安装mysql支持安装fedora15或者16系统时若选择安装mysql数据库,则必须自行安装mysql开发包。因为自带默认数据库不会安装这个包。否则会遇到mysql错误:ogr_mysql.h:34:23: fatal error: my_global.h: No such file or directory#问题原因:找不到mysql头文件..._linux gdal netcdf5
文章浏览阅读1.2k次。Linux tc qdisc 模拟网络丢包延时_tc qdisc
文章浏览阅读336次。linux64bit 安装 jdk 1.7下载地址 : https://edelivery.oracle.com/otn-pub/java/jdk/7u21-b11/jdk-7u21-linux-x64.rpm0. 卸载rpm版的jdk: #rpm -qa|grep jdk 显示:jdk-1.6.0_10-fcs 卸载:#rpm -e --nodep..._liunx64位得jdk1.7
文章浏览阅读552次。开始听到负载均衡的时候,我第一反应想到的是链路负载均衡,在此之前主要是在学习网络方面知识,像在NA、NP阶段实验做链路负载均衡时常会遇到,后来还接触到SLB负载分担技术,这都是在链路基础上实现的。 其实负载均衡可以分为硬件实现负载均衡和软件实现负载均衡。 硬件实现负载均衡:常见F5和Array负载均衡器,配套专业维护服务,但是成本昂贵。 软件实现负载均衡:常见开源免费的负载均衡软件有Ngin..._中间件应用场景nginx lvs proxy
文章浏览阅读4.7k次。多维时序 | MATLAB实现CNN-LSTM多变量时序预测目录多维时序 | MATLAB实现CNN-LSTM多变量多步预测基本介绍模型特点程序设计学习总结参考资料基本介绍本次运行测试环境MATLAB2020b,MATLAB实现CNN-LSTM多变量多步预测。模型特点深度学习使用分布式的分层特征表示方法自动提取数据中的从最低层到最高层固有的抽象特征和隐藏不变结构. 为了充分利用单个模型的优点并提高预测性能, 现已提出了许多组合模型。CNN 是多层前馈神经网络, 已被证明在提取隐藏_cnn可以进行多步预测
文章浏览阅读219次。3.1 用户配置文件和密码配置文件3.2 用户组管理3.3 用户管理3.4 usermod命令3.5 用户密码管理3.6 mkpasswd命令_polkitd:input 用户和组
文章浏览阅读670次。主成分分析,即Principal Component Analysis(PCA),是多元统计中的重要内容,也广泛应用于机器学习和其它领域。它的主要作用是对高维数据进行降维。PCA把原先的n个特征用数目更少的k个特征取代,新特征是旧特征的线性组合,这些线性组合最大化样本方差,尽量使新的k个特征互不相关。关于PCA的更多介绍,请参考:https://en.wikipedia.org/wiki/Prin..._inprementation python code of pca
文章浏览阅读35次。发一下牢骚和主题无关:地址类型:32位的cpu,共4G间空,其中0-3G属于用户间空地址,3G-4G是内核间空地址。用户虚拟地址:用户间空程序的地址物理地址:cpu与内存之间的用使地址总线地址:外围总线和内存之间的用使地址内核逻辑地址:内存的分部或全体射映,大多数情况下,它与物理地址仅差一个偏移量。如Kmalloc分..._linux 内存条与内存地址
文章浏览阅读1.3k次,点赞2次,收藏16次。什么是自动化测试? 做测试好几年了,真正学习和实践自动化测试一年,自我感觉这一个年中收获许多。一直想动笔写一篇文章分享自动化测试实践中的一些经验。终于决定花点时间来做这件事儿。 首先理清自动化测试的概念,广义上来讲,自动化包括一切通过工具(程序)的方式来代替或辅助手工测试的行为都可以看做自动化,包括性能测试工具(loadrunner、jmeter),或自己所写的一段程序,用于_自动化测试中baw库指的什么
文章浏览阅读1.6w次。A0纸指的是一平方米大小的白银比例长方形纸(长为1189mm宽为841mm)。A0=1189mm*841mm A1=841mm*594mm 相当于1/2张A0纸 A2=594mm*420mm 相当于1/4.A1图纸大小尺寸:841mm*594mm 即长为841mm,宽为594mm 过去是以多少"开"(例如8开或16开等)来表示纸张的大小,我国采用国际标准,规定以 A0、A1、A2、.GB/T 14..._a0图纸尺寸
文章浏览阅读966次。最终效果图:UI说明:针对table本身进行增强的tree table组件。 tree的数据来源是单元格内a元素的自定义属性:level和type。具体代码如下:Java代码 DepartmentEmployeeIDposi_treetable canvas