yarn 指定版本 yarn升级指定包
大家好,今日小乐来为大家解答以上的问题。yarn 指定版本,yarn升级指定包很多人还不知道,现在让我们一起来看看吧!
yarn 指定版本 yarn升级指定包
yarn 指定版本 yarn升级指定包
1、用Application模式提交作业的示例命令如下。
2、翻译: YARN ResourceMar负责跟踪集群中的资源并调度应用程序(例如,MapReduce作业)。
3、在CDH 5之前,ResourceMar是YARN群集中的单点故障。
4、ResourceMar高可用性(HA)以主备ResourceMar对的形式添加冗余来消除此单点故障。
5、此外,从活动的ResourceMar故障切换到备用时,应用程序可以从保存的state store 恢复; 例如,如果在MapReduce作业中的映射任务完成后发生了ResourceMar的故障转移,则映射任务不会再次运行。
6、这样可以处理以下,而不会对正在运行的应用程序产生任何显着的性能影响:ResourceMar HA需要运行ZooKeeper和HDFS服务。
7、继续阅读:ResourceMar HA通过ResourceMar 的主备对来实现。
8、在启动时,每个ResourceMar都处于standy状态; 进程已启动,但状态为未加载。
9、当其中一个资源管理器转换为活动状态时,ResourceMar从指定的state store 加载内部状态并启动所有内部服务。
10、转换活动状态可以由(通过CLI)或自动故障转移触发。
11、以下小节提供了有关ResourceMar HA组件的更多详细信息。
12、如果启用恢复功能,重新启动ResourceMar允许恢复正在运行的应用程序。
13、为此,ResourceMar将其内部状态(主要是应用程序相关的数据和令牌)存储到ResourceMarStateStore; 当NodeMar连接时重新构建群集资源。
14、可以替代的state store 是MemoryResourceMarStateStore (基于内存的实现), FileSystemResourceMarStateStore (基于文件系统的实现; HDFS可用于文件系统)和 ZKResourceMarStateStore (基于ZooKeeper的实现)。
15、当运行两个资源管理器时,在两个资源管理器都定它们处于活动状态时会出现裂脑情况。
16、为了避免这种情况,只有一个ResourceMar应该能够执行主动作,而另一个ResourceMar应该被“隔离”。
17、基于ZooKeeper的状态存储ZKResourceMarStateStore 只允许单个ResourceMar对存储状态进行更改,并隐式隔离其他ResourceMar。
18、这是通过ResourceMar声明对根znode的独占创建 - 删除权限来完成的。
19、root znode 上的ACL是基于ACLs配置自动创建的; 对于安全集群,Cloudera建议您为根主机设置ACL,以便两个ResourceMars共享读写访问权限,但具有独占的创建 - 删除访问权限。
20、防护是隐含的,不需要显式配置(如HDFS和MRv1中的fencing需要显示配置)。
21、 可以根据需要插入自定义的“Fencer”- 例如,使用不同的状态存储实现。
22、默认情况下,ResourceMar HA使用ZKFC(基于ZooKeeper的故障转移)进行自动故障转移。
23、在内部, StandbyElector 用于选择活动的ResourceMar。
24、故障切换作为ResourceMar的一部分运行(不像HDFS和MapReduce v1中的单独进程),并且在yarn-site.xml中 配置 适当的属性后不需要进一步设置。
25、如果您愿意,可以插入自定义故障转移。
本文到这结束,希望上面文章对大家有所帮助。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系 836084111@qq.com 删除。