大家好,今日小乐来为大家解答以上的问题。yarn 指定版本,yarn升级指定包很多人还不知道,现在让我们一起来看看吧!

yarn 指定版本 yarn升级指定包yarn 指定版本 yarn升级指定包


yarn 指定版本 yarn升级指定包


1、用Application模式提交作业的示例命令如下。

2、翻译: YARN ResourceMar负责跟踪集群中的资源并调度应用程序(例如,MapReduce作业)。

3、在CDH 5之前,ResourceMar是YARN群集中的单点故障。

4、ResourceMar高可用性(HA)以主备ResourceMar对的形式添加冗余来消除此单点故障。

5、此外,从活动的ResourceMar故障切换到备用时,应用程序可以从保存的state store 恢复; 例如,如果在MapReduce作业中的映射任务完成后发生了ResourceMar的故障转移,则映射任务不会再次运行。

6、这样可以处理以下,而不会对正在运行的应用程序产生任何显着的性能影响:ResourceMar HA需要运行ZooKeeper和HDFS服务。

7、继续阅读:ResourceMar HA通过ResourceMar 的主备对来实现。

8、在启动时,每个ResourceMar都处于standy状态; 进程已启动,但状态为未加载。

9、当其中一个资源管理器转换为活动状态时,ResourceMar从指定的state store 加载内部状态并启动所有内部服务。

10、转换活动状态可以由(通过CLI)或自动故障转移触发。

11、以下小节提供了有关ResourceMar HA组件的更多详细信息。

12、如果启用恢复功能,重新启动ResourceMar允许恢复正在运行的应用程序。

13、为此,ResourceMar将其内部状态(主要是应用程序相关的数据和令牌)存储到ResourceMarStateStore; 当NodeMar连接时重新构建群集资源。

14、可以替代的state store 是MemoryResourceMarStateStore (基于内存的实现), FileSystemResourceMarStateStore (基于文件系统的实现; HDFS可用于文件系统)和 ZKResourceMarStateStore (基于ZooKeeper的实现)。

15、当运行两个资源管理器时,在两个资源管理器都定它们处于活动状态时会出现裂脑情况。

16、为了避免这种情况,只有一个ResourceMar应该能够执行主动作,而另一个ResourceMar应该被“隔离”。

17、基于ZooKeeper的状态存储ZKResourceMarStateStore 只允许单个ResourceMar对存储状态进行更改,并隐式隔离其他ResourceMar。

18、这是通过ResourceMar声明对根znode的独占创建 - 删除权限来完成的。

19、root znode 上的ACL是基于ACLs配置自动创建的; 对于安全集群,Cloudera建议您为根主机设置ACL,以便两个ResourceMars共享读写访问权限,但具有独占的创建 - 删除访问权限。

20、防护是隐含的,不需要显式配置(如HDFS和MRv1中的fencing需要显示配置)。

21、 可以根据需要插入自定义的“Fencer”- 例如,使用不同的状态存储实现。

22、默认情况下,ResourceMar HA使用ZKFC(基于ZooKeeper的故障转移)进行自动故障转移。

23、在内部, StandbyElector 用于选择活动的ResourceMar。

24、故障切换作为ResourceMar的一部分运行(不像HDFS和MapReduce v1中的单独进程),并且在yarn-site.xml中 配置 适当的属性后不需要进一步设置。

25、如果您愿意,可以插入自定义故障转移。

本文到这结束,希望上面文章对大家有所帮助。