yarn安装包_yarn安装包使用

spark安装与运行模式

Spark-shell 是以一种交互式命令行方式将Spark应用程序跑在指定模式上，也可以通过Spark-submit提交指定运用程序，Spark-shell 底层调用的是Spark-submit,二者的使用参数一致的，通过- - 查看参数：

Spark-shell 参数

yarn安装包_yarn安装包使用

yarn安装包_yarn安装包使用

sparkconf的传入有三种方式：

1.通过在spark应用程序开发的时候用set()方法进行指定

2.通过在spark应用程序提交的时候用过以上参数指定，一般使用此种方式，因为使用较为灵活

Local模式

Local 模式是最简单的一种Spark运行方式，它采用单多线程（cpu)方式运行，local模式是一种OOTB（开箱即用）的方式，只需要在spark-env.sh导出JAVA_HOME,无需其他任何配置即可使用，因而常用于开发和学习

方式：./spark-shell - - local[n] ，n代表线程数

Spark on Yarn

on Yarn的俩种模式

Cluster 模式

1.由client向ResourceMar提交请求，并上传Jar到HDFS上

这期间包括四个步骤:

a).连接到RM

b).从RM ASM(applicationsMar)中获得metric，queue和resource等信息。

d).设置运行环境和container上下文

2.ResourceMar向NodeMar申请资源，创建Spark ApplicationMaster（每个SparkContext都有一个ApplicationMar）

3.NodeMar启动Spark App Master，并向ResourceMar ASM注册

5.ResourceMar向ResourceMar ASM注册申请container资源(INFO YarnImpl: Submitted application)

6.ResourceMar通知NodeMar分配Container，这是可以收到来自ASM关于container的报告。(每个container的对应一个executor)

7.Spark ApplicationMaster直接和container(executor)进行交互，完成这个分布式任务。

进入spark安装目录下的conf文件夹

[atguigu@hadoop102 module] mv sles.template sles

[atguigu@hadoop102 conf] vim sles

hadoop102

hadoop103

hadoop104

4）修改spark-env.sh文件，添加如下配置：

[atguigu@hadoop102 conf]$ vim spark-env.sh

SPARK_MASTER_HOST=hadoop102

SPARK_MASTER_PORT=7077

5）分发spark包

[atguigu@hadoop102 module] in/start-all.sh

export JAVA_HOME=XXXX

spark-submit

--class org.apache.spark.examples.SparkPi

-- spark://server-2:7077

--executor-memory 1G

--total-executor-cores 2

/home/xxx/可能是我有毒吧。。software/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar

100

spark-shell

-- spark://server-2:7077

--executor-memory 1g

--total-executor-cores 2

spark-shell -- spark://server-2:7077 --executor-memory 1g --total-executor-cores 2

参数：-- spark://server-2:7077 指定要连接的集群的

Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行。

yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出

yarn-cluster：Driver程序运行在由RM（ResourceMar）启动的AP（APPMaster）适用于生产环境。

安装使用

2）修改spark-env.sh，添加如下配置：

[atguigu@hadoop102 conf]$ vi spark-env.sh

YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop

3）分发配置文件

4）执行一个程序

spark-submit

--class org.apache.spark.examples.SparkPi

-- yarn

--deploy-mode client

/home/xxx/software/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar

100

注意：在提交任务之前需启动HDFS以及YARN集群。

日志查看

添加如下内容：

spark.yarn.history.address=server-2:18080

spark.history.ui.port=18080

2）重启spark历史服务

[atguigu@hadoop102 spark] in/start-history-server.sh

starting org.apache.spark.deploy.history.History, logging to /opt/module/spark/logs/spark-atguigu-org.apache.spark.deploy.history.History-1-hadoop102.out

spark-submit

--class org.apache.spark.examples.SparkPi

-- yarn

--deploy-mode client

/home/xxx/software/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar

100

Ja培训需要多久学习哪些内容

Struts

学习周期一般都是四个月，阶段：Ja语言基础

1、面向对象思维JAVASE

2、（类加载机制与反射，annotation，泛型，网络编程，多线程，IO，异常处理，常用API，面向对象，JAVA编程基础）

3、Ja8新特性

第二阶段：数据库

★ 数据库

1、Oracle（SQL语句、SQL语句原理、SQL语句优化、表、视图

2、序列、索引、Oracle数据字典、Oracle 数据库PL/SQL开发

3、数据库设计原则、 MySQL 、 JDBC

第三阶段：Web基础

★ WSpark 的运行模式有 Local(也称单模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s等常用模式，本文介绍前三种模式。eb基础

1、HTML5（H5）基本文档结构、链接、列表、表格、表单;

3、JaScript语言基础、DOM 编程、模型等），JQuery，AJAX框架，XML，BootStrap组件

第四阶段：Ja Web技术和主流框架

★ Ja Web技术和主流框架

1、JSP&Servlet、struts2，hibernate4，spring4，JPA，men

2、SpringData，SpringMVC，MyBatis，SpringSecurity，shiro，Nginx

第五阶段：Linux

1、Linux安装、熟悉Linux的基础命令、vi编辑器的使用、awk和sed命令使用、用户和组

3、系统和日志管理、进程管理和任务、ssh远程登录、shell基础和shell脚本。

第六阶段：大数据技术（Hadoop和Spark）

★ 大数据技术（Hadoop和Spark）

1、Hadoop （Hadoop基础和环境搭建，HDFS体系结构，MapReduce；Hadoop的集群模式、HDFS联盟，利用ZooKeeper来实现Hadoop集群的HA（高可用性）功能

2、Yarn的任务调度机制，Apache Hive，Pig数据处理，集成Hadoop和Sqoop

3、Flume以及Apache Kafka来实现数据的交换,安装部署HBase,Storm）

4、Scala 语言（Scala环境搭建、Scala基础语法、模式匹配、重载与构造器、Map与reduce、元组、继承、StringContext，Option Some None，Tuple；方法和运算，future 对象同步处理和异步处理返回结果）

5、Spark（Spark搭建，Spark-shell 的使用，Spark-submit 提交应用， Spark的内核设计和实现，并对内核中的实现架构、运行原理进行详细的讲解；Spark生态体系中的各个组件，包括：Spark Core，Shark，Spark SQL和Spark Streaming等等）

第七阶段：项目

★ 项目

1、China-UCSP 项目 SSM(Spring+SpringMVC+MyBatis)

2、用户关系管理系统 S2SH+Men+Nodejs+MySQL技术实战开发

3、电子商务交易平台 S2SH+Men+Shiro+Oracle

ja培训一般需要六个月的时间，至于内容可以看看下面的学习内容：

一、JaEE基础

Ja基础语法、面向对象、核心类库、、异常、IO、线程、JDK新特性；

二、JaWeb开发

前端技术、数据库、JAVA数据库作、软件及相关技术、页JSP、AJAX；

三、Ja高级框架

SpringMVC、MyBatis、Spring、MySQL高级、Linux&Redis&Nginx、Men；

四、大型微服务分布式项目实战

SpringBoot、SpringCloud、Git、Dubbo、Zookeeper、AngularJS、Spring Security、BCrypt加密、FastDFS、分布式事务处理、Redis Cluster、Solr、SolrCloud、Freemarker、JMS、短信发送平台、SSO解决方案、CORS、Twitter的Snowflake、SpringTask、Men Profile、MongoDB、MyCat、Docker、Jenkins；

五、微服务大型项目实战

四个月。学习内容大概如下：

Ja语言基础(标识符、变量、数据类型、数组等)；

Ja面向对象(类、对象、封装、继承、多态、抽象类、接口等)；

Ja核心API(字符串、日期、、I/O、网络编程等)；

Servlet

JSP

Spring

Hibernate

基础数据库作

自学的话也可以按照这个思路走！！！

不管培训还是自学，代码只有多敲才会熟练。

大数据怎么学

★ Linux

大数据零基础系统学习，这里给你分享一条入门学习路线——

步：求PI案例培养对于大数据的基本认知

大数据是什么，大数据未来的发展方向和应用场景有哪些，想要入行做大数据，先对培养其基本的行业背景知识是很有必要的。可以看一些相关书籍，例如《大数据时代》、《数据之美》等。

第二步：大数据技术理论知识学习

零基础小白能不能学懂大数据，能不能形成系统的技术体系，这一步很关键。

1、Ja：主要为Ja的标准版JaSE。另外，JDBC是一定要掌握的，因为它关系到Ja与数据库的连接。

2、Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，大数据软件的运行环境和网络环境配置会常常用到。

3、Hadoop：这个是必学的，核心组件HDFS、MapReduce和YARN，还有生态圈的常用组件。

4、Oozie：用于管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确。

5、python：用于编写网络爬虫。

6、Kafka：比较好用的消息队列工具，数据吞吐量很大。

7、Spark：用来弥补基于Hadoop中MapReduce处理数据速度上的缺点，特别适合做迭代运算。

学完这些技术框架之后，还要有相应的项目来做实战练习，巩固对理论知识的掌握，能够实际去完成一个大数据项目周期当中的所有环节，这样才能在就业市场上获得更大的竞争优势。

大数据前景是很不错的，像大数据这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学习大数据可以按照路线图的顺序，

在windows中spark的本地模式如何配置

c).upload app jar and spark-assembly jar

1、在Spark中采用本地模式启动pyspark的命令主要包含以下参数：：这个参数表示当前的pyspark要连接到哪个，如果是local[]，就是使用本地模式启动pyspark，其中，中括号内的星号表示需要使用几个CPU核心(core)。

2、肯定步是配置spark环境：包括linux系统的安装，ja，ssh，Hadoop，Scala，spark的安装与环境变量设置。虽说简单，但对于初学者说，尤其是没有使用过linux系统的，还是有些挑战。其中遗漏一些细节问题，都会出错。

3、SparkonYarn模式备注：Yarn的连接信息在Hadoop客户端的配置文件中指定。通过spark-env.sh中的环境变量HADOOPCONFDIR指定Hadoop配置文件路径。

4、的PhysicalPlanexecution阶段用Spark代替HadoopMapReduce。通过配置Shark参数，Shark可以自动在内存中缓存特定客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和excutor,另外ApplicationMaster和executor都装在在container里运行，container默认的内存是1g，ApplicationMaster分配的内存是driver-memory,executor分配的内存是executor-memory.同时，因为Driver在客户端，所以程序的运行结果可以在客户端显示，Driver以进程名为SparkSubmit的形式存在。的RDD，实现数据重用，进而加快特定数据集的检索。

高考选择软件技术和大数据要学什么?

[atguigu@hadoop102 conf] xsync spark-env.sh

从技术上来讲，大数据技术肯定要难一些的。软件技术专业学的有c语言、Ja、微机原理、数据结构等科目，都是偏向于底层基础的科目，工作方向适合于编程开发。现在从事大数据行业，大数据可以说是包罗万象，涉及到知识点比较多，编程只是其中的一小部分，使用的技术和理念相对于软件技术难一点。

大数据知识涵盖范围非常广。

基础阶段要学习Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis;hadoop mapreduce hdfs

yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。

大数据存储阶段学习hbase、hive、sqoop。

大数据架构设计阶段学习Flume分布式、Zookeeper、Kafka。

大数据实时计算阶段学习Mahout、Spark、storm。

大数据数据采集阶段学习Pyth3.通过配置spark-default.conf，spark-env.sh文件进行指定，此种方式较shell方式级别低on、Scala等。

在学习大数据之前你还需要有一定的JAVA基础，不然越级听课，可是完全听不懂的，因此大数据的学习门槛就是需要你对JAVA有一定的基础。以此你才能在大数据学习中能够跟上进度，也不至于听得云里雾里。

sparkonyarn需要在所有机器上安装spark吗

3）提交任务到Yarn执行

Spark集群有三种运行模式：Standalone、Mesos和YARN模式。现在说Standalone模式。这是最简单的模式，Spark靠自己就能运行这个模式(不依靠其它集群管理工具)。方法修改配置文件spark-defaults.conf一：手动运行Standalone模式。前提：Spark各个文件都不做任何修改。1、在机器上运行./in/start-/sh运行完之后，会打印出:spark://HOST:PORT，这个就是当前的SparkURL。2、在sle机器上运行./in/start-sle.sh然后在Master的管理界面上查看

怎样在npm run dev(或build)之后追加命令？

★ Ja语言基础 JAVA战狼班

我们在进行Vue-cli开发的时候，会经常运行一个命令就是 npm run build 或者是 yarn run build ，运行的结果通常是在dist文件夹生成生产环境的文件。但是我们通常在这个命令之后还要执行一些其他命令，比如上传到测试中，或者其他什么本地作。这时候怎么办？

一个办法是修改npm run dev(或build)本身执行的文件，但是怎么修改呢，很多人就不知道，其实本人也不知道，哈哈，但是真的不去修改它执行的文件，因为这是一种入侵式的修改。我的做法，很简单。

你的项目的package.json会有一行类似于 "build:prod": "vue-cli-serv build", 的键值对，这是说，只要执行 yarn run build:prod 就能生成dist文件，而且它本质执行的是 vue-cli-serv build 。那么 vue-cli-serv build 是什么意思？可以搜索引擎搜索 vue-cli-serv 了解，但是了解完了可能你依然不知道 yarn run build:prod 到底调用了什么文件，没关系，现在，你就把：

改成：

就行了，也就是执行完前面的命令，再执行一条 node D:/xxx/ooo.js 。所以现在的事情就是搞定这个ooo.js。

ooo.js是啥？就是你自己写的追加命2、CSS 基础语法、盒子模型、浮动布局、定位;令。

你可以随便新建一个文件夹， yarn add xxoo 安装几个包，然后再弄个ooo.js，调用几个包，来几句node.js的语句就OK了。

什么？只会JS，不知道node.js语句怎么写？那就是另外的事了。你需要去学习一下子node.js的基础知识，也不难。

其实 node D:/xxx/ooo.js 你可以换成DOS命令（或Linux命令）也是可以的，如果你对DOS比较门清的话，就写个 D:/xxx/ooo.bat ，剩下就是编写bat的事了。

学大数据需要学习哪些软件？

再改改他给的命令：

大家都心中清楚，大数据的学习是具备一定的难度的，想要成为合格的大数据工程师是需要花费一些心思的。不少人留言问笔者说，想知道2023学大数据需要学习哪些软件?既然注意：如果遇到 “JAVA_HOME not set” 异常，可以在in目录下的spark-config.sh 文件中加入如下配置：大家都有这方面的好奇，那么北大青鸟霍营计算机学院就详细讲讲，2023学大数据需要学习哪些软件，这个话题，解答大家的疑问好了。 1：大数据需要用到的软件实在太多，不能一一进行详细说明，需要学习的内容主要分为三大类，即：编程语言、数据处理平台和数据库，其余的还有一些组件、插件等。其实，学习大数据何止要学习软件这么简单，一名合格的大数据工程师，需要精通的技能还是不少的，具体有一下这些内容。

2：需要熟悉NoSQL数据库(mongodb、redis)，能够完成数据库的配置和优化;熟悉Hadoop相关生态系统，包括不限于HDFS、Hbase、ZooKeeper、spark、yarn、hive等，能够部署实施大数据项目，解决项目中的问题，对系统调优。

3：除开以上技能之外，大数据工程师还需要精通常用机器学习和数据挖掘算法，包括GBDT、SVM、线性回归、LR以及等算法;熟悉Hadoop、Spark等分布式机器学习框架，熟悉Pig/Hive等大数据处理平台;通一门或多门开发语言(Python和R等)，熟练掌握常用数据结构和算法等等。

删除npm全局包的方法（包含全局npm link撤销）

1）修改hadoop配置文件yarn-site.xml,添加如下内容：

npm link 测试本地开发的包之后，完成包发布，一般会期望撤销本地的 link，改为安装并测试自己发布过的包。

本地 npm link 过的包，不知道为什么，npm unlink 总是失效。

并且，我给某个 npm link 过的包，重命名之后，就没有办法 npm unlink 了。

npm list -g --depth 0 查询，就一直报错。

正常全局安装的包，npm uninstall 也总是不大好用。

进入你的全局包安装目录。

这个如果不知道在哪里，可以随便查一个你全局安装过的包，比如 yarn：

它会在一个 bin 目录下。

比如我的是这样：

你的目录一定和我不一样。因为我的全局包安装目录是自定义过的。要找到你自己的目录。

无论前面的目录结构怎样，后面一定是 bin/yarn 这样。

这时候，进入这个 bin 目录。

然后Standalone模式：

你就会看到你全局安装的所有的 npm 包。

然后：

done。