yarn 安装 yarn安装依赖包
npm全局安装nrm后在命令行下无法执行nrm命令
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级作等。我也是，在安装一遍就好了。
yarn 安装 yarn安装依赖包
yarn 安装 yarn安装依赖包
4、及时、准确地向运送售后传达公司或上级的工作安排。
遍的时候有，第二遍重安装了一下没有，然后就能用了。
可以先安装nrmnpmi-gnrm,然后再把安装源切换到nrmusetao就可以执行安装npmielectron-prebuilt
为什么说Python是大数据全栈式开发语言？
4、配合公司项目中三联系统(类似百胜系统)的维护更新及与三联公司技术对接;就像只要会JaScript就可以写出完整的Web应用，只要会Python，就可以实现一个完整的大数据处理平台。x0dx0ax0dx0a云基础设施x0dx0ax0dx0a这年头，不支持云平台，不支持海量数据，不支持动态伸缩，根本不敢说自己是做大数据的，顶多也就敢跟人说是做商业智能（BI）。x0dx0ax0dx0a云平台分为私有云和公有云。私有云平台如日中天的 OpenStackx0dx0a x0dx0a，就是Python写的。曾经的追赶者CloudStack，在刚推出时大肆强调自己是Ja写的，比Python有优势。结果，搬石砸脚，2015年x0dx0a初，CloudStack的发起人Citrix宣布加入OpenStack基金会，CloudStack眼看着就要寿终正寝。x0dx0ax0dx0a如果嫌麻烦不想自己搭建私有云，用公有云，不论是AWS，GCE，Azure，还是阿里云，青云，在都提供了Python SDK，其中GCE只提供Python和JaScript的SDK，而青云只提供Python SDK。可见各家云平台对Python的重视。x0dx0ax0dx0a提到基础设施搭建，不得不提Hadoop，在今天，Hadoop因为其MapReduce数据处理速度不够快，已经不再作为大数据处理的，但x0dx0a是HDFS和Yarn——Hadoop的两个组件——倒是越来越受欢迎。Hadoop的开发语言是Ja，没有提供Python支持，不过有很多第x0dx0a三方库封装了Hadoop的API接口（pydoop，hadoopy等等）。x0dx0ax0dx0aHadoop MapReduce的替代者，是号称快上100倍的 Spark ，其开发语言是Scala，但是提供了Scala，Ja，Python的开发接口，想要讨好那么多用Python开发的数据科学家，不支持Python，真是说不过去。HDFS的替代品，比如GlusterFS， Ceph 等，都是直接提供Python支持。Yarn的替代者， Mesos 是C++实现，除C++外，提供了Ja和Python的支持包。x0dx0ax0dx0aDevOpsx0dx0ax0dx0aDevOps有个中文名字，叫做 开发自运维 。互联网时代，只有能够快速试验新想法，并在时间，安全、可靠的交付业务价值，才能保持竞争力。DevOps推崇的自动化构建/测试/部署，以及系统度量等技术实践，是互联网时代必不可少的。x0dx0ax0dx0a自动化构建是因应用而易的，如果是Python应用，因为有setuptools, pip, virtualenv, tox, x0dx0aflake8等工具的存在，自动化构建非常简单。而且，因为几乎所有Linux系统都内置Python解释器，所以用Python做自动化，不需要系统预x0dx0a安装什么软件。x0dx0ax0dx0a自动化测试方面，基于Python的 Robot Framework 企业级应用最喜欢的自动化测试框架，而且和语言无关。Cucumber也有很多支持者，Python对应的Lettuce可以做到完全一样的事情。 Locust 在自动化性能测试方面也开始受到越来越多的关注。x0dx0ax0dx0a自动化配置管理工具，老牌的如Chef和Puppet，是Ruby开发，目前仍保持着强劲的势头。不过，新生代 Ansible 和 SaltStack ——均为Python开发——因为较前两者设计更为轻量化，受到越来越多开发这的欢迎，已经开始给前辈们制造了不少的压力。x0dx0ax0dx0a在系统与度量方面，传统的Nagios逐渐没落，新贵如 Sensu 大受好评，云服务形式的New Relic已经成为创业公司的标配，这些都不是直接通过Python实现的，不过Python要接入这些工具，并不困难。x0dx0ax0dx0a除了上述这些工具，基于Python，提供完整DevOps功能的PaaS平台，如 Cloudify 和 Deis ，虽未成气候，但已经得到大量关注。x0dx0ax0dx0a网络爬虫x0dx0ax0dx0a大数据的数据从哪里来？除了部分企业有能力自己产生大量的数据，大部分时候，是需要靠爬虫来抓取互联网数据来做分析。x0dx0ax0dx0a网络爬虫是Python的传统强势领域，的爬虫框架Scrapy，HTTP工具包ib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能够独当一面的类库。x0dx0ax0dx0a不过，网络爬虫并不仅仅是打开网页，解析HTML这么简单。高效的爬虫要能够支持大量灵活的并发作，常常要能够同时几千甚至上万个网页同时抓取，传统的x0dx0a线程池方式资源浪费比较大，线程数上千之后系统资源基本上就全浪费在线程调度上了。Python由于能够很好的支持协程（ Coroutine ）作，基于此发展起来很多并发库，如Gnt，Eventlet，还有Celery之类的分布式任务框架。被认为是比AMQP更高效的ZeroMQ也是最早就提供了Python版本。有了对高并发的支持，网络爬虫才真正可以达到大数据规模。x0dx0ax0dx0a抓取下来的数据，需要做分词处理，Python在这方面也不逊色，的自然语言处理程序包NLTK，还有专门做中文分词的Jieba，都是做分词的利器。x0dx0ax0dx0a数据处理x0dx0ax0dx0a万事俱备，只欠东风。这东风，就是数据处理算法。从统计理论，到数据挖掘，机器学习，再到最近几年提出来的深度学习理论，数据科学正处于百花齐放的时代。数据科学家们都用什么编程？x0dx0ax0dx0a如果是在理论研究领域，R语言也许是最受数据科学家欢迎的，但是R语言的问题也很明显，因为是统计学家们创建了R语言，所以其语法略显怪异。而且x0dx0aR语言要想实现大规模分布式系统，还需要很长一段时间的工程之路要走。所以很多公司使用R语言做原型试验，算法确定之后，再翻译成工程语言。x0dx0ax0dx0aPython也是数据科学家最喜欢的语言之一。和R语言不同，Python本身就是一门工程性语言，数据科学家用Python实现的算法，可以直x0dx0a接用在产品中，这对于大数据初创公司节省成本是非常有帮助的。正式因为数据科学家对Python和R的热爱，Spark为了讨好数据科学家，对这两种语言x0dx0a提供了非常好的支持。x0dx0ax0dx0aPython的数据处理相关类库非常多。高性能的科学计算类库NumPy和SciPy，给其他高级算法打了非常好的基础，matploglib让x0dx0aPython画图变得像Matlab一样简单。Scikit-learn和Milk实现了很多机器学习算法，基于这两个库实现的 Pylearn2 ，是深度学习领域的重要成员。 Theano 利用GPU加速，实现了高性能数学符号计算和矩阵计算。当然，还有 Pandas ，一个在工程领域已经广泛使用的大数据处理类库，其DataFrame的设计借鉴自R语言，后来又启发了Spark项目实现了类似机制。x0dx0ax0dx0a对了，还有 iPython ，这个工具如此有用，以至于我点把他当成标准库而忘了介绍。iPython是一个交互式Python运行环境，能够实时看到每一段Python代码的结果。默认情况下，iPython运行在命令行，可以执行 ipython notebook 在网页中运行。用matplotlib绘制的图可以直接嵌入式的显示在iPython Notebook中。x0dx0a x0dx0aiPython Notebook的笔记本文件可以共享给其他人，这样其他人就可以在自己的环境中重现你的工作成果；如果对方没有运行环境，还可以直接转换成HTML或者PDF。x0dx0ax0dx0a为什么是Pythonx0dx0ax0dx0a正是因为应用开发工程师、运维工程师、数据科学家都喜欢Python，才使得Python成为大数据系统的全栈式开发语言。x0dx0ax0dx0a对于开发工程师而言，Python的优雅和简洁无疑是的吸引力，在Python交互式环境中，执行 import thisx0dx0a x0dx0a，读一读Python之禅，你就明白Python为什么如此吸引人。Python社区一直非常有活力，和NodeJS社区软件包爆炸式增长不x0dx0a同，Python的软件包增长速度一直比较稳定，同时软件包的质量也相对较高。有很多人诟病Python对于空格的要求过于苛刻，但正是因为这个要求，才x0dx0a使得Python在做大型项目时比其他语言有优势。OpenStack项目总共超过200万行代码，证明了这一点。x0dx0ax0dx0a对于运维工程师而言，Python的优势在于，几乎所有Linux发行版都内置了Python解释器。Shell虽然功能强大，但毕竟语法不够优雅，写比较复杂的任务会很痛苦。用Python替代Shell，做一些复杂的任务，对运维人员来说，是一次解放。x0dx0ax0dx0a对于数据科学家而言，Python简单又不失强大。和C/C++相比，不用做很多的底层工作，可以快速进行模型验证；和Ja相比，Python语法简x0dx0a洁，表达能力强，同样的工作只需要1/3代码；和Matlab，Octe相比，Python的工程成熟度更高。不止一个编程大牛表达过，Pythonx0dx0a是最适合作为大学计算机科学编程课程使用的语言——MIT的计算机入门课程就是使用的Python——因为Python能够让人学到编程最重要的东西——x0dx0a如何解决问题。
技术研发部主管岗位职责 篇13 1、负责车间生产过程中的技术支持与管理工作;详解如何在微信小程序中愉快地使用sass
⑨对于维修诊断工具服务信息系统出现的问题及改善建议要及时向厂家反馈;前言
希望能解决你的问题。在微信小程序中，css是用wxss来表示，但写法基本一致。需要注意的是wxss扩展了两个特性，分别是：
尺寸单位
具体可参考wxss，此处不做过多赘述。
为了方便打包sass，我们使用gulp来处理我们的scss文件，将其转换为wxss。
目录结构
在开发中，我们一般会有一个src源代码目录，一个dist目录用来输出我们打包的代码。而本次讲解用到的目录结构如下： build目录用来配置我们的打包参数，目前里面只有一个config.js文件
dist目录为打包输出的目录，也是小程序运行的目录
src就是我们的源代码目录
src的目录结构如下： 安装依赖
yarn add gulp gulp-sass gulp-rename gulp-replace gulp-tap gulp-clean -D
gulp和gulp-sass为打包sass必须，gulp-rename则负责把scss后缀改为wxss，gulp-replace负责内容的替换（这个后面会讲到），gulp-tap用来处理当前执行的文件，gulp-clean负责清除我们不需要的文件。
sass打包配置
gulp配置打包sass非常简单，代码如下：
const gulp = require('gulp');
const sass = require('gulp-sass');
const rename = require('gulp-rename');
.pipe(sass().on('error', sass.logError))
.pipe(rename({
extname: '.wxss'
}))
.pipe(gulp.dest('./dist'))
);
这样就可以完成了sass的配置，但是这样会有问题。前面讲到了wxss是支持样式导入的，也就是说import语法wxss是支持的，但css不支持，因此sass打包会把import的文件打包到当前文件，从而导致当前文件的体积变大。由于微信限制单包代码不能超过2M，因此当css越写越多的时候，这种打包方式势必会使样式文件越来越大。
解决import导入问题
那如何解决import的导入问题呢，其实也比较简单，说白了就是sass处理的时候，让其不处理import部分的语句就可以了。有两种方式可以做到，种是改写sass处理的源码，当遇到import语句时跳过。第二种是，在把文件交给sass处理前，我们先把import语句部分注释掉，这样sass处理的时候就会忽略了，当sass处理完成后，再把注释掉的语句打开即可。显然种成本比较高，也不好维护。我们采用第二种，代码如下：
const gulp = require('gulp');
const sass = require('gulp-sass');
const replace = require('gulp-replace');
const rename = require('gulp-rename');
const clean = require('gulp-clean');
const tap = require('gulp-tap');
const path = require('path');
const config = require('./build/config');
const hasRmCssFiles = new Set();
.pipe(tap((file) => {
// 当前处理文件的路径
const filePath = path.dirname(file.path);
// 当前处理内容
const content = file.contents.toString();
// 找到filter的scss，并匹配是否在配置文件中
content.replace(/@imports+['|"](.+)['|"];/g, ($1, $2) => {
const hasFilter = config.cssFilterFiles.filter( => $2.indexOf() > -1);
// hasFilter > 0表示filter的文件在配置文件中，打包完成后需要删除
if (hasFilter.length > 0) {
const rmPath = path.join(filePath, $2);
// 将src改为dist，.scss改为.wxss，例如：'/xxx/src/scss/const.scss' => '/xxx/dist/scss/const.wxss'
const filea = rmPath.replace(/src/, 'dist').replace(/.scss/, '.wxss');
// 加入待删除列表
hasRmCssFiles.add(filea);
}});
console.log('rm', hasRmCssFiles);
}))
.pipe(replace(/(@import.+;)/g, ($1, $2) => {
const hasFilter = config.cssFilterFiles.filter( => $1.indexOf() > -1);
if (hasFilter.length > 0) {
return $2;
}return `/ ${$2} /`;
}))
.pipe(sass().on('error', sass.logError))
.pipe(rename({
extname: '.wxss',
}))
.pipe(gulp.dest('./dist')));
在处理import的时候，还有个地方是需要注意的。在sass中，import除了能引入css外，也可以引入变量，函数。因此，我们在处理的时候也需要注意区分，变量和函数有一个的文件目录存放，并且在import的时候，对于变量和函数，是必须交给sass处理的，也就是不能注释掉。因此，在上面的代码中，我们可以看到，我们引入了build目录下的config，其配置了sass变量和函数存放的位置，这样我们在打包的时候，遇到这样的import语句，我们就跳过，交给sass处理，否则就代表其是引入了共用的样式文件，这样我们交给sass处理前，就先将其注释掉，sass处理完成后再把注释打开。另外，import的可能是一个scss文件，但在转成wxss的时候，已经将其后缀改为了wxss，因此，在将注释打开的时候也需要更改相应的引入，这也就是gulp-replace包的作用。config的配置如下：
module.exports = {
cssFilterFiles: ['scss/var.scss'],
清理无用的wxss文件
前面讲了，我们在sass中可能会定义一些变量，函数，这些文件一会一并打包到dist目录，但其内容是空的，这时候我们就需要对其进行清理，前面在打包过程中，我们有一个set变量hasRmCssFiles记录了相应的文件，这样我们遍历这个变量即可删除相应的文件，代码如下：
gulp.task('clean:wxss', () => {
const arr = [];
hasRmCssFiles.forEach(() => {
arr.push();
});
return gulp.src(arr, { read: false })
.pipe(clean({ force: true }));
});
总结
wxss的特性
sass打包配置以及如何处理import语句
sass变量、函数的文件清理
Taro3 + Vue3 + NutUi 校验配置
出现类似如下展示即为成功NutUI - 移动端 Vue2、Vue3、小程序 组件库 (jd)
技术研发部主管岗位职责 篇21 1、组织实施项目中的机械部分的工艺工作。在项目内执行 eslint --init （若eslint方法报错，请先全局安装再尝试）
按顺序选择如下内容
等待依赖安装完成会生成 .eslintrc.js 文件
此时规则还不太适用此项目，会有很多报错，因此再手动安装一些依赖
然后更改eslintrc文件为
保存后查看其他文件是否有校验效果，若没有重启一下项目
我使用的vscode格式化插件为 Prettier ESLint - Visual Studio Marketplace
用此插件格式化会符合设置的eslint规则
安装vue-tsc
然后在 package.json 的 scripts 中添加以下脚本
首先单独测试命令
运行 yarn lint 看报错文件是否提示出来
修复为符合eslint规则后再运行此命令
然后运行 yarn tsc
此时如果有类似如下报错
node_modules/@vue/runtime-core/dist/runtime-core.d.ts:1952:40 - error TS1005: ';' expected.
运行 yarn add typescript -D 升级typescript
再运行命令 yarn tsc
然后初始化husky
此时会生成 .husky 文件夹，里面包含 _ 文件夹
在.husky文件夹内新建 pre-commit 文件（没有后缀）
内容如下
之后使用git提交，在commit时，会运行检查，若检查不通过，需修改到符合规则才能提交
为保证其他开发者在提交时也有husky效果，在 package.json 的 scripts 中添加以下脚本
（prepare脚本会在yarn install后自动执行）
大数据云计算好不好学习？
gulp.task('sass', () => gulp.src('./src//.{scss,wxss}')大数据学习内容
大数据的学习内容可以分成两个阶段来学习—Ja阶段和大数据阶段。
①Ja阶段
静态网页基础：HTML基础知识及CSS
JaSE：JaSE基础语法及面向对象使用、JaAPI常见作类、MySQL数据库及SQL语句、掌握JDBC完成数据库的数据作、线程、网络编程、反射基本原理。
JaWeb：掌握Jquery基本作和使用、掌握注解基本概念和使用、掌握版本控制工具使用。
企业及框架Spring、Spring mvc、SpringBoot、Mybatis。
大数据和云计算是高端前沿的技术，专业自然不是随便的人，随便学一学就能轻易学会的。
大数据云运计算好不好？学习这个问题怎么说呢？其实每个人的智商不同啊，学习而且努力程度也不同啊，所以说各方面的原原因都有很多呀。
大数据课程难度大,有本科学历要求!云计算相对简单,但也需要大专学历!大数据学习内容主要有: ①JaSE核心技术; ②Hadoop平台核心技术、Hive开发、HBase开发; ③Spark相关技术、Scala基本编程; ④掌握Python基本使用、核心库的大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等。使用、Python爬虫
大数据，云计算，很好学习，只要你用心去学，肯定是能学好的
只要自己肯学。没有拦不住的。路通了。只要讲懂得道理就很好学的。
大数据专业还是很好学习的，当前，大数据战略实施已经到了落地的关键时期，大数据技术产业创新发展、大数据与实体经济深度融合、以及大数据安全管理与法律规制等方面都进入了攻坚阶段大数据领域的人才需求主要围绕大数据的产业链展开，涉及到数据的采集、整理、存储、安全、分析、呈现
大数据与云计算分析课程难不难学
大数据难学么?首先，难度肯定是有的，大数据与云计算是高新科技，在当今属于前沿技术，不会随便一学就学会的。但是只要下功夫学习，结果就不会。报班跟着尚学堂讲师一起学习，手把手的教你大数据学习步骤，不懂的地方随时问，不管是课上还是课下，甚至在微信上、微博上都能随时找到尚学堂老师。只要你态度端正，用心学习，学习条件不是问题。
zookeeper事务日志在哪儿
前期准备
1.修改Linux主机名，每台都得配置
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop-server1
2.修改IP /etc/sysconfig/network-scripts/ifcfg-0
3.修改主机名和IP的映射关系
vim /etc/hosts
192.168.146.181 hadoop-server1
192.168.146.182 hadoop-server2
192.168.146.183 hadoop-server3
192.168.146.184 hadoop-server4
192.168.146.185 hadoop-server5
######注意######如果你们公司是租用的或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
#查看防火墙状态
serv iptables status
#关闭防火墙
serv iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
前4步用root用户作，作完后重启机器
5.ssh免登陆hadoop用户作
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id hadoop-server2
6.安装JDK，配置环境变量等root用户作
vim /etc/proflie
export JAVA_HOME=/usr/ja/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/in
source /etc/profile
集群规划：
主机名 IP 安装软件 运行进程
hadoop-server1 192.168.146.181:jdk、hadoop
namenode resourcema
DFSZKFailoverController(zkfc)
hadoop-server2 192.168.146.182:jdk、hadoop
namenode resourcema
DFSZKFailoverController(zkfc)
hadoop-server3 192.168.146.183:jdk、hadoop、zookeeper
datanode nodema
journalnode QuorumPeerMain
hadoop-server4 192.168.146.184:jdk、hadoop、zookeeper
datanode nodema
journalnode QuorumPeerMain
hadoop-server5 192.168.146.185:jdk、hadoop、zookeeper
datanode nodema
journalnode QuorumPeerMain
安装步骤：
1.安装配置zooekeeper集群（在hadoop-server3上）
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/
1.2修改配置
cd /home/hadoop/app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/home/hadoop/app/zookeeper-3.4.5/data
在添加：
server.1=hadoop-server3:2888:3888
server.2=hadoop-server4:2888:3888
server.3=hadoop-server5:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/hadoop/app/zookeeper-3.4.5/data
再创建一个空文件
touch /home/hadoop/app/zookeeper-3.4.5/data/myid
向该文件写入ID
echo 1 > /home/hadoop/app/zookeeper-3.4.5/data/myid
1.3将配置好的zookeeper拷贝到其他
scp -r /home/hadoop/app/zookeeper-3.4.5/ weekend06:/home/hadoop/app/
scp -r /home/hadoop/app/zookeeper-3.4.5/ weekend07:/home/hadoop/app/
注意：修改hadoop-server4、hadoop-server5对应/home/hadoop/app/zookeeper-3.4.5/data/myid内容
hadoop-server4：
echo 2 > /home/hadoop/app/zookeeper-3.4.5/data/myid
hadoop-server5：
echo 3 > /home/hadoop/app/zookeeper-3.4.5/data/myid
2.安装配置hadoop集群（在hadoop-server1上作）
2.1解压
tar -zxvf hadoop-2.4.1.tar.gz -C /weekend/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/hadoop/home/app/jdk1.7.0_55
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop
2.2.1修改hadoo-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55
2.2.2修改core-site.xml
2、组建区域IT团队，培养IT，规范业务流程;
在大数据中心需要什么样的技术？
⑦及时准确的将厂家发布的技术信息传达给店内其他;大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。1. Ja编程技术
Ja编程技术是大数据学习的基础，Ja是一种强类型的语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Ja基础是必不可少的。
2. Linux命令
对于大数据开发通常是在Linux环境下进行的，相比Linux作系统，Windows作系统是封闭的作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础作命令。
3. Hadoop
Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与作！
4. Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级作等。
5. Avro与Protobuf
Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。
6. ZooKeeper
ZooKeeper是Hadoop和Habase的重要组件，是一个分布式应用提供一致的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。7. HBase
HBase是一个分布式的、面向列的开源数据库，他不同于一般的⑥做好保修/保养更换零件的保管及发送工作;关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。
8.phoenix
Phoenix是用Ja编写的基于JDBC API作HBase的开源SQL引擎，其具有动态列、散列加载、查询、、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。
9.Redis
Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Ja，C/C++，C#，PHP，JaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。
10.Flume
Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。大数据开发需掌握其安装、配置以及相关使用方法。
11.SSM
SSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成，常作为数据源较简单的web项目的框架。大数据开发需分别掌握Spring、SpringMVC、MyBatis三种框架的同时，再使用SSM进行整合作。
12.Kafka
Kafka是一种高吞吐量的分布式发布消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和是用方法及相关功能的实现！
13.Scala
Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识！
14.Spark
Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、sparkjob部署与资源分配、SparkshuffleSpark内存管理、Spark广播变量、SparkSQL SparkStreaming以及 Spark ML等相关知识。
15.Azkaban
Azkaban是一个批量工作流任务调度器，可用于在一个工作流内以一个特定的顺序运行一组工作和流程，可以利用Azkaban来完成大数据的任务调度，大数据开发需掌握Azkaban的相关配置及语法规则。
yarn安装umi，umi -v 不生效2019-04-17
原因：安装yarn后没有设置好yarn的全局变量
解决办法（2）、负责将公司的政策、原则、策略等信息，快速、清晰、准确地传达给直接下级；：
1.找到yarn的安装目录，最快的方法 cmd命令行 yarn global bin
2、右键我的电脑-属性-高级设置
5gulpfile.js配置打包的任务、修改path --新建将yarn的路径添加进去
大数据技术包括哪些
五、大数据数据采集阶段想要成为炙手可热的大数据技术人才，这些大数据的核心技术一定要知晓！
一、大数据基础阶段
大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoop mapreduce hdfs yarn等。
1、Linux命令
对于大数据开发通常是在Linux环境下进行的，相比Linux作系统，Windows作系统是封闭的作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础作命令
2、 Redis
Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Ja，C/C++，C#，PHP，JaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。
二、大数据存储阶段
大数据存储阶段需掌握的技术有：hbase、hive、sqoop等。
HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。
2、Hive
三、大数据架构设计阶段
1、Kafka
Kafka是一种高吞吐量的分布式发布消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！
2、Flume
Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。
3、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。
四、大数据实时计算阶段
大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。
1、Spark
Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。
2、storm
大数据数据采集阶段需掌握的技术有：Python、Scala。
1、Python与数据分析
Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集、数据分析以及数据可视化等，因此，大数据开发需学习一定的Python知识。
2、Sc4、组织技术、产品开发与创新。ala
Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识！
以上只是一些简单的大数据核心技术总结，比较零散，想要学习大数据的同学，还是要按照一定到的技术路线图学习！
声明：本站所有文章资源内容，如无特殊说明或标注，均为采集网络资源。如若本站内容侵犯了原著者的合法权益，可联系 836084111@qq.com 删除。