hdfs安装 安装hdfs的核心配置文件
小然今天给分享hdfs安装的知识,其中也会对安装hdfs的核心配置文件进行解释,希望能解决你的问题,请看下面的文章阅读吧!
hdfs安装 安装hdfs的核心配置文件
hdfs安装 安装hdfs的核心配置文件
1、——使用阿里hadoop镜像创建hadoop容器,分别创建三个、sle1、sle2。
2、容器内都是只有hadoop软件还没有配置。
3、通过 docker exec -it bash 分别进入三个进行配置:基于Hadoop进行开发时,有时候会被Hadoop的运行模式弄得晕头转向,傻傻分不清各种运行模式的区别,给日常开发带来很多困惑,不同集群配置文件也各不相不同。
4、弄明白Hadoop的运行模式和对配置文件的作用要做到心中明了,在工作中才能得手顺心。
5、core-site.xml文件主要用于配置通用属性。
6、hdfs-site.xml文件用于配置Hdfs的属性。
7、mapred-site.xml文件用于配置Mapreduce的属性。
8、yarn-site.xml文件用于配置Yarn的属性。
9、一般来说,这四种配置文件都存储在hadoop默认的安装目录etc/hadoop子目录中。
10、 不过我们也可以在搭建集群时根据实际需求,把etc/hadoop目录和其下的文件到另外一个位置。
11、这样可以把配置文件和安装文件分离开来,方便管理。
12、1、本地运行模式无需任何守护进程 ,所有的程序都运行在同一个JVM上执行。
13、在本地模式下调试MR程序非常高效方便,一般该模式主要是在学习或者开发阶段调试使用 。
14、2注意:如果把etc/hadoop目录和其下的文件到另外一个位置。
15、、伪分在HDFS系统视图下可以看到刚才得运行结果布式模式Hadoop守护进程运行在本地机器上 ,模拟一个小规模的集群,换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。
16、3、完全分布式模式Hadoop守护进程运行在一个集群上 。
17、这种运行模式也就是我们常见的各种云,主要用于大规模的生产环境中。
18、注意:分布式要启动守护进程 ,是指在使用分布式hadoop时,要先启动一些准备程序进程,然后才能使用。
19、 比如start-dfs.sh start-yarn.sh,而本地模式不需要启动这些守护进程。
本文到这结束,希望上面文章对大家有所帮助。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系 836084111@qq.com 删除。