hadoop格式化_hadoop格式化hdfs命令

返回值

（13）lsr命令

lsr命令是-ls命令的递归版，类似于UNIX中的ls-r。

使用方法：hadoop fs -lsr

一份本地文件到hdfs，当成功后，删除本地文件

使用方法：dfs -moveFromLocal

（14.5）moveToLocal命令

类似于-get，但是当完成后，会删除hdfs上的文件

使用方法：moveToLocal

（15）mv命令

使用方法：hadoop fs -mv URI [URI.....]

备注：不允许在不同的文件系统间移动文件。

返回值

（16）put 命令

put命令从本地文件系统中单个或多个源路径到目标文件系统，也支持从标准输入中读取输入写入目标文件系统

使用方法：hadoop fs -put ....

（17）rm命令

rm命令删除指定的文件，只删除非空目录和文件。

使用方法：hadoop fs -rm URI [URI......]

请参考rmr命令了解递归删除。

（18）rmr命令

rmr命令是delete命令的递归版本

使用方法：hadoop fs -rmr URI [URI.......]

返回值

（19）setrep命令

使用方法：hadoop fs -setrep [-R]

参数说明：-R 选项用于递归改变目录下所有文件的副本系数

返回值

（20）stat命令

stat命令用于返回指定路径的统计信息

使用方法：hadoop fs -stat URI [URI......]

返回值

（21）tail命令

tail命令将文件尾部1KB的内容输出到stdout。支持-f选项，行为和UNIX中一致

使用方法：hadoop fs -tail [-f] URI

返回值

（22）test命令

test命令是检查命令，可以检查文件是否存在、文件的大小等。

使用方法：hadoop fs -test -[ezd] URI

（23）text命令

text命令用于将源文件输出问文本格式

使用方法：hadoop fs -text

允许的格式是zip和TextRecordInputStream。

（24）touchz 命令

touchz命令用于创建一个0字节的空文件。

使用方法： hadoop fs -touchz URI [URI....]

返回值

如何配置Hadoop环境

用于测试，我用4台虚拟机搭建成了hadoop结构

我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。

1、安装虚拟机环境

Vmware，收费产品，占内存较大。

或Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错。

我选Vmware。

2、安装作系统

Centos，红帽开源版，接近于生产环境。

Ubuntu，作简单，方便，界面友好。

我选Ubuntu12.10.X 32位

3、安装一些常用的软件

在每台linux虚拟机上，安装：vim，ssh

sudo apt-get install vim

在客户端，也就是win7上，安装SecureCRT，Winscp或putty，这几个程序，都是依靠ssh服务来作的，所以前提必须安装ssh服务。

serv ssh status 查看ssh状态。如果关闭使用serv ssh start开启服务。

winSCP或putty，可以从win7向linux上传文件。

4、修改主机名和网络配置

主机名分别为：，host2，host3，host4。

sudo vim /etc/hostname

网络配置，包括ip地址，子网掩码，DNS。如上图所示。

5、修改/etc/hosts文件。

修改每台电脑的hosts文件。

hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。

在每台linux上，sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后，结果如下：

6、配置ssh，实现无密码登陆

无密码登陆，效果也就是在上，通过 ssh host2 或 ssh host3 或 ssh host4 就可以登陆到对方计算机上。而且不用输入密码。

四台虚拟机上，使用 ssh-keygen -t rsa 一路按回车就行了。

刚才都作甚了呢？主要是设置ssh的密钥和密钥的存放路径。 路径为~/.ssh下。

打开~/.ssh 下面有三个文件

id_rsa，私钥

id_rsa.pub，公钥 三个文件。

下面就是关键的地方了，（我们要做ssh认证。进行下面作前，可以先搜关于认证和加密区别以及各自的过程。）

①在上将公钥放到authorized_keys里。命令：sudo cat id_rsa.pub >> authorized_keys

②将上的authorized_keys放到其他linux的~/.ssh目录下。

命令：sudo scp authorized_keys hadoop@10.10.11.192:~/.ssh

sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径。

③修改authorized_keys权限，命令：chmod 644 authorized_keys

④测试是否成功

ssh host2 输入用户名密码，然后退出，再次ssh host2不用密码，直接进入系统。这就表示成功了。

7、上传jdk，并配置环境变量。

通过winSCP将文件上传到linux中。将文件放到/usr/lib/ja中，四个linux都要作。

解压缩：tar -zxvf jdk1.7.0_21.tar

设置环境变量 sudo vim ~/.bashrc

export JAVA_HOME = /usr/lib/ja/jdk1.7.0_21

export PATH = $JAVA_HOME/bin:$PATH

修改完后，用source ~/.bashrc让配置文件生效。

8、上传hadoop，配置hadoop

通过winSCP，上传hadoop，到/usr/local/下，解压缩tar -zxvf hadoop1.2.1.tar

再重命名一下，sudo mv hadoop1.2.1 hadoop

①修改环境变量，将hadoop加进去（四个linux都作一次）

sudo vim ~/.bashrc

export HADOOP_HOME = /usr/local/hadoop

export PATH = $JAVA_HOme/bin:$HADOOP_HOME/bin:$PATH

修改完后，用source ~/.bashrc让配置文件生效。

②修改/usr/local/hadoop/conf下配置文件

hadoop-env.sh，

（上面这张，有一些问题，只export JAVA_HOME进去就可以了，不用export HADOOP_HOME和PATH了 ）

core-site.xml，

hdfs-site.xml，

可用-ignorecrc选项CRC校验失败的文件：使用-CRC选项文件以及CRC信息。mapred-site.xml，

，

sl10.1.5 如果报错:Error: JAVA_HOME is incorrectly sete，

上面的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，，sle几个文件，在四台linux中都是一样的。

配置完一台电脑后，可以将hadoop包，直接拷贝到其他电脑上。

③要记得，将hadoop的用户加进去，命令为

sudo chown -R hadoop:hadoop hadoop

sudo chown -R 用户名@用户组 目录名

④让hadoop配置生效

⑤格式化namenode，只格式一次

⑥启动hadoop

切到/usr/local/hadoop/bin目录下，执行 start-all.sh启动所有程序

⑦查看进程，是否启动

jps

，

host2，

host3，host4，的显示结果，与host2相同。

HADOOP 装好并格式化后，执行 hadoop fs -ls / 很长时间没反应，是怎么回事啊！

如果你的命令，确实列出了相应的目录文件，那么这种情况确实7）yarn-env.sh挺少见的，有两种情况：

2、你的网络或硬件配置太低，这种情况下的可情性不大

我的反应情况挺快的，也有可能是你的配置有问题，实在解决不了的话，建议你重布一下，可参考一下我的百度博客中，写了两篇这个内容。

如何恢复hadoop中被删除的文件

只删除, 没有清空回收站.

这咱情况比较简单, 有一点电脑知识的朋友都知道, 文件还是存在的, 只不过躺在回收站而已. 只要到回收站把文件找出来拖回或还原就行了.

2）配置域名映射2. 删除文件后还清空了回收站

很多朋友碰到的就是这种情况，也是我们主要这中恢复误删文件的恢复. 清空了回收站（或直接删除而根本不放入回收站）, 在我们眼里,好还文件已经消失了。 其实文件还是在磁盘中的，只要你的电脑磁盘的其它作，一般来说文件都可以找回来。通过修改注册表就可以了.

先在"运行中"输入regedit 打开注册表, 找到分支 HKEY_LOCAL_MACHIME/SOFTWARE/microsoft/WINDOWS/CURRENTVERSION /EXPLORER/DESKTOP/NemeSpace

3. 删除文件后进行了磁盘作或格式化.

如果是这种误删文件的情况, 就不敢保证能完全成恢复文件. 这可以借助一些专门的软件来完成. 这里EasyRecovery.

EasyRecovery 一款威力非常强大的硬盘数据恢复工具。能够帮你恢复丢setrep命令可以改变一个文件的副本系数。失的数据以及重建文件系统。EasyRecovery 不会向你的原始驱动器写入任何东东，它主要是在内存中重建文件分区表使数据能够安全地传输到其他驱动器中。你可以从被破坏或是已经格式化的硬盘中恢复数据。该软件可以恢复大于 8.4GB 的硬盘。支持长文件名。 被破坏的硬盘中像丢失的记录、BIOS 参数数据块；分区表；FAT 表；区都可以由它来进行恢复。

列举一种关闭hadoop01的方法

关闭安全authorized_keys，已认证的keys模式

NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。系统显示Namenodeinsafemode，说明系统正处于安全模式，这时只需要等待十几秒即可，也可通过下面的命令退出安全模式：$HADOOP_HOME/in/hadoopdfsadmin-safemodelee

直接启动或者关闭所有的进程（不，由于分布式下，namenode和d在最下面添加：atanode分布在不同机器上，启动的进程不相同）

用NameNode的~/dfs/name/current/VERSION中的namenode的clusterID替换所有datanode机器中~/dfs/data/current/VERSION中的clusterID。重启启动hadoop:start-all.sh.这种方式不影响现有的数据，避免了重新的格式化。

Hadoop,用了jps后只有jps一个进程，之前格式化了两次，但是已经删包重装了，现在该怎么解决呢？

commandnotfound指的是，你没有把HADOOP_HOME放到.bashrc这个文件中，就像windows下的环境变量一样。当然你也可以进到hadoop安装的目录下的bin，目录下执行hadoop。

模式是结构主义用语。指用来说明事物结构的主观理性形式。法国莱维-施特劳斯认为科学的研究方法可以分为还原主义的或结构主义的。还原主义的方法是把复杂的现象还原到以简单的现象来说明，如生命现象可以还原到以物理化学过程来说明。而复杂的现象只能用结构主义的模式法说明。

模式有的是在以前经验中形成，有的是面对现象时立即形成。模式是否与现象的本质相合，则必须在认识过程中逐渐检验和修改，以便逐渐得到正确的认识。

结构主义的理论认为结构带有整体性，结构的一个成分变化会引起其他成分的变化，因而认识结构的模式必须有一系列的转换形式，后者必须是可以预测的，以便采取一种可以正确说明结构的模式。这一概念与皮亚杰心理学中的图式概念有类似的含义。

HADOOP 装好并格式化后，执行 hadoop fs -ls 显示 `.': No such file or directory

，突然发现脱离hadoop一段时间原来信手拈来的东西已经忘记得七七八八的内容。在HDFS中，没有当前工作目录这样一个概念，也没有cmd这样的命令。了，但是你这个问题还是很好解释的，首先，hadoop 3）更名作fs -ls 少了一个参数，应该要写成: hadoop fs -ls [你想要显示的路径] sudo apt-get install ssh，比如 hadoop fs -ls /root

hadoop安装问题

对了现在正是活动期看视频真的会成为高手吗？视频教学真的好吗，不会让人感到烦躁、困倦？大讲台（百度搜索即可）采用任务驱动的学习模式，提倡自适应的学习，学习者根据个人自身情况，制定学习步骤和学习任务；教学过程以文字为主要内容载体，期间穿插视频，回归教育以学员为主体的核心，重在学习效果，学习体验，欢迎有兴趣的童鞋免费体验学习，体验不一样的学习方式！间，全部课程成功返回0，失败返回-1仅需700元哦！！！