在hadoop中什么命令的功能是将一个或多个

1、启动hadoop所有进程

10余年的穆棱网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。成都全网营销的优势是能够根据用户设备显示端的尺寸不同，自动调整穆棱建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联公司从事“穆棱网站设计”,“穆棱网站推广”以来，每个客户项目都认真落实执行。

start-all.sh等价于start-dfs.sh + start-yarn.sh

但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。

2、单进程启动。

sbin/start-dfs.sh

---------------

sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...

sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...

sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...

sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ... //

sbin/start-yarn.sh

--------------

libexec/yarn-config.sh

sbin/yarn-daemon.sh --config $YARN_CONF_DIR start resourcemanager

sbin/yarn-daemons.sh --config $YARN_CONF_DIR start nodemanager

3、常用命令

1、查看指定目录下内容

hdfs dfs –ls [文件目录]

hdfs dfs -ls -R / //显式目录结构

eg: hdfs dfs –ls /user/wangkai.pt

2、打开某个已存在文件

hdfs dfs –cat [file_path]

eg:hdfs dfs -cat /user/wangkai.pt/data.txt

3、将本地文件存储至hadoop

hdfs dfs –put [本地地址] [hadoop目录]

hdfs dfs –put /home/t/file.txt /user/t

4、将本地文件夹存储至hadoop

hdfs dfs –put [本地目录] [hadoop目录]

hdfs dfs –put /home/t/dir_name /user/t

(dir_name是文件夹名)

5、将hadoop上某个文件down至本地已有目录下

hadoop dfs -get [文件目录] [本地目录]

hadoop dfs –get /user/t/ok.txt /home/t

6、删除hadoop上指定文件

hdfs dfs –rm [文件地址]

hdfs dfs –rm /user/t/ok.txt

7、删除hadoop上指定文件夹（包含子目录等）

hdfs dfs –rm [目录地址]

hdfs dfs –rmr /user/t

8、在hadoop指定目录内创建新目录

hdfs dfs –mkdir /user/t

hdfs dfs -mkdir - p /user/centos/hadoop

9、在hadoop指定目录下新建一个空文件

使用touchz命令：

hdfs dfs -touchz /user/new.txt

10、将hadoop上某个文件重命名

使用mv命令：

hdfs dfs –mv /user/test.txt /user/ok.txt （将test.txt重命名为ok.txt）

11、将hadoop指定目录下所有内容保存为一个文件，同时down至本地

hdfs dfs –getmerge /user /home/t

12、将正在运行的hadoop作业kill掉

hadoop job –kill [job-id]

13.查看帮助

hdfs dfs -help

4、安全模式

(1)退出安全模式

NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。

系统显示Name node in safe mode，说明系统正处于安全模式，这时只需要等待十几秒即可，也可通过下面的命令退出安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave

(2) 进入安全模式

在必要情况下，可以通过以下命令把HDFS置于安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter

5、节点添加

添加一个新的DataNode节点，先在新加节点上安装好Hadoop，要和NameNode使用相同的配置（可以直接从NameNode复制），修改HADOOPHOME/conf/master文件，加入NameNode主机名。然后在NameNode节点上修改HADOOPHOME/conf/master文件，加入NameNode主机名。然后在NameNode节点上修改HADOOP_HOME/conf/slaves文件，加入新节点名，再建立新加节点无密码的SSH连接，运行启动命令为：/usr/local/hadoop$bin/start-all.sh

6、负载均衡

HDFS的数据在各个DataNode中的分布可能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布：/usr/local/hadoop$bin/start-balancer.sh

7、补充

1.对hdfs操作的命令格式是hdfs dfs

1.1 -ls 表示对hdfs下一级目录的查看

1.2 -lsr 表示对hdfs目录的递归查看

1.3 -mkdir 创建目录

1.4 -put 从Linux上传文件到hdfs

1.5 -get 从hdfs下载文件到linux

1.6 -text 查看文件内容

1.7 -rm 表示删除文件

1.7 -rmr 表示递归删除文件

2.hdfs在对数据存储进行block划分时，如果文件大小超过block，那么按照block大小进行划分；不如block size的，划分为一个块，是实际数据大小。

*****PermissionDenyException 权限不足**********

hadoop常用命令：

hdfs dfs 查看Hadoop HDFS支持的所有命令

hdfs dfs –ls 列出目录及文件信息

hdfs dfs –lsr 循环列出目录、子目录及文件信息

hdfs dfs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下

hdfs dfs –get /user/sunlightcs/test.txt . 将HDFS中的test.txt复制到本地文件系统中，与-put命令相反

hdfs dfs –cat /user/sunlightcs/test.txt 查看HDFS文件系统里test.txt的内容

hdfs dfs –tail /user/sunlightcs/test.txt 查看最后1KB的内容

hdfs dfs –rm /user/sunlightcs/test.txt 从HDFS文件系统删除test.txt文件，rm命令也可以删除空目录

hdfs dfs –rmr /user/sunlightcs 删除/user/sunlightcs目录以及所有子目录

hdfs dfs –copyFromLocal test.txt /user/sunlightcs/test.txt 从本地文件系统复制文件到HDFS文件系统，等同于put命令

hdfs dfs –copyToLocal /user/sunlightcs/test.txt test.txt 从HDFS文件系统复制文件到本地文件系统，等同于get命令

hdfs dfs –chgrp [-R] /user/sunlightcs 修改HDFS系统中/user/sunlightcs目录所属群组，选项-R递归执行，跟linux命令一样

hdfs dfs –chown [-R] /user/sunlightcs 修改HDFS系统中/user/sunlightcs目录拥有者，选项-R递归执行

hdfs dfs –chmod [-R] MODE /user/sunlightcs 修改HDFS系统中/user/sunlightcs目录权限，MODE可以为相应权限的3位数或+/-{rwx}，选项-R递归执行

hdfs dfs –count [-q] PATH 查看PATH目录下，子目录数、文件数、文件大小、文件名/目录名

hdfs dfs –cp SRC [SRC …] DST 将文件从SRC复制到DST，如果指定了多个SRC，则DST必须为一个目录

hdfs dfs –du PATH 显示该目录中每个文件或目录的大小

hdfs dfs –dus PATH 类似于du，PATH为目录时，会显示该目录的总大小

hdfs dfs –expunge 清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除

hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl] 获取由SRC指定的所有文件，将它们合并为单个文件，并写入本地文件系统中的LOCALDST，选项addnl将在每个文件的末尾处加上一个换行符

hdfs dfs –touchz PATH 创建长度为0的空文件

hdfs dfs –test –[ezd] PATH 对PATH进行如下类型的检查： -e PATH是否存在，如果PATH存在，返回0，否则返回1 -z 文件是否为空，如果长度为0，返回0，否则返回1 -d 是否为目录，如果PATH为目录，返回0，否则返回1

hdfs dfs –text PATH 显示文件的内容，当文件为文本文件时，等同于cat，文件为压缩格式（gzip以及hadoop的二进制序列文件格式）时，会先解压缩 hdfs dfs –help ls 查看某个[ls]命令的帮助文档

本文转自

如何用linux命令查找按时间排序的文件名

可以使用ls命令实现这一功能。ls命令是一个非常有用的查看文件与目录的命令，list之意，它的参数非常多。ls命令默认是按照文件名的字母的顺序打印出当前目录的文件及文件夹。加上-S参数，就可以根据文件的大小进行排序，默认是从大到小的顺序。在此基础上加上参数-r变成-Sr，就可以一自小到大的顺序打印出文件。一般打印文件时，会加上-l参数，编程-lSr，打印出文件的详细信息，这样就能明确地看到，打印出的文件的大小是从小到大递增的。

《Linux下部分常用指令笔记》

一、创建linux维护用户

登录root用户

创建新用户

useradd 新用户名

设置用户密码

passwd 新用户密码

二、安装jdk和配置环境变量

建议在root用户下直接安装jdk，并直接配置环境变量，同时给非root用户设置读和执行权限

解压包

tar xvf jdk包名.tar

配置全局变量

编辑/etc/profile文件

vi /etc/profile

按I键，切换成编辑模式。

在文件未加入一下配置

export JAVA_HOME=jdk的解压文件目录

export JRE_HOME=jdk的解压文件目录/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${ JRE_HOME}/lib:$CLASSPATH

export JAVA_PATH=${JAVA_HOME}/bin:${ JRE_HOME}/bin

export PATH=$PATH:${JAVA_PATH}

保存并退出

Esc   

:wq

重载配置文件使其生效

source /etc/profile

检查是否安装成功

Javac

Java version

权限修改

读4写2执行1，顺序所有者、组成员、其他用户

Chomd  755  jdk的解压文件目录

三、安装tomcat

安装tomcat和放入war包使用非root的维护用户

如果使用root安装的话记得设置权限。（ chomd -r 外层文件目录 ）

su - 用户名

1、解压包

tar  xvf  tomcat包名.tar

2、将war包放入tomcat/webapps目录下

3、Tomcat启动服务和停止服务

查看进程

ps -ef | grep java

启动应用

Tomcat bin目录下.startup.sh

停止应用

建议使用

Kill -9 进程号

注：解压出应用文件后，注意配置信息的修改

四、IBM MQ部署 (7.5之后的版本)

（以下是使用9.0版本的正确部署命令）

一、 卸载旧版本IBM MQ （可选）

因为部署环境没有安装过mq，卸载这部分命令我没有亲自测试过

设置环境

以用户身份登录到组mqm，找到mq的安装位置 /opt/mqm

source ./setmqenv -s

查看队列管理器的状态

dspmq -o installation

停止与要卸载的安装关联的所有正在运行的队列管理器

endmqm SXRECV

停止与队列管理器关联的所有侦听器。

endmqlsr -m SXRECV

查看系统上当前安装的软件包（组件）

sudo rpm -qa | grep MQSeries

列出软件包并一次性卸载

sudo rpm -qa | grep MQSeries | xargs rpm -ev

再将对应的用户及安装目录给删除

rm -rf /opt/mqm

userdel -r mqm

检查MQ license

license文件在安装目录中 /opt/mqm/lib 可以找到

amqtcert.lic - is a trial license

amqbcert.lic - is a beta license

amqpcert.lic - is the production license

——————————————————————————————————————

二、安装新版本ibm mq

解压，解压文件都在MQServer中

tar –xzvf IBM_MQ_9.1.5_LINUX_X86-64.tar.gz

进入MQServer文件夹中:

cd MQServer/

运行MQ许可证程序

./mqlicense.sh

安装WebSphere MQ for Linux服务器（Runtime、SDK 和 Server 软件包）：

rpm -U MQSeriesRuntime-9.1.5-0.x86_64.rpm

rpm -U MQSeriesSDK-9.1.5-0.x86_64.rpm

rpm -U MQSeriesServer-9.1.5-0.x86_64.rpm

安装WebSphere MQ for Linux客户机：

rpm -U MQSeriesClient-9.0.0-0.x86_64.rpm

安装WebSphere MQ样本程序:

rpm -U MQSeriesSamples-9.0.0-0.x86_64.rpm

创建组和用户

安装过程创建了一个名为mqm的用户和一个同样名为 mqm 的组。设置一个密码来解锁。

passwd mqm

——————————————————————————————————————

三、 配置

（这部分队列管理器、通道、队列等根据实际情况自行配置）

切换用户：

su mqm

创建队列管理器

使用crtmqm命令来创建一个名为 SXRECV

的队列管理器。我们把它作为缺省队列，并且将不在创建时指定死信队列。然后使用strmqm命令启动队列管理器。

crtmqm -q  SXRECV

strmqm  SXRECV

——————

如果执行crtmqm命令时提示

-bash-3.2$ crtmqm

-bash: crtmqm: command not found

find / -name crtmqm

则需要配置mqm用户的环境变量，编辑如下文件，并添加下面的内容，如下：

第一种方法：相对第二种较安全仅对mqm用户有效

方法一：

(1） -bash-3.2$ vi /var/mqm/.bash_profile --有可能会在文件夹下看不到这个文件，通过编辑即可看到

PATH=$PATH:/opt/mqm/samp/bin:/opt/mqm/bin:bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin

(2）执行“.”命令，使这个文件生效

-bash-3.2$ source  .bash_profile

(3）再次尝试实行crtmqm或是dspmqm命令，即可发现已经生效。

方法二：

（ 1）

su  root

[if !supportLists]（2）[endif]

vim /etc/profile

[if !supportLists]（3）[endif] 在最后面加上：

PATH=$PATH:/opt/mqm/samp/bin:/opt/mqm/bin:bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/bin

（ 4）关闭远程终端重新打开，无需重启服务器

——————

运行队列管理器

runmqsc SXRECV

创建通道和队列

DEFINE QLOCAL (XYDATA) REPLACE USAGE (NORMAL) DEFPSIST (YES) MAXDEPTH (300000) DESCR('兴业银行')

DEFINE QLOCAL (XYTRANS) REPLACE USAGE (XMITQ) DEFPSIST (YES) MAXDEPTH (300000) DESCR('兴业银行')

DEFINE QREMOTE (XYACK) REPLACE DEFPSIST (YES) RQMNAME (SXSEND)  RNAME (XYACK) XMITQ (XYTRANS) DESCR('XXXX')

DEFINE CHANNEL (XYDATA) CHLTYPE (RCVR) TRPTYPE (TCP) REPLACE DESCR('XXXX')

DEFINE CHANNEL (XYACK) CHLTYPE (SDR) CONNAME ('166.1.1.8(2214)') XMITQ (XYTRANS) TRPTYPE (TCP) DISCINT (0) CONVERT (NO) SHORTRTY (30) SHORTTMR (10) LONGRTY (999999999) LONGTMR (20) REPLACE DESCR('XXXX')

DEFINE CHANNEL (SVRCONN) CHLTYPE (SVRCONN) MCAUSER('mqm')

创建监听

DEFINE LISTENER (RECLISTENER) TRPTYPE (TCP) CONTROL(QMGR) PORT (2214)

启动监听

start LISTENER(RECLISTENER)

启动通道

start channel(SVRCONN)

start channel(XYDATA)

start channel(XYACK)

———————————————————————————————————————————————————

四、2035错误码 说明

如果程序连接mq报错2035，则需要对权限认证做设置，则进行以此操作

1、

ALTER QMGR CHLAUTH(DISABLED)

2、

ALTER CHL(通道名) CHLTYPE(SVRCONN) MCAUSER('mqm')

3、

ALTER AUTHINFO(SYSTEM.DEFAULT.AUTHINFO.IDPWOS) AUTHTYPE(IDPWOS) CHCKCLNT(OPTIONAL)

或者直接将连接认证选项置为空，将其完全关闭，指令如下：

ALTER QMGR CONNAUTH('')

在执行完上述两条命令中的任一条后，都需要刷新连接认证的缓存，指令如下：

REFRESH SECURITY TYPE(CONNAUTH)

五、mq操作命令

一、MQ的启动与停止

1、MQ的启动

strmqm QMgrName

如果启动默认队列管理器，strmqm后可以忽略队列管理器名称。

2、MQ的关闭

endmqm -i QMgrName

停止mq

二、MQ运行状态查看与常用操作

1、 查看队列管理器运行状态

su mqm

执行如下命令检查队列管理器运行状态：dspmq显示结果中QMNAME表示MQ队列管理器的名称，STATUS表示当前运行状态。运行状态有如下几种：Starting正在启动Running正在运行Ending正在停止Ended normally已经正常终止Ended immediately已经立即终止Ended preemtively已经强制终止Ended unexpectively异常终止

注意：停止MQ后必须使用dspmq命令进行状态检查

2、查看通道运行状态与启停通道

runmqsc

dis chl(*);查看所有通道定义

dis chs(*);查看所有通道状态，如果没有查询到通道状态，或报错AMQ8420: Channel Status not found，请启动通道

dis chs(ChannelName)； 查看通道ChannelName的状态

通道状态有如下几种：

STARTING正在启动BINDING正在绑定INITIALIZING正在初始化RUNNING正常STOPPING 正在停止RETRYING重试PAUSED等待STOPPED已停止REQUESTING请求

start chl(ChannelName);启动通道

stop chl(ChannelName);停止通道

* 重置通道

reset channel(ChannelName); 重置通道序号。当本地与其他MQ队列管理器的通道无法正常启动的情况，检查日志发现是通道序号不一致，此时就需要先停止发送方通道，清空队列深度并在发送方和接收方进行通道计数的重置，重置后启动通道即可恢复通讯。

注意：重置成功mq序列号一般相同或相差1

3、查看通道监听状态与启停监听

runmqsc

dis listner(*);查看通道监听定义

dis lsstatu(listnerName);查看监听状态

start lstr(listnerName)； 启动监听

stop lstr(listnerName)； 停止监听 

4、查看队列深度

runmqsc

dis q(*);查看所有各类队列的属性

dis qlocal(QName);查看所有本地队列的属性

队列深度属性为：CURDEPTH

查看队列深度display ql('队列名')  curdepth

*清空队列深度

清空队列深度

clear ql(‘队列名’)

三、MQ发送和接收消息

su mqm

发送消息

amqsput  队列名  队列管理器

获取消息

amqsget  队列名  队列管理器

可通过配合查看队列深度命令，完成mq的联调

六、其他维护中常用linux命令

1、测试端口连接

telnet ip port

2、查看已启动的端口

netstat -an | grep 端口号

3、查看应用进程

ps -ef |grep java

4、修改权限

chomd  XXX(对应的权限)  文件目录

5、修改文件或目录下所有文件所有者和组

Chomd -R 用户名：组名  文件目录

6、查看目录内容

ls 或者ls -l (简写ll)

7、查看文件输出

cat 目录/文件名

或者

Vi 目录/文件名 按i可进入编辑

按 G 到文档末尾

按 gg 到文件首行

不保存退出

Esc   :q!

保存退出

Esc   :wq

vi 进入文档文档后查找关键字

Esc 进入命令行

/关键字

按n向下继续查找

按N向上继续查找

8、杀进程

Kill -9 进程号

9、复制

cp -r 源目录  目标目录

10、移动

mv  -i 源文件或目录 目标文件或目录

11、删除

rm -R 文件目录

12、 切换工作目录

cd  相对路径或绝对路径

~也表示为 home 目录 的意思， . 则是表示目前所在的目录， .. 则表示目前目录位置的上一层目录。

HDFS操作命令

HDFS命令基本格式：hadoop fs -cmd args

表格：

注意：以上表格中路径包括hdfs中的路径和linux中的路径。对于容易产生歧义的地方，会特别指出“linux路径”或者“hdfs路径”。如果没有明确指出，意味着是hdfs路径。

HDFS有一个默认的工作目录/user/$USER，其中$USER是用户的登录用户名。不过目录不会自动建立，需要mkdir建立它

命令格式：hadoop fs -mkdir

注意：支持级联创建新目录，Hadoop的mkdir命令会自动创建父目录，类似于带-p的linux命令

put命令从本地文件系统中 复制单个或多个 源路径到目标文件系统，也支持从标准输入设备中读取输入并写入目标文件系统。分为本地上传和上传到HDFS中。

命令格式：hadoop fs -put filename

最后一个参数是句点，相当于放入了默认的工作目录，等价于 hadoop fs -put example.txt /user/chen

上传文件时，文件首先复制到DataNode上，只有所有的DataNode都成功接收完数据，文件上传才是成功的。

命令格式：hadoop dfs put filename newfilename

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从 标准输入 中读取输入写入目标文件系统。

采用-ls命令列出HDFS上的文件。在HDFS中未带参数的-ls命令没有返回任何值，它默认返回HDFS的home目录下

的内容。在HDFS中，没有当前工作目录这样一个概念，也没有cmd这样的命令。

命令格式：user@NameNode:hadoop$ bin/hadoop dfs -ls

如：

通过“-ls 文件夹名” 命令浏览HDFS下文件夹中的文件

命令格式：hadoop dfs -ls 文件夹名

通过该命令可以查看in文件夹中的所有文档文件

通过“-cat 文件名”命令查看HDFS下文件夹中某个文件的内容

命令格式：hadoop$ bin/hadoop dfs -cat 文件名

通过这个命令可以查看in文件夹中所有文件的内容

通过“-get 文件按1 文件2”命令将HDFS中某目录下的文件复制到本地系统的某文件中，并对该文件重新命名。

命令格式：hadoop dfs -get 文件名 新文件名

-get 命令与-put命令一样，既可以操作目录，也可以操作文件

通过“-rmr 文件”命令删除HDFS下的文件

命令格式：hadoop$ bin/hadoop dfs -rmr 文件

-rmr 删除文档命令相当于delete的递归版本。

通过-format命令实现HDFS格式化

命令格式：user@NameNode:hadoop$ bin/hadoop NameNode -format

通过运行start-dfs.sh，就可以启动HDFS了

命令格式：user@NameNode:hadoop$ bin/ start-dfs.sh

当需要退出HDFS时，通过stop-dfs.sh 就可以关闭HDFS

命令格式：user@NameNode:hadoop$ bin/ stop-dfs.sh

HDFS的命令远不止这些，对于其他操作，可以通过-help commandName 命令列出清单。下面列举一些命令进行说明。

（1）chgrp改变文件所属的组命令

chgrp命令的用途是：更改文件或目录的组所有权。

语法格式：hadoop fs -charg [-R] GROUP URL .....

使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

（2）chmod改变文件的权限

chmod用于改变文件或目录的访问权限，这个Linux系统管理员最常用的命令之一。

使用方法：hadoop fs -chmod [-R] ...

使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者是超级用户

（3）chown改变文件的拥有者

chown命令改变文件的拥有者。

使用方法：hadoop fs -chown [-R]....

使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

（4）copyFromLocal命令

除了限定 源路径 是只能是一个 本地文件 外，其他方面和put命令相似。

使用方法：hadoop fs -copyFromLocal localsrc URI

（5）copyToLocal命令

除了限定 目标路径 是一个 本地文件 外，其他方面和get命令类似。

使用方法：hadoop fs -copyToLocal {-ignorecrc} {-crc} URI localdst

（6）cp命令

cp命令是将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。

使用方法：hadoop fs -cp URI [URI....] dest

返回值：成功返回0 ，失败返回-1

（7）du命令

du命令显示目录中 所有文件的大小 ，或者当只指定一个文件时，显示此文件的大小

使用方法：hadoop fs -du URI [URI........]

返回值

成功返回0，失败返回-1

（8）dus命令

dus是显示 文件大小 的命令。

使用方法：hadoop fs -dus args

（9）expunge命令

expunge是清空回收站的命令

使用方法：hadoop fs -expunge

（10）get命令

get是复制文件到本地文件系统的命令

使用方法：hadoop fs -get [-ignorecrc] [-crc] localdst

可用-ignorecrc选项复制CRC校验失败的文件：使用-CRC选项复制文件以及CRC信息。

返回值

成功返回0，失败返回-1

（11）getmerge命令

getmerge命令用于接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件合并成本地目标文件。

使用方法：hadoop fs -getmerge src localdst [addnl]

参数说明：addl是可选的，用于指定在每个文件结尾添加一个换行符；

假设在你的hdfs集群上有一个/user/hadoop/output目录

里面有作业执行的结果（多个文件组成）part-000000,part-000001,part-000002

然后就可以在本地使用vi local_file查看内容了

（12）ls命令

ls命令查看当前目录下的信息

使用方法：hadoop fs -ls args

如果是 文件 ，则按照如下格式返回文件信息：

文件名 副本数文件大小 修改日期 修改时间 权限 用户ID 组ID

如果是 目录 ，则返回它直接子文件的一个列表，就像在UNIX中一样。目录返回i额表的信息如下：

目录名dir修改日期 修改时间 权限 用户ID 组ID

返回值

成功返回0，失败返回-1

（13）lsr命令

lsr命令是-ls命令的递归版，类似于UNIX中的ls-r。

使用方法：hadoop fs -lsr args

（14）movefromLocal命令

复制一份本地文件到hdfs，当成功后，删除本地文件

使用方法：dfs -moveFromLocal src dst

（14.5）moveToLocal命令

类似于-get，但是当复制完成后，会删除hdfs上的文件

使用方法：moveToLocal src localDest

（15）mv命令

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录

使用方法：hadoop fs -mv URI [URI.....] dest

备注：不允许在不同的文件系统间移动文件。

返回值

成功返回0，失败返回-1

（16）put 命令

put命令从本地文件系统中复制单个或多个源路径到目标文件系统，也支持从标准输入中读取输入写入目标文件系统

使用方法：hadoop fs -put localsrc .... dst

（17）rm命令

rm命令删除指定的文件，只删除非空目录和文件。

使用方法：hadoop fs -rm URI [URI......]

请参考rmr命令了解递归删除。

（18）rmr命令

rmr命令是delete命令的递归版本

使用方法：hadoop fs -rmr URI [URI.......]

返回值

成功返回0，失败返回-1

（19）setrep命令

setrep命令可以改变一个文件的副本系数。

使用方法：hadoop fs -setrep [-R] path

参数说明：-R 选项用于递归改变目录下所有文件的副本系数

返回值

成功返回0，失败返回-1

（20）stat命令

stat命令用于返回指定路径的统计信息

使用方法：hadoop fs -stat URI [URI......]

返回值

成功返回0，失败返回-1

（21）tail命令

tail命令将文件尾部1KB的内容输出到stdout。支持-f选项，行为和UNIX中一致

使用方法：hadoop fs -tail [-f] URI

返回值

成功返回0，失败返回-1

（22）test命令

test命令是检查命令，可以检查文件是否存在、文件的大小等。

使用方法：hadoop fs -test -[ezd] URI

（23）text命令

text命令用于将源文件输出问文本格式

使用方法：hadoop fs -text src

允许的格式是zip和TextRecordInputStream。

（24）touchz 命令

touchz命令用于创建一个0字节的空文件。

使用方法： hadoop fs -touchz URI [URI....]

返回值

成功返回0，失败返回-1

当前文章：lsrlinux命令 linux ls命令详解
网址分享：http://myzitong.com/article/hhhpgd.html