Hadoop是一个由Apache开发的开源分布式计算框架,它能够处理大规模数据并行处理任务,支持大规模数据存储和处理。Hadoop的核心组件包括分布式文件系统HDFS和分布式计算框架MapReduce,它们使得Hadoop可以在廉价的硬件上并行地处理大量数据。Hadoop还包括很多相关的项目和子项目,如Pig、Hive、HBase等,它们都是围绕Hadoop构建的数据处理和查询工具。Hadoop已经成为了大数据领域的标准技术之一,受到了很多企业和组织的广泛应用。
Hadoop主要用于大规模数据的存储和处理,可以帮助用户快速地处理海量数据,提取有价值的信息。以下是Hadoop常见的用途:
总之,Hadoop可以帮助用户处理大规模数据,并提取有价值的信息,为用户提供更为准确的数据决策支持。
命令 | 解释 |
---|---|
start-dfs.sh | 启动HDFS |
stop-dfs.sh | 结束HDFS |
hdfs --daemon start namenode | 启动NameNode(换成stop结束) |
hdfs --daemon start datanode | 启动DataNode(换成stop结束) |
hdfs --daemon start secondarynamenode | 启动SecondaryNameNode(换成stop结束) |
hadoop fs -put /home/a.txt /或者hadoop fs -copyFromLocal /home/a.txt / | 上传文件 |
hadoop fs -get /a.txt /home或者hadoop fs -copyToLocal /a.txt /home | 下载文件 |
hadoop fs -mkdir /txt | 创建目录 |
hadoop fs -mkdir -p /video/movie | 创建多级目录 |
hadoop fs -rm /b.txt | 删除文件 |
hadoop fs -rmdir /txt | 删除目录 |
hadoop fs -rm -r /video | 递归删除目录 |
hadoop fs -cat /c.txt | 查看文件内容 |
hadoop fs -tail /c.txt | 查看文件最后1000个字节的数据 |
hadoop fs -mv /c.txt /a.txt | 重命名或者剪切 |
hadoop fs -cp /txt/a.txt /a.txt | 复制文件 |
hadoop fs -ls / | 查看子文件或者子目录 |
hadoop fs -ls -R / | 递归查看 |
hadoop fs -setrep 3 /a.txt | 设置副本数量 |
hadoop fs -chmod 777 /a.txt | 更改权限 |
hadoop fs -chown tom /a.txt | 更改用户 |
hadoop fs -chgrp tedu /a.txt | 更改用户组 |