问将CSV文件导入Hadoop

EN

导入csv文件的两个步骤

1. 使用winscp或赛博鸭将csv文件移动到hadoop (/home/username)。
2. 使用-put命令将文件从本地位置移动到hdfs。 -put /home/username/file.csv /user/data/file.csv

我们可以使用三个标志将数据从本地机器加载到HDFS，

-copyFromLocal

我们使用此标志将数据从本地文件系统复制到Hadoop目录。

hdfs dfs –copyFromLocal /home/username/file.csv /user/data/file.csv

如果该文件夹不是以HDFS或根用户的身份创建的，我们可以创建该文件夹：

hdfs dfs -mkdir /user/data

-put

正如上面的答案中所提到的，我们还使用-put标志将数据从本地文件系统复制到Hadoop目录。

hdfs dfs -put /home/username/file.csv /user/data/file.csv

-moveFromLocal

我们还使用-moveFromLocal标志将数据从本地文件系统复制到Hadoop目录。但这将从本地目录中删除该文件。

hdfs dfs -moveFromLocal /home/username/file.csv /user/data/file.csv