Curl下载到HDFS

文章/答案/技术大牛

发布

1回答

hadoop、curl、hdfs

我有这样的代码：当我执行这段代码时，curl将request中的值放入fileName.csv中，文件被移动到HDFS中。我想知道我是否可以，在内存中维护curl输出，发送到管道，然后在HDFS中写入值？curl url | xargs hdfs dfs -put

浏览 12提问于2017-07-06得票数 4

回答已采纳

1回答

将数据直接下载到HDFS？

hadoop、hdfs

有人问过类似的问题(here和here)，但我的问题不同，因为我想知道是否有一种方法可以直接将数据(从REST API或cURL)下载到HDFS集群中。我正在尝试避免将文件保存在本地。

浏览 21提问于2019-06-26得票数 1

1回答

如何通过集群中的oozie工作流将文本文件加载到hdfs中

hadoop、hdfs、oozie

在执行oozie工作流中的hive脚本之前，我需要将这些文本文件放入hdfs。有人能给我提供解决方案吗。提前谢谢。

浏览 2提问于2015-08-15得票数 0

1回答

Hadoop:无法使用python连接到HDFS(Hadoop)

python、hadoop、hdfs、webhdfs

我正在尝试使用windows10的python jupyter工具连接到VM中的HDFS。有人能帮我解决下面的连接错误吗？谢谢。ubuntu 18.0.4 windows 10 “”“ from pywebhdfs.webhdfs import PyWebHdfsClient

浏览 89提问于2020-04-08得票数 0

回答已采纳

1回答

在HDFS中插入数据

hive、hdfs、webhdfs

我需要在配置单元中创建一些表，为此，我想在hdfs中插入数据，以便自动创建配置单元表。我需要把这些信息存储在蜂巢里。你能告诉我一个例子，我是如何在HDFS中插入数据的吗？

浏览 1提问于2015-07-14得票数 2

1回答

Dir的迁移到Flume

apache、hadoop、flume、flume-ng

我想使用flume API或java API将包含子目录和文件列表的DIR加载到/flume/events下的HDFS中。我使用的是cloudera cdh5.1提前感谢

浏览 2提问于2014-12-01得票数 1

3回答

我最近开始使用Scala、HDFS、sbt和Livy。目前我试图创建livy batch。Warning: Skip remote jar hdfs://localhost:9001/jar/project.jar. java.lang.ClassNotFoundException: SimpleAppspark-submit --class "SimpleApp" --master local target/scala-2.11/simple-project_2.11-1.0.

浏览 0提问于2018-06-21得票数 1

1回答

使用Curl从HDFS发布文件

hadoop、curl、hdfs

如何使用Curl从HDFS发布文件？curl --data-binary @/user/file.txt 'http://127.0.0.1/update' 这是可行的，但是现在我已经将我的文件放在HDFS中，他们是否有办法使用curl在hdfs中发布文件

浏览 0提问于2016-10-19得票数 0

1回答

Kafka Connect分布式系统不起作用

apache-kafka、apache-kafka-connect

我试图运行卡夫卡连接的分布式模式，从主题读取和写入HDFS。请看下面的完整日志。

浏览 2提问于2018-06-26得票数 0

2回答

从Kafka主题中读取消息并将其转储到HDFS中

java、scala、apache-spark、apache-kafka、hdfs

我正在尝试使用Kafka主题中的数据，将其加载到Dataset中，然后在加载到Hdfs之前执行过滤。我可以从kafka主题中消费，将其加载到dataset中并保存为HDFS中的拼图文件，但无法执行过滤条件。你能分享一下在保存到hdfs之前进行过滤的方法吗？

浏览 6提问于2020-05-05得票数 1

1回答

Oozie shell操作: exec和文件标记

oozie

argument>A</argument> <file>${EXEC}#${EXEC}</file>我也看到过路径的位置(HDFS<argument>B</argument></shell&

浏览 1提问于2016-01-27得票数 7

回答已采纳

7回答

将数据加载到表中

hive、dbvisualizer

我希望将数据从其中一个文件加载到一个在hive中创建的表中。FAILED: Error in semantic analysis: Line 1:17 Invalid path "D:\data files\sample.txt": only "file" or "hdfs

浏览 8提问于2013-02-15得票数 3

回答已采纳

3回答

Hadoop :为什么在RecordReader实现中使用FileSplit

hadoop

在Hadoop中，考虑一个大文件已经加载到hdfs文件系统的场景，使用hdfs dfs put或hdfs dfs CopyFromLocal命令，大文件将被拆分成块(64MB)。在这种情况下，当需要创建customRecordReader来读取bigfile时，请解释使用FileSplit的原因，因为bigfile在文件加载过程中已经被拆分，并且以拆分的块的形式存在。

浏览 3提问于2014-12-31得票数 0

1回答

使用水槽的日志数据未正确存储在蜂巢中

logging、hadoop、hive、flume、avro

一个运行hive的HDFS服务器。服务器上的Flume conf：hdfs-agent.channels = memoryChannel hdfs-agent.sources.avro-collect.bind = localhosthdfs

浏览 2提问于2014-07-17得票数 0

回答已采纳

1回答

Flume -将文件从文件服务器加载到HDFS

hadoop、mapreduce、flume

我希望经常将文件从文件服务器加载到HDFS。较小的文件(2 MB到20 MB)经常被加载到文件服务器。这些文件必须加载到HDFS中，以便进行MR处理。如果这些文件在运行MR作业时被选中并加载到HDFS中，那么将这些文件加载到HDFS本身需要很长时间。是否可以使用Flume更频繁地在文件服务器中读取这些较小的文件并存储在HDFS中？我知道有CombineFile

浏览 4提问于2013-07-29得票数 0

1回答

如何将目录数据加载到配置单元中

file、hive、load、hdfs

如何将hdfs文件加载到配置单元中。在我的项目中，它需要将hdfs文件加载到hive中。我的hdfs文件结构类似于`/flume/topic/date/hour/file.hdfs，，问题是如何自动加载目录数据。

浏览 0提问于2016-05-13得票数 1

1回答

如何将数据加载到Cloudera Impala表中？

sql、uri、cloudera、impala

我使用post SQL语句将数据加载到Cloudera Impala ODBC表中，但是我得到了一个"URI路径必须是绝对的“错误。下面是我的SQL。我在没有Compute函数的情况下尝试了相同的语句，但仍然得到了相同的错误。提前谢谢你。

浏览 7提问于2022-02-01得票数 0

1回答

如何在不同模式中将csv文件导入hbase表

csv、hadoop、hbase、bulk-load

我最近开始研究hbase，但对此知之甚少。我有多个csv文件(大约20000)，我希望将它们导入到hbase表中，使每个文件都是HBase中的一行，并且文件的名称将是行键。这意味着csv文件的每一行都是hbase中的一个单元格，我需要将它们放在一个struct数据类型(由25个字段组成)中。不幸的是，我对这个问题一无所知。如果有人愿意给我一些建议，我很感激。time, a, b, c, d, ..., x60.000,80.100,113.200,54.500,72.100,

浏览 0提问于2018-07-08得票数 0

1回答

麻省理工学院StarCluster和S3

hadoop、amazon-web-services、amazon-ec2、amazon-s3、starcluster

我没有问题上传数据，然后将其放入HDFS，然后将结果从HDFS复制回来。我的问题是，是否有方法直接从s3加载数据并将结果推回s3？(我不想手动将数据从s3下载到HDFS，并将结果从HDFS推送到s3，在后台有方法吗)？我使用的是标准的麻省理工学院星团

浏览 2提问于2015-05-02得票数 0

回答已采纳

2回答

配置单元-外部表创建

hadoop、hive

查询存储在外部系统(如amazon )中的数据-避免将该数据引入s3是否可以访问HDFS之外的数据？

浏览 1提问于2018-02-21得票数 1

点击加载更多