在HDFS中存储Avro文件

文章/答案/技术大牛

发布

1回答

AVRO文件上的Hive外部表只为所有列生成空数据

hadoop、hive、avro、spark-avro、hive-table

我试图在一些使用Hive external table生成的avro文件的基础上创建一个spark-scala。我使用的是CDH 5.16，它有hive 1.1，spark 1.6。但是我在这个位置找不到这些avro文件的架构文件。我对avro文件类型非常陌生。有人能帮我一下吗。("hdfs:path/user/hive/warehouse/transform.db/pro

浏览 1提问于2019-07-17得票数 2

回答已采纳

1回答

python、hdfs、avro、bigdata

我正在尝试在HDFS上存储大量数据。我已经能够使用Python生成Avro文件。Avro是否提供将输出直接存储到HDFS的功能？

浏览 11提问于2017-03-04得票数 0

回答已采纳

1回答

具有多个Avro模式的flume

schema、flume、avro、serialization

我使用Flume将较小的Avro文件(每个文件包含两个Avro事件)组合成较大的文件，以存储在HDFS中。我正在使用缓冲源和HDFS接收器，与Avro序列化程序。我的Spool目录包含具有3种不同模式的文件。是否可以将Flume配置为将具有每个不同模式的Avro文件组合到不同的接收器文件中？提前感谢

浏览 2提问于2015-01-22得票数 1

1回答

允许在配置单元表的字段中使用空值

hive、avro

我正在从存储在hdfs中的avro文件创建一个配置单元表。而且，这个avro文件是从mongodb集合生成的。问题是有些字段有空值，我希望hive表中的字段除了应该存储的内容(如int、string、array等)之外，还可以接受null值。我使用以下命令创建了配置单元表ROW FORMAT SERDE 'org.apache

浏览 1提问于2018-07-25得票数 0

1回答

使用水槽的日志数据未正确存储在蜂巢中

logging、hadoop、hive、flume、avro

现在，flume代理正在所有3 App服务器上运行，并将日志消息从app服务器传递到Hdfs服务器，在Hdfs服务器上运行另一个flume代理，并最终将日志存储在hadoop文件系统中。但是一切都很顺利，除了hive无法正确解析日志数据并存储在表中这一事实之外。这里是我的水槽和蜂巢配置：应用服务器上的Flume conf： app-agent.sour

浏览 2提问于2014-07-17得票数 0

回答已采纳

1回答

使用进化的avro模式存储黑斑羚/蜂箱

mapreduce、hive、hadoop2、avro、impala

假设我们将其存储在HDFS目录/user/hdfs/person_data/中。我们将继续将avro序列化数据放在该文件夹中，并将一个接一个地解析输入json。比方说，我们有一个针对person的avro模式文件(hdfs://user/hdfs/avro/scheams&

浏览 4提问于2016-04-01得票数 1

1回答

蜂巢导入与导入AVRO格式不兼容。

import、sqoop

蜂巢导入与导入到AVRO格式不兼容。

浏览 0提问于2018-02-23得票数 1

1回答

无法验证serde: org.apache.hadoop.hive.serde2.avro.AvroSerde

hive、avro、flume-twitter、hive-serde、avro-tools

我正在创建一个使用avro serde存储twitter数据的hive表。hdfs://user/itelligence/ee/TwitterDataAvroSchema.avsc');FAILED: Execution Error, return code 1Cannot validate serde: org.apache.hadoop.hive.serde2.avro.AvroSerdet

浏览 3提问于2017-01-14得票数 0

1回答

从流文件内容中提取多行内容

apache-nifi、hortonworks-data-platform、hortonworks-dataflow

我从MySQL表中导入数据(仅针对选定的列)，并将其放入HDFS中。一旦完成，我想要在Hive中创建一个表。为此，我有一个schema.sql文件，其中包含整个表的CREATE语句，我只想为导入的列生成新的CREATE语句。还是有更好的方法在导入的数据上创建表？

浏览 0提问于2018-09-23得票数 2

回答已采纳

2回答

当我创建一个带有“存储为Avro”子句的hive表时，AVRO模式存储在哪里？

hive、schema、avro、metastore

至少有两种不同的方法可以创建一个以Avro数据为后盾的蜂窝表：创建表'org.apache.hadoop.hive.serde2.avro.AvroSerDe‘=’hdfs:///user/root/avro/schema/user.avsc‘)；

浏览 0提问于2017-05-30得票数 14

回答已采纳

1回答

从HDFS读取简单的Avro文件

java、io、avro

我正在尝试对存储在HDFS中的Avro文件进行简单读取。String value = datum.get(1).toString();} 然而，我的文件在HDFS中。如何在HDFS中简单地读取Avro文件？编

浏览 0提问于2012-07-24得票数 6

回答已采纳

2回答

从hdfs将avro文件加载到pyspark数据格式中

python、apache-spark、pyspark、apache-spark-sql、avro

现在让我解释一下我是如何做到的，这样您就可以看到我可能失败的地方了：我的目标是将json数据从本地目录推送到HDFS，这样我就可以使用pySpark=avro_event这是没有任何错误的运行，所以我假设flume将每个文件作为正确的avro文件移动到2)通过

浏览 1提问于2018-09-03得票数 1

1回答

如何利用水槽将数据从一个系统传输到另一个系统的HDFS (通过局域网连接)？

hdfs、lan、transfer、hadoop-streaming、flume

我需要通过水槽将数据从系统传输到另一个系统的HDFS位置。致以敬意，阿蒂拉姆

浏览 2提问于2014-03-10得票数 0

回答已采纳

1回答

flume根据文件大小进行滚动时，将数据拷贝到hdfs所需的时间

hadoop、flume

我有一个用例，我想使用flume将远程文件复制到hdfs中。我还希望复制的文件应该与HDFS块大小(128MB/256MB)对齐，远程数据的.Total大小为33 is。我使用avro源和接收器将远程数据复制到hdfs中。类似地，在接收器端，我正在做文件大小滚动(128,256).but，用于从远程机器复制文件并将其存储到hdfs(文件

浏览 2提问于2016-11-10得票数 0

1回答

基于文件结构的蜂箱表创建

hadoop、hive

我有一个疑问，在蜂箱中是否有任何方法在装载期间创建表到蜂窝仓库或外部表。而不是如何将这些文件加载到hive表中。因此，简而言之，如何在不知道HDFS的架构结构的情况下将文件从HDFS加载到HIVE Table。谢谢

浏览 1提问于2018-07-07得票数 2

回答已采纳

1回答

Flume:目录到Avro -> Avro到HDFS -传输后无效

hadoop、hdfs、flume、avro

我有用户编写AVRO文件，我想使用Flume使用Flume将所有这些文件移动到HDFS中。因此，以后我可以使用Hive或Pig来查询/分析数据。.port = 41414a1.sources = avro1a1.channels = c1 a1每当文件是有效的AVRO<

浏览 2提问于2014-02-07得票数 5

回答已采纳

1回答

包含选定列的HDFS群集内拷贝

hadoop、hive、hdfs、avro、distcp

我正在使用Avro文件在HDFS中存储数据。我需要从一个avro文件中复制选定的列数据，并将其发送到具有其自己的架构文件(包含选定列信息)的同一群集中的另一个位置。我该怎么做呢？或者，HDFS中有没有什么实用程序可以帮助我做到这一点？这是必需的，因为一个组必须能够访问整个表，而另一个组应该只能访问几列。因此，我需要将它们放在HDFS中的单独位置，其中只包含所需的

浏览 10提问于2017-08-10得票数 0

回答已采纳

2回答

Spark SQL看不到hdfs文件

java、hadoop、apache-spark、hdfs

我已经将文件添加到hdfs：文件存在于hdfs上(可用的日志:文件可读/可执行/可写)，但我无法使用sparkSQL API从该文件读取信息： File file = new File(path + "/test.avro</

浏览 0提问于2017-08-08得票数 0

1回答

HDFS中Avro模式的生成

hadoop、apache-spark、avro、spark-avro

我有一个场景，我在HDFS.And中有一些avro文件集，我需要在HDFS.I中为这些Avro数据文件生成AVRO模式文件。我尝试使用Spark ()进行研究。除了将AVRO数据文件带到本地并执行HDFS PUT之外，还有其他方法吗？任何建议都是welcomed.Thanks！

浏览 0提问于2016-10-14得票数 0

1回答

图像的Avro文件类型？

hadoop、avro、sequencefile

我试着在Hadoop中使用to...figure这个例子。什么是最好的文件格式Avro或SequenceFile，以防将图像存储在HDFS中，然后用Python处理它们？SequenceFile是面向关键值的，所以我认为Avro文件会工作得更好吗？

浏览 2提问于2014-06-07得票数 1

回答已采纳

点击加载更多

AVRO文件上的Hive外部表只为所有列生成空数据