生成Avro架构文件并存储在HDFS中

文章/答案/技术大牛

发布

1回答

centos、hdfs、avro

我正在使用avro工具从HDFS中的avro文件生成模式文件，并使用以下命令将其转储到Linux文件系统： hadoop jar /usr/bin/Avro/avro-tools-1.8.1.jar getschema/dw/hpm/ap_drg/ap_drg.avro > usr/bi

浏览 17提问于2016-09-24得票数 1

1回答

AVRO文件上的Hive外部表只为所有列生成空数据

hadoop、hive、avro、spark-avro、hive-table

我试图在一些使用Hive external table生成的avro文件的基础上创建一个spark-scala。我使用的是CDH 5.16，它有hive 1.1，spark 1.6。但是我在这个位置找不到这些avro文件的架构文件。同时，当我使用avro作为spark-scala读取这些dataframe文件并</

浏览 1提问于2019-07-17得票数 2

回答已采纳

2回答

当我创建一个带有“存储为Avro”子句的hive表时，AVRO模式存储在哪里？

hive、schema、avro、metastore

至少有两种不同的方法可以创建一个以Avro数据为后盾的蜂窝表：创建表'org.apache.hadoop.hive.serde2.avro.AvroSerDe( id INT，name STRING )；在第一种情况下，users_from_avro_schema表的元数据不是存储在

浏览 0提问于2017-05-30得票数 14

回答已采纳

1回答

无法使用汇合平台将Avro数据推送到HDFS

apache-kafka、hdfs、avro、apache-kafka-connect、confluent-platform

我有一个系统将Avro数据推入到多个Kafka主题中。在此之后，我开始将数据推送给Kafka，但是消息并没有被推送到HDFS。

浏览 2提问于2017-01-20得票数 1

1回答

在HDFS中存储Avro文件

python、hdfs、avro、bigdata

我正在尝试在HDFS上存储大量数据。我已经能够使用Python生成Avro文件。Avro是否提供将输出直接存储到HDFS的功能？

浏览 11提问于2017-03-04得票数 0

回答已采纳

1回答

包含选定列的HDFS群集内拷贝

hadoop、hive、hdfs、avro、distcp

我正在使用Avro文件在HDFS中存储数据。我需要从一个avro文件中复制选定的列数据，并将其发送到具有其自己的架构文件(包含选定列信息)的同一群集中的另一个位置。我该怎么做呢？或者，HDFS中有没有什么实用程序可以帮助我做到这一点？这是必需的，因为一个组必须能够访问整个表，而另一个组应该只能访问几列。因此，我需要将它们放在HDFS中的单独位置

浏览 10提问于2017-08-10得票数 0

回答已采纳

1回答

avro文件中的配置单元外部表

hadoop、hive、hiveql、avro、hortonworks-data-platform

有没有可能在不指定模式的情况下从avro文件中在Hive 1.2上创建外部表，并让Hive从数据中提取它？谢谢

浏览 11提问于2019-08-05得票数 1

1回答

HDFS中Avro模式的生成

hadoop、apache-spark、avro、spark-avro

我有一个场景，我在HDFS.And中有一些avro文件集，我需要在HDFS.I中为这些Avro数据文件生成AVRO模式文件。我尝试使用Spark ()进行研究。除了将AVRO数据文件带到本地并执行HDFS PUT之外，还有其他方法吗？任何建议都是welcomed.Thanks！

浏览 0提问于2016-10-14得票数 0

1回答

Flume:目录到Avro* -> Avro到HDFS -传输后无效*

hadoop、hdfs、flume、avro

我有用户编写AVRO文件，我想使用Flume使用Flume将所有这些文件移动到HDFS中。因此，以后我可以使用Hive或Pig来查询/分析数据。.port = 41414a1.sources = avro1a1.channels = c1 a1每当文件是有效的AVRO<

浏览 2提问于2014-02-07得票数 5

回答已采纳

1回答

基于文件结构的蜂箱表创建

hadoop、hive

我有一个疑问，在蜂箱中是否有任何方法在装载期间创建表到蜂窝仓库或外部表。而不是如何将这些文件加载到hive表中。因此，简而言之，如何在不知道HDFS的架构结构的情况下将文件从HDFS加载到HIVE Table。谢谢

浏览 1提问于2018-07-07得票数 2

回答已采纳

1回答

允许在配置单元表的字段中使用空值

hive、avro

我正在从存储在hdfs中的avro文件创建一个配置单元表。而且，这个avro文件是从mongodb集合生成的。问题是有些字段有空值，我希望hive表中的字段除了应该存储的内容(如int、string、array等)之外，还可以接受null值。我使用以下命令创建了配置单元表ROW FORMAT SERDE 'o

浏览 1提问于2018-07-25得票数 0

1回答

从流文件内容中提取多行内容

apache-nifi、hortonworks-data-platform、hortonworks-dataflow

我从MySQL表中导入数据(仅针对选定的列)，并将其放入HDFS中。一旦完成，我想要在Hive中创建一个表。为此，我有一个schema.sql文件，其中包含整个表的CREATE语句，我只想为导入的列生成新的CREATE语句。还是有更好的方法在导入的数据上创建表？

浏览 0提问于2018-09-23得票数 2

回答已采纳

1回答

从存储在.avsc文件中的表模式创建单元表

hadoop、hive

我在一个hdfs文件schema.avsc中存储了一个单元表模式。我希望创建同一个模式的单元表，并希望从另一个hdfs路径转储数据，其中数据存储在HDFS文件系统中。 1:如何创建表?2:如何将存储在hdfs文件中的数据转储到创建的表中？

浏览 4提问于2017-01-22得票数 3

回答已采纳

1回答

在presto cli中执行delete查询后，select查询中是否有任何问题？

hive、hdfs、presto

我有presto hive和hdfs设置，并且我有一个表customer，其中包含数据(数据存储在hdfs location /presto/customer.avro中)。配置单元表还包含架构和元数据信息。在presto cli中执行select *查询时，它给出了所有3条插入的记录；从客户执行delete时，在presto cli中，所有数据都被删除。同样，在</e

浏览 15提问于2019-11-20得票数 0

1回答

Pyspark + Hive avro表

apache-spark、pyspark、pyspark-sql、spark-avro

我创建了Hive avro表，并试图从pyspark中读取它。主要是尝试在pyspark上对这个Hive avro表运行基本查询，以便进行一些分析。“飞行”是avro模式中的嵌套记录。:292) at org.apache.avro.io.ResolvingDecoder.readIndexorg.

浏览 2提问于2016-12-07得票数 1

1回答

文件格式存储的最佳实践(Hadoop)

file、hadoop、format、avro

我想得到关于数据格式的建议，特别是在HDFS中存储数据的最佳解决方案是什么。我收到了很多JSON和XML格式的消息。为了进行有效的处理，我需要将这些文件转换成Hadoop的更好的格式，并将它们存储在HDFS中。这些文件的架构不会随时间而改变，这些文件可以是大的，也可以是小的(<64 or )。我需要压缩这些文件。然后，我将通过星火对数据进行处理，以确定是否

浏览 2提问于2015-12-30得票数 1

回答已采纳

1回答

如何利用水槽将数据从一个系统传输到另一个系统的HDFS* (通过局域网连接)？*

hdfs、lan、transfer、hadoop-streaming、flume

我需要通过水槽将数据从系统传输到另一个系统的HDFS位置。致以敬意，阿蒂拉姆

浏览 2提问于2014-03-10得票数 0

回答已采纳

1回答

如何使用Apache在HDFS中读取拼图文件？

hdfs、apache-flink、parquet

那么，如何使用Apache来读取HDFS中的parquet文件呢？

浏览 0提问于2018-10-23得票数 4

1回答

Kafka连接HDFS忽略汇合v4.0中的flush.size

apache-kafka、apache-kafka-connect

这是当前的配置文件：connector.class=io.confluent.connect.hdfs.HdfsSinkConnectorhadoop.conf.dir=/etc/hadoop/conf/#rotate.interval.ms=80000 当我开始这项工

浏览 0提问于2018-01-29得票数 1

回答已采纳

1回答

使用进化的avro模式存储黑斑羚/蜂箱

mapreduce、hive、hadoop2、avro、impala

我们有一个JSON结构，我们需要解析它，并使用它在黑斑羚/蜂巢。由于JSON结构正在发展，我们认为我们可以使用Avro。我们计划解析JSON并将其格式化为avro。avro格式的数据可以直接由黑斑羚使用。假设我们将其存储在HDFS目录/user/hdfs/person_data/中。我们将继续将avro序列化数据放在该文件夹中，并

浏览 4提问于2016-04-01得票数 1

点击加载更多