1回答
配置Spark写入HDFS的Avro文件大小
scala、apache-spark、hdfs、avro
我正在将Avro格式的Spark数据帧写入HDFS。我想拆分较大的Avro文件，以便它们适合Hadoop块大小，同时又不会太小。有没有什么dataframe或Hadoop选项？如何将要写入的文件拆分成更小的文件？下面是我将数据写入HDFS的方法： dataDF.write .option
浏览 24提问于2019-04-10得票数 2
回答已采纳
1回答
生成Avro架构文件并存储在HDFS中
centos、hdfs、avro
我正在使用avro工具从HDFS中的avro文件生成模式文件，并使用以下命令将其转储到Linux文件系统：这样做效果很好，可
浏览 17提问于2016-09-24得票数 1
1回答
可以将WebHDFS与Flume一起使用吗？
hadoop、flume、flume-ng、webhdfs
我想让flume代理位于hadoop集群之外，并想知道是否可以使用flume将消息发送到使用WebHDFS的hadoop集群中。
如果没有，有没有使用WebHDFS的替代方案？使用多层flume仍然需要在hadoop集群中运行flume代理。
浏览 0提问于2017-01-06得票数 1
3回答
无法从avro文件创建配置单元表
hive、create-table、avro
.avro.AvroSerDe''org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'TABLEPROPERTIES ('avro.schema.url'=&#
浏览 4提问于2014-10-09得票数 2
4回答
将数据从.avro文件导入到单元表
apache、hadoop、hive、avro
我按照命令和avro模式创建了一个hive表。.avro.AvroSerDe'OUTPUTFORMAT'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat''<e
浏览 9提问于2017-01-25得票数 4
回答已采纳
1回答
Hadoop文件格式
apache-spark、hadoop、hive、avro、parquet
我需要考虑如何将数据写入Hadoop。我每天有大约200 B的记录。数据字段可能会改变(不是很多，但将来可能会改变)，我该选什么？阿夫罗还是帕奎特？但还是不知道该选什么，
有什么建议吗？
浏览 1提问于2018-07-01得票数 1
回答已采纳
1回答
使用进化的avro模式存储黑斑羚/蜂箱
mapreduce、hive、hadoop2、avro、impala
由于JSON结构正在发展，我们认为我们可以使用Avro。avro格式的数据可以直接由黑斑羚使用。假设我们将其存储在HDFS目录/user/hdfs/person_data/中。 ROW FORMAT SERDE
'org.ap
浏览 4提问于2016-04-01得票数 1
1回答
在HDFS上仍打开编写器时获取文件大小
java、hdfs、avro、apache-kafka-connect、confluent-platform
从Kafka主题在HDFS上写入的avro文件，但org.apache.hadoop.fs.FileStatus一直返回0字节(Avro)，而写入器仍处于打开和写入状态。我可以在写入器端保留一个长度的计数器，但在深层，数据被转换成长度与原始记录不同的二进制格式(avro)。它可以是近似的，但我正在寻找一个更精确的解决方案。有没有办法从hdfs (io.confluent.connect.hd
浏览 5提问于2018-08-22得票数 0
回答已采纳
1回答
将AVRO数据写入Hadoop hdfs
hadoop、apache-kafka、avro
我有一个java Kafka用户，它正在使用来自kafka的avro数据，比如主题x，它应该在没有代码生成的情况下将这些数据推送到HDFS。在avro 中，他们使用了类似如下的东西：e1.put("key", "value")dataFileWriter = new DataFileWriter<GenericRecord>
浏览 2提问于2016-08-12得票数 0
回答已采纳
1回答
Spark avro insertInto文件扩展名
hadoop、apache-spark、hive
.avro.AvroSerDe' || 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' || 'org.apache.hadoop.hive.ql.io.avro</e
浏览 3提问于2017-08-29得票数 0
1回答
执行错误，从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1。无法验证serde: org.apache.hadoop.hive.serde2.avro.AvroSerde
hive、avro、flume-twitter、hive-serde、avro-tools
我正在创建一个使用avro serde存储twitter数据的hive表。这是密码- row format serde tblproperties('avro<
浏览 3提问于2017-01-14得票数 0
2回答
当我创建一个带有“存储为Avro”子句的hive表时，AVRO模式存储在哪里？
hive、schema、avro、metastore
至少有两种不同的方法可以创建一个以Avro数据为后盾的蜂窝表：
创建表'org.apache.hadoop.hive.serde2.avro.AvroSerDe‘行格式SERDE ('avro.schema.url'='hdfs:///user/root/avro/schema
浏览 0提问于2017-05-30得票数 14
回答已采纳
1回答
从流文件内容中提取多行内容
apache-nifi、hortonworks-data-platform、hortonworks-dataflow
我从MySQL表中导入数据(仅针对选定的列)，并将其放入HDFS中。一旦完成，我想要在Hive中创建一个表。如果我将整个模式放入属性中，那么如何使用NiFi处理器甚至表达式语言来实现这一点呢？
还是有更好的方法在导入的数据上创建表？
浏览 0提问于2018-09-23得票数 2
回答已采纳
1回答
没有从avsc架构创建的配置单元表的数据
hive、sqoop
我将mysql中的数据以avroformat格式导入hdfs。我将.avsc文件移动到hdfs，并使用.avsc文件创建配置单元表。请参考下表： >
浏览 2提问于2017-09-13得票数 0
2回答
使用嵌套子目录的输入创建表。
hadoop、hive、avro、create-table、hive-configuration
我在诸如：/data/logs/[foldername]/[filename].avro这样的文件路径中有HDFS格式的Avro格式的数据。.avro.AvroSerDe' 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' 'org.a
浏览 7提问于2014-06-26得票数 11
3回答
如何让spark为空拼图输出写一个_SUCCESS文件？
apache-spark
目前，如果有输入，它不会向输出的目录写入任何内容，所以我无法确定是否出现了故障(这是一个更大的自动化管道的一部分，因此它会一直重新调度作业，因为没有迹象表明它已经运行了)。
浏览 30提问于2016-02-24得票数 5
2回答
IOException:不是数据文件
hive、sqoop
在使用Avro数据/模式创建Hive外部表时，我遇到了问题：
Hive命令行声明创建的OK表。ShotTables显示表
浏览 0提问于2016-09-11得票数 1
1回答
Kafka-连接HDFS - Protobuf到Parquet
hadoop、apache-kafka、hdfs、protocol-buffers、parquet
hadoop.conf.dir=/etc/hadoophadoop.home=/etc/hadoop/client:701) at org.apache.avro.Schema.toString(Schema.java:324) at org.apache.<em
浏览 0提问于2019-02-17得票数 0
1回答
把avro转换成拼花(也许用蜂巢？)
mapreduce、hive、apache-pig、avro、parquet
我正在尝试将一堆存储在HDFS (100秒的GBs)上的多部分avro文件转换为parquet文件(保存所有数据)。Hive可以使用以下方法将avro文件读入外部表：ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED as INPUTFORMAT 'o
浏览 2提问于2016-12-02得票数 0
1回答
在HDFS中存储Avro文件
python、hdfs、avro、bigdata
我正在尝试在HDFS上存储大量数据。我已经能够使用Python生成Avro文件。Avro是否提供将输出直接存储到HDFS的功能？
浏览 11提问于2017-03-04得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云点播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号