用python读取Avro文件创建SQL表

文章/答案/技术大牛

发布

1回答

python、sql、avro、apache-nifi、create-table

我正在尝试从AVRO文件创建一个SQL表，该文件包含我的表的结构： "type" : "record", "doc" : "Schema generatedstring", "doc" : "Type inferred from 'A-23

浏览 7提问于2018-03-02得票数 1

1回答

如何从avro schema (.avsc)创建一个表？

python、pyspark、avro、databricks

我有一个avro模式文件，我需要通过pyspark在Databricks中创建一个表。我不需要加载数据，只需要创建表。然后生成CREATE SQL查询。我想知道是否有任何编程方法可以使用任何API来做到这一点。

浏览 7提问于2019-06-04得票数 1

1回答

如何将数据从CSV加载到Hive外部表(Avro格式)？

hadoop、hive、avro、large-files、beeline

我试图构建一个直线脚本，将存储在HDFS中的CSV文件加载到Hive中的外部表中。首先，我创建一个空的外部表：(column string)LOCATION '/foo/bar'hdfs dfs -put tes

浏览 4提问于2020-12-01得票数 1

1回答

使用beam、python读取具有Avro模式的大查询表

python、google-bigquery、apache-beam、avro

我将apache-beam SDK从2.5.0更改为2.12.0，并在使用python从beam中的Big Query中读取表时出现了Avro模式错误。 BQ表有一个时间戳字段，其他字段是字符串。dataset=args.dataset_name, use_standard_sqlSchemaParseException: Type property "[u'

浏览 15提问于2019-07-01得票数 3

回答已采纳

1回答

使用flume的Bigdata实时数据流

hadoop、cloudera、flume、biginsights、bigdata

我正在尝试使用flume分析推特数据我在BigInsights中使用flume从推特获得了文件，但我收到的数据是压缩的Avro schema，这是不可读的，有人能告诉我一种方法，可以将该文件转换为JSON

浏览 5提问于2017-03-31得票数 0

1回答

基于文件结构的蜂箱表创建

hadoop、hive

我有一个疑问，在蜂箱中是否有任何方法在装载期间创建表到蜂窝仓库或外部表。而不是如何将这些文件加载到hive表中。因此，简而言之，如何在不知道HDFS的架构结构的情况下将文件从HDFS加载到HIVE Table。谢谢

浏览 1提问于2018-07-07得票数 2

回答已采纳

2回答

Avro模式引发StructType

java、apache-spark、apache-spark-sql、avro

这实际上与我的相同，但使用Avro而不是JSON作为数据格式。我正在使用一个Spark dataframe，它可以从几个不同的模式版本中加载数据：{"namespace": "com.example.avro", .format("com.databricks.spark.avro") .load("path/

浏览 1提问于2015-11-25得票数 7

2回答

使用pyspark从s3读取/加载avro文件

apache-spark、pyspark、aws-glue、apache-zeppelin

使用AWS glue developer endpoint Spark Version - 2.4 Python Version- 3尝试读取avro文件时出现以下错误信息：Failed to find data source: avro</em

浏览 0提问于2020-09-18得票数 2

3回答

与BigQuery兼容的Spark AVRO

apache-spark、hive、google-bigquery、avro

我正在尝试在Hive中创建一个外部表，并在BigQuery中创建另一个表，使用与Spark编写的Avro格式存储在Google Storage中的相同数据。我使用的是带有Spark 2.2.0、Spark-avro 4.0.0和Hive 2.1.1的Dataproc集群 Avro版本/包之间有相同的差异，但如果我使用Hive创建表，然后使用Spark编写文件但对于BigQuery是不同的，它可以读取

浏览 30提问于2017-12-18得票数 1

2回答

使用火花红移插入红移

apache-spark、amazon-redshift、amazon-redshift-spectrum

我正在尝试从S3 (拼花文件)中插入红移数据。通过SQLWorkbench完成它，600万行需要46秒。但通过连接器的火花红移，它需要大约7分钟。 .mode(SaveMode.Append)SQLWorkbench (Redshift SQL

浏览 0提问于2018-02-07得票数 3

回答已采纳

3回答

如何在PySpark中读取Avro文件

python、apache-spark、avro、pyspark

我正在写一个使用python的spark作业。然而，我需要读入一大堆avro文件。 path, "org.apache.avro.mapreduce.AvroKeyInputFormat",脚本中的所有内容，我尝试创建</

浏览 5提问于2015-04-21得票数 14

回答已采纳

3回答

星火Python* Avro Kafka Deserialiser*

python、apache-spark、apache-kafka、avro、spark-streaming

我已经在应用程序中创建了一个kafka流，并且可以解析任何通过它产生的文本。KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1}) reader = DataFileReader(open("customer.avro", "r"

浏览 4提问于2015-05-20得票数 4

3回答

星星之火:在没有com.databricks.spark.avro的情况下读取avro文件

apache-spark

我想在spark中读取avro文件，但不幸的是，我的公司中的集群没有com.databricks.spark.avro。spark.read.format("com.databricks.spark.avro").load("dirpath/*.avro") returns org.apache.spark.sql.AnalysisExceptionPlease find an Avro packag

浏览 1提问于2018-03-28得票数 3

回答已采纳

1回答

BigQuery - Apache Avro库无法解析标头，出现以下错误:数据文件无效。魔法不匹配

python、google-bigquery、avro

我是第一次摆弄avro文件。我得到了很多带有编码数据的csv文件，并对应该发送到BigQuery的数据进行了python处理。最后，我用csv数据得到了我在avsc中收到的模式节拍。现在我明白了，我需要在BigQuery中创建将接收此数据的表。我只是尝试创建一个空表并插入收到的模式，但失败了。我得到以下信息：“读取数据时出错，错误消息: Apache Avro库无法解析报头，出现以下错误:无效的数

浏览 2提问于2019-11-26得票数 0

1回答

如何从Synapse SQL* Serverless读取Azure事件集线器捕获的AVRO文件*

avro、azure-eventhub、azure-synapse、azure-data-lake-gen2、azure-eventhub-capture

我更喜欢拼花格式，但这是不可能的，因为只有DataLake V1支持拼花文件，而且在我的Azure区域也是不可接受的。既然我有了这样的AVRO文件，我想从Synapse读取它们而不移动它们，因为Synapse SQL Serverless可以很好地处理CSV、Json和Parquet文件。实际上，我的想法是创建一些CET表，这些表只是存储在存储帐户中的数据的包装器。但问题是，似乎Synapse无法读取这种A

浏览 25提问于2022-10-07得票数 0

1回答

PySpark无法从Pycharm读取本地Avro文件

apache-spark、pyspark

我有一个示例avro文件，并运行一个基本的spark应用程序来读取它： .builder \ .getOrCreate() .format("org.apache.spark.sql.avro.AvroFileFormat") \.load("avro-to

浏览 1提问于2021-11-03得票数 1

2回答

用数据库从Azure数据湖读取avro数据--由Azure EventHubs捕获生成的EventHubs失败

azure、pyspark、azure-eventhub、azure-databricks、azure-eventhub-capture

我正在尝试从Azure数据湖Gen1中读取avro数据，该数据是从Azure EventHubs生成的，Azure事件集线器捕获是在Azure数据库中启用的：rawData = spark.read.format("avro").load(inputdata)rawData.count()org.apache.spark.SparkExceptionfailure: Lost ta

浏览 3提问于2019-12-01得票数 1

回答已采纳

1回答

从Bigquery到Avro

google-bigquery、avro、python-bigquery

我现在运行一个SQL查询将公共BigQuery数据集中的数据提取到一个表中，在那里我可以很容易地使用导出功能来生成Avro文件并将其保存到GCS中。如何以编程方式生成此文件？我已经使用BQ API将表读取到Pandas Dataframe中，是不是读取到Pandas DF，然后将其导出到Avro的最佳选择？或者这是一种更好的方法。

浏览 20提问于2019-06-03得票数 0

回答已采纳

2回答

Spark Scala创建外部配置单元表不能将location作为变量使用

scala、apache-spark、hive、external

我正在尝试从Spark应用程序创建配置单元外部表，并将location作为变量传递给SQL命令。它不会创建Hive表，我也看不到任何错误。val location = "/home/data" hiveContext.sql(s"""CREATE EXTERNAL TABLE IF NOT EXISTS TestTable(id STRING

浏览 2提问于2016-06-20得票数 0

1回答

如何读取Druid-宁静(用于Superset)的数字卡夫卡频道？

json、apache-kafka、kafka-consumer-api、druid、superset

然后，我想用Airbnb可视化数据，它有几个连接到公共数据库的连接器，包括druid.io (它可以读取火花)。迪沃特似乎在以一种非结构化的方式用卡夫卡存储数据。然后，如何从德鲁伊-宁静中读取在迪沃特-数据卡夫卡频道接收的数据？我尝试在conf示例中更改通道名，但是这个使用者随后收到零消息。

浏览 2提问于2017-05-15得票数 0

回答已采纳

点击加载更多