Maven从从属jar导入avro定义

文章/答案/技术大牛

发布

2回答

maven、avro、avro-tools

我有两个使用avro- maven -plugin生成代码的maven项目。我面临的问题是，其中一个项目有一个avro对象，它使用了对第二个maven项目中另一个avro对象的引用。尽管我将第二个项目生成的jar作为maven依赖项包含在内，但我无法找到为第二个项目生成代码的方法。从本质上看，我的第二个项目有一个avro定义，如下所示 { "namespace": "

浏览 42提问于2019-12-05得票数 1

回答已采纳

6回答

是否可以将Apache Avro架构拆分到多个文件中？

avro

name": "bar", "type": "Bar"}} "type": "record", "fields": [ ]Avro

浏览 2提问于2014-02-04得票数 31

1回答

HDFS中Avro模式的生成

hadoop、apache-spark、avro、spark-avro

我有一个场景，我在HDFS.And中有一些avro文件集，我需要在HDFS.I中为这些Avro数据文件生成AVRO模式文件。我尝试使用Spark ()进行研究。除了将AVRO数据文件带到本地并执行HDFS PUT之外，还有其他方法吗？任何建议都是welcomed.Thanks！

浏览 0提问于2016-10-14得票数 0

1回答

除了一个胖jar之外，所有东西都会在停靠的flink集群中失败。

apache-flink、flink-streaming

当我试图从IDE进行远程连接时，也会发生同样的失败；不用说，每次都要打包一个胖jar，这会带来糟糕的开发体验。/maven2/org/apache/flink/flink-connector-kafka_2.12/1.7.2/flink-connector-kafka_2.12-1.7.2.jar /opt/flink/lib/ ADD http://central.maven

浏览 0提问于2019-04-12得票数 1

回答已采纳

1回答

Apache avro代码生成POJO

java、serialization、deserialization、avro、pojo

我希望根据我的Java项目中先前定义的模式文件自动创建类。为此，我使用了Avro插件。问题是生成的类不是纯POJO对象--数据模型中也有我不想要的avro引用(希望保持简单)：import org.apache.avro.Schema.Parser;import org.apache.avro.io.DatumReade

浏览 6提问于2017-03-14得票数 3

回答已采纳

1回答

AWS glue spark提交使用Spark avro

amazon-web-services、apache-spark、pyspark、aws-glue、aws-glue-spark

我正在使用支持Spark 2.4.3的Glue version 1，并想使用Spark avro来读取一些avro文件

浏览 7提问于2020-07-14得票数 0

回答已采纳

1回答

Kafka:使用架构注册表序列化Avro消息时出错

scala、apache-kafka、avro

我正在尝试将我的自定义类型的ProducerRecord发送给Kafka，但是我得到了错误：Caused by: java.lang.IllegalArgumentException: Unsupported Avro type

浏览 9提问于2018-01-21得票数 1

回答已采纳

2回答

Apache Avro maven插件似乎忽略了配置

maven、avro、avro-tools

我正在使用apache avro maven插件，目的是从avsc生成java。我在m1 mac上运行这个程序(尽管我在网上没有看到任何关于这是一个问题的东西)。问题似乎是我的配置没有被提取。Failed to execute goal org.apache.avro:avro-maven-plugin:1.10.2:schema (default-cli) on project falc-proxy: neither sourceDirectory: /Users/

浏览 161提问于2021-07-24得票数 0

1回答

同一个类上的ClassCastException从kafka流和Avro反序列化

java、apache-kafka、avro、apache-kafka-streams

我用avro-maven-plugin从Avro模式生成了Avro Java类。我将avro类序列化为一个字节数组，并将其写入kafka主题。然后我有一个kafka流，它试图操纵avro数据来做一些事情。在反序列化过程中，我从同一个类获得一个ClassCastExcetion。我读到这个问题是由于Avro在回退时使用的一个不同的ClassLoader (ClassLoader的一个新实例)而产生的。有一种方法可以强制Avro<

浏览 1提问于2019-07-04得票数 4

回答已采纳

1回答

使用来自不同包的Avro模式

java、maven、avro

我们在一个大型Java项目中使用Avro作为序列化引擎。<build> <plugin> <artifactId>avro-maven-plu

浏览 2提问于2015-01-01得票数 3

2回答

如何在另一个模式中引用一个avro模式

avro、avsc

Address", { "type": "Student" ]当我使用Gradle与Avro

浏览 8提问于2019-11-27得票数 5

1回答

由: java.util.concurrent.ConcurrentHashMap.computeIfAbsent(ConcurrentHashMap.java:1760)上的递归更新:java.lang.IllegalStateException引起

java、apache-kafka、avro、confluent-platform

我正在学习Apache和来自的合流Kafka教程，并尝试从主题中读取avro流，并根据特定的条件将数据发送到不同的主题。" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0</maven.compiler.source&

浏览 11提问于2022-11-01得票数 0

1回答

错误:无法访问jarfile avro-tools-1.7.6-cdh5.3.0.jar

cloudera、avro、getschema

我试图从sqoop中导入的数据导入到蜂箱中。下面是当我试图执行以下命令时试图执行这些命令的链接我已经使用cloudera模板安装了virtualbo

浏览 3提问于2015-07-15得票数 0

回答已采纳

4回答

由于AbstractMethodError，spark scala avro写入失败

scala、apache-spark

我正在尝试从avro读取数据，按字段重新划分数据并将其保存为avro格式。下面是我的示例代码。在调试过程中，我不能在我的数据帧上显示(10)。它会失败，并显示以下错误。代码：df

浏览 40提问于2019-11-27得票数 0

2回答

如何在模式生成期间修复"org.apache.velocity.exception.ResourceNotFoundException“

java、maven、avro

我正在尝试将avro maven插件集成到我的应用程序中。由于Avro的限制，我被迫使用自定义模板。当我将这个插件包含到构建中时，它会失败(在windows上，而不是unix上)，并出现异常： [ERROR] Failed to execute goal org.apache.avro:avro-maven-plugin:1.9.1:schema (schemas) on project cloud-poc: Execution schemas of goal org.

浏览 156提问于2019-09-24得票数 0

回答已采纳

2回答

如何处理Maven* POM中的第三方JAR和远程存储库？*

java、maven、docker、confluent-platform

我使用的是一个Maven依赖项，它需要设置一个远程存储库。在同一个项目中，我使用自定义构建的JAR，并尝试将其作为依赖项添加。问题是，我收到错误，说Maven无法在远程存储库中找到我的自定义JAR。在POM中，我有多个依赖项，包括自定义构建的依赖项和需要远程存储库的依赖项(合流)。我已经尝试将我的自定义依赖放在POM中的第一位，但这并没有帮助。我试着从POM中移除存储库，并且我没有得到关于我的自定义构建依赖项的错误，

浏览 0提问于2019-07-25得票数 1

回答已采纳

1回答

将罐子添加到阴影罐中的控制顺序

maven、maven-3、maven-shade-plugin、uberjar、fatjar

我发现Maven按以下顺序处理jars： [INFO] --- maven-shade-plugin:2.1:shade (default我的阴影插件片段： <groupId>org.apache.maven</em

浏览 1提问于2018-06-16得票数 1

2回答

无法解析org.apache.hadoop的依赖项:hadoop-aws:2.7.6

java、apache-spark、amazon-s3、dependencies

当我输入下面的命令让我的java从amazon s3读取csv文件时

浏览 199提问于2020-05-26得票数 0

1回答

无法从avro架构文件生成源代码

maven、avro

我遇到的问题是:我无法在Eclipse中使用maven从avro schema生成源代码(安装了M2E的霓虹灯版本)。:2.5:clean (default-clean) @ maven-avro10 --- <name>maven<

浏览 0提问于2018-02-19得票数 1

1回答

无法在任何公共maven存储库中找到Databricks sql avro阴影jars

apache-spark、databricks、avro、confluent-schema-registry

但是当我们在构建时使用从下载的同一个库，它只有两个重载的to_avro方法。Scala => 2.12 不幸的是，我们没有一个可共享的jar支持DBR中的功能。由于用例是自动创建Jar文件，然后将其作为Databricks中的jar提交，我们应该能够创建一个jar存根(dbr-avro-dummy.jar)，并

浏览 4提问于2022-02-10得票数 2

回答已采纳

点击加载更多