StreamingFileSink的用法是抛出NoClassDefFoundError

文章/答案/技术大牛

发布

2回答

java、hadoop-yarn、apache-flink、amazon-emr

我知道这可能是我的问题，但试着解决一段时间。我正在尝试在AWS EMR群集中运行flink。我的设置是:来自Kinesis的时序事件-> flink作业->将其保存到S3 DataStream<Event> kinesis = StreamingFileSink.rw-r--r--

浏览 20提问于2019-05-06得票数 1

1回答

Flink StreamingFileSink到S3的flink-s3-fs-hadoop令牌过期异常

java、amazon-s3、apache-kafka、apache-flink

管道工作一个小时，但一个小时后(与AWS的令牌到期设置相同)，抛出一个(来自StreamingFileSink)： Caused by: com.amazonaws.services.s3.model.AmazonS3Exception我使用的是AWSCredentialsProvider实现，它实现了getCredentials，每15分钟刷新一次令牌，其中包含一个新解析的来自aws的秘密。我的假设是，问题在于我如何在工作本身初始化

浏览 11提问于2022-09-23得票数 0

回答已采纳

1回答

Flink迁移: BucketingSink[T]到StreamingFileSink[T]

java、scala、apache-flink

我有最古老的版本Flink，并希望更新到最新的稳定版本。BucketingSink在最新版本中被降级，我试图用StreamingFileSink来更改它。要插入它，我使用StreamingFileSink.forBulkFormat，但是有错误：另外，我也找不到如何设置bucketer:DateTimeBucketer[T], inactiveBucketThreshold

浏览 5提问于2020-10-28得票数 1

回答已采纳

2回答

NoClassDefFoundError是如何抛出的

java、eclipse、classpath、noclassdeffounderror

我在eclipse中构建了一个名为"com.hello“的包，并编写了一个简单的HelloWorld程序。Eclipse自动将"package com.hello;“添加到我的程序之上。但是，当我进入目录"F:\workspace\helloWorld\bin\com\hello“并使用带有"java HelloWorld”的命令行时，我得到了NoClassDefFoundError。

浏览 1提问于2012-10-16得票数 0

回答已采纳

2回答

捕获通过外壳脚本调用的程序抛出的java NoClassDefFoundError

java、shell、unix

我有一个java程序，它是Jasper报告的编译器和执行器，并通过我们的报告服务器上的shell脚本调用。我刚刚修复了一个由丢失的依赖项引起的bug，但我花了一段时间才弄清楚哪里出了问题。通常，由编译过程引起的问题会被捕获，记录到日志文件中，并通过电子邮件发送给相关人员。由于这是一个NoClassDefFoundError，它基本上退出了程序，并以一种静默的方式从用户的角度失败。有没有办法让我捕获像这样的错误，这样

浏览 3提问于2012-05-15得票数 0

1回答

如何在Apache Flink中将状态流集合并为独立文件

apache-flink

我正在编写一个Flink作业，它在分区窗口中累积了一段时间的数据&应该将其存储到某个目录下具有特定名称的文件中。有许多数据被推送到这个主题中，作业分区的位置是“type”，并将它们写入到一个文件中。我试过StreamingFileSink，但似乎不起作用，还有其他内置的api吗？

浏览 28提问于2020-02-02得票数 0

1回答

当存在StreamingFileSink时，为什么需要BucketingSink？

apache-flink、flink-streaming

我发现可以完成所能做的所有事情，例如向本地文件、NAS或HDFS文件写入事件(最初我以为BucketingSink只可以将事件写入HDFS，不能写入NAS或本地文件)，但是StreamingFileSink没有提供BucketingSink提供的一些函数，例如StreamingFileSink不能设置文件的前缀和后缀，但是BucketingSink可以这样做，那么，当存在BucketingSink时，为什么需要StreamingFileSink？

浏览 0提问于2018-10-16得票数 0

回答已采纳

1回答

将json数据从kafka写入s3，格式为parquet

amazon-s3、apache-kafka、apache-flink、flink-streaming

我正在写一个流应用程序(Flink，Kafka，S3)，它把数据放在Kafka上的JSON格式，我需要写数据到S3的Parquet格式。我搜索了很多地方，读了很多关于stackoverflow的问题，但我没有得到一个明确的答案，那就是如果我想把拼图写到s3中，是不是必须在flink中读取AVRO格式的数据？

浏览 47提问于2020-02-25得票数 0

3回答

Tomcat 6- NoClassDefFoundError隐藏静态初始化器中的错误

java、tomcat、exception-handling

在静态初始化器中抛出一个Error。at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12) java.lang.T

浏览 7提问于2013-11-15得票数 0

回答已采纳

1回答

NoClassDefFoundError总是有ClassNotFoundException造成的吗？

java、classloader、stack-trace、noclassdeffounderror、classnotfoundexception

我是否可以假设从JDK类加载机制抛出的每个NoClassDefFoundError都会在堆栈跟踪中将ClassNotFoundException作为一个原因？另外，在何处抛出实际的NoClassDefFoundError并将其原因初始化为ClassNotFoundException？我无法找到负责这个逻辑的Java代码。在我看来，这就是通常堆叠的痕迹： Exception in thread "main" java.lang.<em

浏览 2提问于2018-04-24得票数 0

回答已采纳

1回答

Flink StreamingFileSink RowFormatBuilder withBucketAssigner返回吗？

scala、apache-flink

我的flink版本是1.10.0，scala版本是2.11 .forRowFormat(new Path("s3a://123

浏览 6提问于2020-03-19得票数 1

回答已采纳

1回答

插件系统中的java.lang.NoClassDefFoundError

java、exception、plugins、classloader、noclassdeffounderror

我将它们从文件夹中加载出来，并让ClassLoader遍历所有文件，以查看它们是否具有我的软件的超类然后我得到了这个异常： java.lang.NoClassDefFoundError: me/mnjg123:1.8.0_242] 这是我的ClassLoader： public List<Feature> loadFeatures() throws FeatureExeption {e.printStackTrace(); return fea

浏览 18提问于2020-04-10得票数 0

2回答

java:编译后不能运行程序吗？帮帮我

java、noclassdeffounderror、awtrobot

我刚刚下载了一个java程序TableDrivenVaccumAgent.java，当我搜索一些机器人类的例子时，我已经在路径C:\Program Files\Java\jdk1.7.0_25\jre\lib\ext中包含了必要的jars，但在它成功编译后我得到了错误。要解决以下错误，我还需要做些什么： Exception in thread "main" java.lang.NoClassDefFoundError: TableDrivenVacuumAgent (java.lang.ClassLoader.loadC

浏览 1提问于2013-07-23得票数 0

回答已采纳

2回答

在jenkins上进行测试，但在本地运行

linux、jenkins、maven-surefire-plugin

我们犯了一个很奇怪的错误。我们的测试在本地机器(windows)中运行，而不在jenkins (linux)上运行。我们得到一个java.lang.NoClassDefFoundError我定义了两个配置文件，它们使用了本节中的surefire plugin和尽力而为的插件定义。

浏览 3提问于2015-01-27得票数 0

回答已采纳

1回答

为什么在使用Spark和Stanford运行java代码时会出现此异常？

java、apache-spark、apache-spark-sql、stanford-nlp

这是我的代码：{ ... 14 more Caused by: java.lang.NoClassDefFoundError

浏览 3提问于2017-02-22得票数 0

回答已采纳

2回答

如果从远程调用中传播错误，如何让Spring致命地退出？

java、spring、exception、rmi

我有一个应用程序，它通过Spring的RMI代理机制公开一个服务。存在这样一个问题:有时文件服务器上的“点”(它的JAR存储在上面)会导致调用将一个NoClassDefFoundError传播回调用方。到目前为止还算公平。问题是，如果发生这种情况，我希望我的应用程序崩溃--也就是说，如果一个Error将被传播回调用方。请注意，我在应用程序中已经有了一个UncaughtExceptionHandler，并且没有调用它(因为异常并不是真正的秘密)。

浏览 3提问于2010-08-27得票数 1

回答已采纳

1回答

Flink:在使用StreamingFileSink时设置ACL

amazon-s3、apache-flink、amazon-emr、flink-streaming

我正在尝试将我的Flink作业(运行在EMR上的版本1.8)从使用BucketingSink转换到更新的StreamingFileSink。 </property> 我还使用s3a:/&

浏览 6提问于2020-02-24得票数 2

回答已采纳

2回答

Weblogic类加载

java、server、weblogic、classloader

我们在类装载方面有一个很大的问题。NOTE1:weblogic.rmi.internal.StubGenerator.getStubClass(StubGenerator.java:821)我在服务器上查找了包含weblogic.rmi.internal.StubGenerator的所有jars。我猜想可能有一个奇怪的jar版本在wlthint3client.jar之前加载，并且是在中间件或其他什么地

浏览 6提问于2018-05-31得票数 4

回答已采纳

1回答