我在python中使用spark-streaming 2.2.0。从kafka(2.11-0.10.0.0)集群读取数据。我提交了一个python脚本spark - spark-streaming-kafka-0-8-assembly_2.11-2.2.0.jar --jars hodor.py the spark report a error message
17/08/04 10:52:00 ERROR Utils: Uncaught exception in thread stdout
writer for python
java.lang.NoSuchMethodError: ne
浏览 0提问于2017-08-04得票数 6
6回答
在用Java编写实用程序类时，需要遵循哪些好的指导方针？
包装是“用”还是“用”？是ClassUtil还是ClassUtils？什么时候类是“帮助者”或“实用程序”？公用设施还是公用设施？或者你用的是它们的混合物？
标准Java库同时使用Utils和U实用程序：
javax.swing.Utilities
javax.print.attribute.AttributeSetUtilities
javax.swing.plaf.basic.BasicGraphicsUtils
Apache使用各种Util和Utils，但主要是Utils：
org.apache.commo
浏览 12提问于2010-04-20得票数 137
回答已采纳
当我试图从Mongo DB中读取数据时，我面临着问题。
我有Spark 1.6.3，它有Scala 2.10.5
我使用的是Mongo DB Connector版本1.1和package 2.10
以下是我在Mavan中使用的依赖项
<dependency>
<groupId>org.mongodb.spark</groupId>
<artifactId>mongo-spark-connector_2.10</artifactId>
<version>1.1.0</version>
</depen
浏览 0提问于2020-06-18得票数 0
如何确定如何调用类XHelper或XUtils？
在我看来：
帮助器类，是一个可以实例化并执行一些业务工作的类
Apache类，是一个在一种实例上执行小而重复操作的静态类(例如中的utils类ArrayUtils或IOUtils )
浏览 55提问于2012-08-30得票数 137
回答已采纳
Apache Ignite示例中写出的以下bean是否需要特定的sbt依赖项： <bean id="cassandraAdminCredentials" class="org.apache.ignite.tests.utils.CassandraAdminCredentials"/> <bean id="cassandraRegularCredentials" class="org.apache.ignite.tests.utils.CassandraRegularCredentials"/> 或
浏览 5提问于2019-01-16得票数 0
回答已采纳
我试图将用Java编写的Spark代码公开为Weblogic上的REST服务。但是，在尝试初始化星火上下文时，代码会从InvocationTargetException包中抛出org.apache.hadoop.security。
以下是我所使用的步骤：
训练了一个星火CrossValidator朴素贝叶斯模型，并坚持它的拼花文件格式。(一次活动)
在中，我的Java源文件有一个方法，它加载模型并使用它来预测原始文本输入的类标签--当从main()方法调用时，这个输入是独立工作的
第二个Java类作为REST服务公开，并与JAX-RS泽西2.x库(随JDeveloper 12.2.
浏览 3提问于2016-09-26得票数 0
我试图运行一个tomcat应用程序，但是当我尝试访问应用程序时，我得到：
java.lang.NoClassDefFoundError:无法初始化类ysl.util.Utils ysl.util.Utils.executeQuery(Utils.java:186)
ysl.util.Utils.getProperty(Utils.java:395)
ysl.util.Utils.getProperty(Utils.java:383)
ysl.util.YslMachineProperties.init(YslMachineProperties.java:76)
ysl.util.YslMac
浏览 0提问于2011-11-14得票数 1
我要在配置为单个本地群集的计算机上部署Storm拓扑。我已经将conf/storm.yaml配置为使用storm.scheduler: "org.apache.storm.scheduler.resource.ResourceAwareScheduler"。拓扑部署成功。但是，我从Sigar库收到一个错误，指出无法获取进程ID以在我的拓扑上使用CPUMetric。下面是我用来获取指标的拓扑配置： config.registerMetricsConsumer(LoggingMetricsConsumer.class);
Map<String, String> wor
浏览 25提问于2019-03-13得票数 0
回答已采纳
1回答
在使用熊猫1.1.5和py箭头2.0.0运行pyspark3时，会出现以下错误：
火花代码：
import pyarrow
import pandas as pd
df = pd.DataFrame({'col1' : [1,2,3], 'col2': [4,5,6]})
df_sp = spark.createDataFrame(df)
df_sp.cache().count()
schema = df_sp.schema
def dummy_udf(data):
return data
res = df_sp.groupby('co
浏览 13提问于2021-09-18得票数 2
我正在IntelliJ中工作，并得到以下错误：
Error:(118, 13) not found: value Utils
Utils.parseCommandLineWithTwitterCredentials(args)
^
是代码试图引用的。
如果我将这段代码直接放入我的主程序中，错误就会解决。
这是我的build.sbt文件：
name := "TwtrStream"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies +=
浏览 2提问于2015-11-17得票数 0
回答已采纳
1回答
我正在使用WSO2 EI ver 6.6.0，我开发了一个中介，它负责签名SOAP信封。
我使用的代码在Java上正确地工作，并且我已经测试过它。但是当我编译它并将它部署到WSO2 EI上时，它就不能工作了。
代码已从代码的这一部分抛出。
private static Document sign(Document doc, String Reference) throws Exception {
DOMSignContext dsc = null;
String providerName = System.getProperty("jsr105Provider"
浏览 14提问于2022-10-27得票数 3
1回答
我正在尝试调试非常简单的拓扑(1口1螺栓)
public class JoinerTopologyTest {
public static void main(String[] args) throws IOException {
Config conf = new Config();
conf.setNumWorkers(5);
conf.setDebug(true);
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("SPOUT-1",new My
浏览 1提问于2016-07-14得票数 2
回答已采纳
当我使用git命令时，我会得到以下错误--但是，当我在Intellij中运行测试时，一切正常，测试就开始了。你能帮忙吗？
mvn测试-Dcucumber.filter.tags=“@桌面”
java.lang.IllegalArgumentException: Input must be set
at org.openqa.selenium.internal.Require.nonNull(Require.java:59)
at org.openqa.selenium.support.ui.FluentWait.(FluentWait.java:97)
浏览 0提问于2023-05-03得票数 0
我试图(使用Pycharm)在python中使用自包含的sparks应用程序执行一些。
我使用以下方法安装了火花放电：
pip install pyspark
根据示例的web，应该只需使用以下方法来执行：
python nameofthefile.py
但我有个错误：
Exception in thread "main" java.lang.ExceptionInInitializerError
at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80)
at org.a
浏览 1提问于2019-01-23得票数 5
回答已采纳
我正在尝试实现一个基本的1喷口-1螺栓风暴拓扑。我有一个Storm来使用Apache (4.3.1)发出HttpClient请求。但是，当我运行它时会得到以下异常：
[main] ERROR org.apache.zookeeper.server.NIOServerCnxn - Thread Thread[main,5,main] died
java.lang.RuntimeException: java.io.NotSerializableException: org.apache.http.impl.client.InternalHttpClient
at backtype.st
浏览 2提问于2013-12-03得票数 3
回答已采纳
我安装HDFS，纱线通过Ambari，并试图在纱线上部署火花。
但是当我执行以下脚本时，火花有错误
如何在纱线上部署火花。你能解释一下如何一步一步地在纱线上部署火花吗？
我将HADOOP_CONF_DIR、YARN_CONF_DIR设置为spark-env.sh，而spark.master设置为spark-defaults.conf。
执行脚本
./bin/spark-shell --master yarn-client
误差
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeExce
浏览 3提问于2016-02-19得票数 0
回答已采纳
我试图在google集群上运行一个Spark作业，但是得到以下错误：
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: class org.apache.hadoop.security.JniBasedUnixGroupsMapping not org.apache.hadoop.security.GroupMappingServiceProvider
at org.apache.hadoop.conf.Configuration.getClass(Con
浏览 10提问于2017-12-21得票数 5
回答已采纳
1回答
我是grep的新手，我有一个软件包列表，我只需要显示某些结果。
以下是一个包裹列表：
apache2/oldoldstable,oldoldstable,now 2.4.25-3+deb9u12 amd64 [installed]
apache2-bin/oldoldstable,oldoldstable,now 2.4.25-3+deb9u12 amd64 [installed,automatic]
apache2-data/oldoldstable,oldoldstable,now 2.4.25-3+deb9u12 all [installed,automatic]
apache2-dbg
浏览 0提问于2022-02-15得票数 0
回答已采纳
我已经将大量数据插入到两个节点cassandra服务器中。两天后，我发现服务器出现了这个错误，我猜不出问题所在
FSReadError in /var/lib/cassandra/data/system/hints/system-hints-jb-1090-Data.db
at org.apache.cassandra.io.compress.CompressedRandomAccessReader.reBuffer(CompressedRandomAccessReader.java:95)
at org.apache.cassandra.io.util.Ran
浏览 3提问于2013-10-03得票数 0
回答已采纳
1回答
Java -日志显示错误的时区
、、、、
在server.log文件中打印的日志记录具有正确的时间和时区，如下所示
####<14-ago-2017 18H03' CLST> <Info> <JDBC>
但是，在server.out文件中打印的日志记录并不反映CLST时区数据，即-0300，但仍然反映-0400的夏时制时间。
**** Error lun ago 14 17:03:35 -04:00 2017 1502744855586
尝试使用以下步骤进行调试：
部署的web应用程序(ATG )通过atg.nucleus.logging.ApplicationLogging和a
浏览 4提问于2017-08-15得票数 0
1回答
我正在尝试将我的hive客户端连接到hiveserver2。我正在使用下面的maven
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-service</artifactId>
<version>1.2.1000.2.4.2.12-1</version>
</dependency>
hiveserver2.start() started my hiveserver2.
但是，当我用以下代码启动jdbc客户
浏览 3提问于2017-03-31得票数 1
回答已采纳
我正在尝试为流媒体应用程序启动Storm ui，但我不断收到此错误： org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [localhost]. Did you specify a valid list of nimbus hosts for config nimbus.seeds?
at org.apache.storm.utils.NimbusClient.getConfiguredClientAs(NimbusClient.java
浏览 53提问于2020-01-26得票数 0
我用Spark从MapR DB读取一张表。但是时间戳列被推断为InvalidType。在从Mapr读取数据时，也没有设置模式的选项。
root
|-- Name: string (nullable = true)
|-- dt: struct (nullable = true)
| |-- InvalidType: string (nullable = true)
我试图将该列转换为时间戳，但得到了以下异常。
val df = spark.loadFromMapRDB("path")
df.withColumn("dt1", $"dt
浏览 1提问于2018-11-28得票数 0
回答已采纳
1回答
我可以用本地集群运行storm Kafka，但不能用storm Submitter运行下面是我的拓扑代码
有人能帮我解决这个问题吗:)
package com.org.kafka;
import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.generated.AlreadyAliveException;
import org.apache.storm.generated.AuthorizationException;
import org.apache.storm
浏览 6提问于2018-01-24得票数 0
所以我创造了一个简单的游戏，这个游戏在不久以前就开始工作了。但是最近，当我试图在任何浏览器中运行它时，它只是给了我一个NullPointerException。线程堆栈如下：
cache: Initialize resource manager: com.sun.deploy.cache.ResourceProviderImpl@18a270a
security: property package.access value sun.,com.sun.xml.internal.,com.sun.imageio.,com.sun.istack.internal.,com.sun.jmx.,com.
浏览 3提问于2013-09-10得票数 0
回答已采纳
我写到一个webhdfs路径，由Kerberos保护，来自Spark。它的一部分实际上是工作的，但当将拼花文件写入(web)hdfs位置时，它会崩溃。
身份验证和授权工作以及脚本创建了存储partquet文件所需的路径结构，但是当实际写入开始时，OutputStreams开始失败。
星火配置看起来像这样(我让它更详细了一点)：
val hadoopConfig = new Configuration()
hadoopConfig.set(FS_DEFAULT_NAME_KEY, "webhdfs://hadoop-host:14000/webhdfs/v1")
ha
浏览 2提问于2018-06-11得票数 1
回答已采纳
3回答
我写了自定义分区程序，两个类在同一个项目中，但不确定为什么我得到下面的error.Please帮助我在this.Below程序是一个卡夫卡生产者program.When我运行的程序，我得到了错误的SensorPartitioner类找不到。
错误：
Exception in thread "main" org.apache.kafka.common.config.ConfigException: Invalid value SensorPartitioner for configuration partitioner.class: Class SensorPartitioner
浏览 0提问于2017-03-05得票数 0
我正在通过code调试一些递归代码，它只显示了最后10个调用，所以我不知道代码的路径是什么。Xdebug被设置为显示尽可能多的信息，所以，我不认为是这样的。
我还没有找到任何配置选项来增加CoL.3输出中显示的堆栈跟踪级别的数量。
我怎样才能增加calls输出中的呼叫数量？
截断错误消息：
There was 1 error:
---------
1) Hl7MessageHeaderSegmentWriterTest: Should build a message header segment
Test tests\unit\HMRX\CoreBundle\Utils\Hl7Write
浏览 1提问于2018-03-16得票数 2
回答已采纳
每当我在Eclipse.Can中部署Liferay portlet的war文件时，都会出现下面的错误。有人能告诉我为什么会发生这种情况以及如何解决吗？ java.lang.LinkageError: loader constraint violation: when resolving overridden method "com.liferay.portal.spring.extender.internal.context.ModuleBeanFactoryPostProcessor.postProcessBeanFactory(Lorg/springframework/beans
浏览 103提问于2020-08-21得票数 0
我想在.jar 8.0.2中构建NetBean。
我开发了一个基于javafx应用程序的小项目。
我的项目使用包，如com.sun.org.apache.xml.internal.security、com.sun.org.apache.xml.internal.security.c14n和com.sun.org.apache.xml.internal.security.utils。
我的项目在Netbean上运行良好，没有警告或错误。但是，当我将此项目构建为jar文件时，会发生以下错误：
**error: package com.sun.org.apache.xml.internal.secu
浏览 13提问于2015-06-18得票数 7
回答已采纳
1回答
也许这不是一个编程问题，但我想澄清一下
org.apache.commons.codec.binary.Base64和com.sun.org.apache.xml.internal.security.utils.Base64有什么区别吗？
我的一些J2EE应用程序类正在使用org.apache.commons.codec.binary.Base64，另一些正在使用com.sun.org.apache.xml.internal.security.utils.Base64。
我想换成org.apache.commons.codec.binary.Base64，因为它很稳定。
我的应用程序已经运行得
浏览 0提问于2011-12-03得票数 2
回答已采纳
我的包模型是，在EAR中有两个war文件，所有常见的jars文件都放在EAR/lib目录中。
我正在使用apache fop jar将一些输出打印为PDF格式。现在，当我尝试打印输出时，我得到以下异常
`
]] Root cause of ServletException.
java.lang.NoClassDefFoundError: org/apache/log4j/Category
at org.apache.avalon.framework.logger.Log4JLogger.info(Log4JLogger.java:73)
at
浏览 0提问于2013-07-02得票数 1
回答已采纳
我正在处理卡桑德拉服务器崩溃的问题。根据卡桑德拉log1的说法，问题可能是Apache中的OutOfMemory。我认为我们必须调整卡桑德拉参数来解决这个问题。还有别的办法来解决这个问题吗？如何调优Cassandra参数以获得最佳的内存使用量？
日志
信息16:32:17,353 QpidKeySpace.NodeQueues 0,0警告16:32:17,353堆满0.9997729675985393。您可能需要减少memtable和/或缓存大小。卡桑德拉现在将刷新两个最大的记忆，以释放内存。如果不希望Cassandra自动警告16:32:17,353刷新CFS(Keyspace='
浏览 1提问于2013-12-19得票数 2
1回答
我创建了一个Axis2客户端来测试我的axis2 test服务。但是，我在运行时收到以下错误：
org.apache.axis2.AxisFault: java.lang.NoClassDefFoundError: Could not initialize
class com.sample.LoginRequestDocument
at org.apache.axis2.util.Utils.getInboundFaultFromMessageContext(Utils.j
ava:517)
at org.apache.axis2.description.Ou
浏览 0提问于2009-08-10得票数 0
回答已采纳
1回答
我试图使用tweepy库接收tweet对象，使用Apache和Apache，我尝试将json tweet对象流并转换为结构化格式，而不是将其插入cassandra db。
我的数据管道如下；
我有两个.py文件
kafka_tweet_producer.py
被写成接收被期望的标签过滤的tweet对象，并与Kafka一起流。
twitter_structured_stream_spark_kafka_cassandra.py
编写以创建火花会话，从kafka读取，将json转换为结构化格式，最后将这些数据插入Cassandra db。
我用自己的名字过滤了推特
浏览 6提问于2021-03-02得票数 2
回答已采纳
在我将Android更新为2.3版本之后，当我进行项目时，我得到了以下错误
/Users/xxx/Work/yyy/build.xml:96: taskdef类com.android.ant.GetUiTargetTask所需的类无法找到: com/android/utils/ILogger，使用类加载器com.android.ant.GetUiTargetTaskUsers/xxx/Library/Android/sdk/tools/lib/commons-compress-1.8.1.jar:/Users/xxx/Library/Android/sdk/tools/lib/httpcli
浏览 11提问于2017-03-03得票数 1
我使用Hibernate作为我的webservice的ORM。
当我试图通过web服务访问数据时，会出现以下错误。
org.apache.axis2.AxisFault: Mapping qname not fond for the package: org.joda.time.chrono
java.lang.RuntimeException: org.apache.axis2.AxisFault: Mapping qname not fond for the package: org.joda.time.chrono
at org.apache.axis2.databinding.
浏览 2提问于2015-10-05得票数 0
我正在开发一个NiFi处理器，并想用JUnit测试它，但是处理器的一个属性是ControllerService，它是DBCPConnectionPool，但是我不知道如何将这个服务添加到JUnit测试中？
我尝试新建DBCPConnectionPool()，但没有这样命名的对象，尽管我已经将所有依赖项添加到我的pom文件中，如下所示：
<dependency>
<groupId>org.apache.nifi</groupId>
<artifactId>nifi-dbcp-service
浏览 34提问于2019-08-02得票数 1
2回答
我正在执行一个实现Drools的基本程序，程序在应用程序配置上运行，但是当我试图运行JAR时，我会遇到一个错误。
我在终端上遇到的错误：
`Suhita-MacBookPro:Drool-CreditScore-Sample sgoswami$ spark-submit --class main.scala.suhita.Sample --master local[*] target/DroolsMaven-1.0-SNAPSHOT.jar
java.lang.ClassNotFoundException: main.scala.suhita.Sample
at java.n
浏览 0提问于2018-03-08得票数 0
1回答
我已经编写了一些and服务，其中一些返回一个简单的字符串(这个可以用)，另一些返回一个对象列表。不，axis2 (1.5.1)无法处理集合类型，因此我将返回类型更改为Object[]，但仍收到此异常
[ERROR] java.lang.RuntimeException: org.apache.axis2.AxisFault: Mapping qname not fond for the package: de.ac.dto
org.apache.axis2.AxisFault: java.lang.RuntimeException: org.apache.axis2.AxisFault: Ma
浏览 1提问于2010-06-18得票数 0
回答已采纳
我的spark-defaults.conf：
#a package I need everytime
spark.jars.packages org.influxdb:influxdb-java:2.14
当我启动一个作业时：
spark-shell --master yarn --num-executors 6 --packages "a random package that I need only for this job specifically"
我得到了这个错误：
java.lang.NoClassDefFoundError: org/influxdb/Influ
浏览 0提问于2019-11-18得票数 0
我正在尝试安装j-text-utils来制作一个表。当我单击jar文件时，什么也没有发生。所以我试着创建一个.bat文件，并从cmd运行该文件。但是，结果显示:在j-text-utils-0.3.3.jar中没有主清单属性 我四处寻找，发现问题主要出在pom.xml和MANIFEST.MF上，我在Eclipse中拖拽了这个文件，发现里面既有pom.xml也有MANIFEST.MF，下面是pom.xml的样子： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.o
浏览 41提问于2019-06-21得票数 0
回答已采纳
基于我以前的，我仍然试图找出我的代码的问题所在。
我有一个最基本的主题:键和值是Long的一种类型，这是我的生产者代码：
public class DemoProducer {
public static void main(String... args) {
Producer<Long, Long> producer = new KafkaProducer<>(createProperties());
LongStream.range(1, 100)
.forEach(
i ->
浏览 0提问于2017-09-22得票数 4
回答已采纳
我正在使用Puppet (2.7.19版)和Vagrant一起为项目设置一个开发框。对于我需要的所有依赖项，我都有Puppet类，但是对于Vagrant，我需要先运行apt-get更新。我将这个逻辑封装在一个名为“流浪者：：引导”的类中。
因为我希望将我的其他类尽可能地保持为"box中性“，所以我在site.pp中编写了以下节点定义，以便我的Vagrant特定需求不会污染其他机器的配置。
node default {
require vagrant::bootstrap
include base, puppet::agent, php::php54, apache2
}
cl
浏览 0提问于2013-02-23得票数 1
回答已采纳
错误：
INFO [org.apache.cxf.wsdl.service.factory.ReflectionServiceFactoryBean] (http-0.0.0.0-8080-8) Creating Service {http://schemas.microsoft.com/sharepoint/soap/}CopySoapService from class com.microsoft.schemas.sharepoint.soap.CopySoap
java.lang.NullPointerException
at org.apache.cxf.jaxb.Utils.get
浏览 3提问于2015-02-24得票数 4
回答已采纳
我们使用Spring和Apache cxf。
对于下面的示例代码，我得到了一个异常。这让我想知道:我是否可以在同一个方法签名中使用两个BeanParam注释/beans？
import javax.ws.rs.BeanParam;
//...
@GET
@Produces({"application/json;charset=UTF-8"})
public Response doFoo(
@BeanParam Bar bar,
@BeanParam Bas bas,
@Context UriInfo uriInfo)
浏览 1提问于2015-10-16得票数 1
当我尝试在debian(Linux debian 3.2.0-4-686-pae #1SMP Debian 3.2.41-2 i686 GNU/Linux)上安装libapache2-mod-php5时，我得到以下输出：
root@debian:~# apt-get install libapache2-mod-php5
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following packages were automatically install
浏览 5提问于2018-05-30得票数 0
1回答
我正在尝试创建一个简单的Flink Kafka消费者
public class ReadFromKafka {
public static void main(String[] args) throws Exception {
// create execution environment
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
Properties properties = new Properties();
propert
浏览 11提问于2019-07-13得票数 1
我正试图用我的自定义对象创建一个虚拟PCollection，如下所示：
PCollection<MyClass> pipelineProcessingResults = pipeline.apply(Create.of(new MyClass(.., ..)));
MyClass类如下：
@DefaultSchema(JavaBeanSchema.class)
public class MyClass {
AnotherComplexClass _obj;
Urn _urn
}
我得到了以下例外：
java.lang.StackOverflowError
at j
浏览 5提问于2022-07-12得票数 0
回答已采纳
从远程scala程序中，使用Spark1.3，如何初始化sparkContext，以便能够连接到运行在纱线上的Spark？也就是说，我应该把纱线节点的地址放在哪里？
目前，我的程序包括：
val conf = new SparkConf().setMaster("yarn-client").setAppName("MyApp")
val sc = new SparkContext(conf)
它会产生
[error] (run-main-0) java.lang.ExceptionInInitializerError
java.lang.Exceptio
浏览 3提问于2015-05-18得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
