我正在尝试使用aerospike作为cassandra的替代品。但是我找不到合适的aerospark java连接器，也找不到如何在java中加载和保存rdd或dataframe的示例(在scala中找到了很多示例)。有没有任何教程或示例可供java spark connector加载和保存数据到aerospike。(我找到了这个连接器，但没有足够的文档)。
浏览 1提问于2017-07-24得票数 1
回答已采纳
1回答
我已经编写了一个简单的程序，使用连接器版本2.8.0将一些数据写入到aerospike db (Aerospike Community Edition build 5.2.0.6)中 https://docs.aerospike.com._import org.apache.spark.sql.SparkSession
import com.aerospike.spa
浏览 294提问于2021-11-17得票数 0
1回答
我正在使用最新的AeroSpark连接器来处理AeroSpike和Spark ML。但是当我在AeroSpike中插入大约60M条记录时，我在读取操作中获得了太多的时间。当我查看htop cmd输出时，AeroSpike只使用了7%的CPU。如何提高读取操作的性能？AeroSpike会议：default-ttl 30d
s
浏览 0提问于2016-08-10得票数 1
1回答
如何创建名称空间和设置
、、、
我是新来的..。如何创建一个新的名称空间和新集。我看过一些文档和视频，但没有发现任何有用的东西。我在某个地方读过有5年历史的博客，即只有通过配置文件才能创建名称空间和设置。是真的还是还有其他命令。
浏览 7提问于2022-07-07得票数 2
回答已采纳
2回答
我想通过Apache从Apache检索行，并将每一行放到Aerospike缓存中。final var aerospikeClient = aerospike; // to removenew Bin( row.json() );我收到一个错误：
Caused b
浏览 8提问于2022-02-01得票数 2
回答已采纳
1回答
我们的系统使用的是喷气式飞机和星火(Java)。networkDs.write() .format("com.aerospike.spark.sql")
.option("aerospike.set", Const.AEROSPIK
浏览 6提问于2017-08-14得票数 2
回答已采纳
我正在尝试使用Spark-cassandra连接器连接到spark shell中的远程cassandra集群。但是它抛出了一些不寻常的错误。我做了spark-cassandra连接器的github页面上提到的通常的事情 $SPARK_HOME/bin/spark-shell --packages datastax:spark-cassandra-connector:2.0.0-s_2.11
2)导入cassan
浏览 0提问于2018-09-17得票数 3
2回答
对于火花-蒙戈连接器，我使用的是来自的“mongo-火花连接器_2.11-2.0.jar”。 at java.lang.Thread.run(Thread.java:745) at java.net.URLClassLoade
浏览 2提问于2017-05-26得票数 1
想要将cassandra添加到spark streaming "org.apache.spark" %% "spark-streaming"<clinit>(CodecRegistry.java:147)
at com.datastax.driver.core.Configuration$Builder.build(Configuration.java<init>(
浏览 2提问于2015-11-07得票数 2
1回答
我已经使用Kafka的confluent本地集群为Kakfa和m设置了所有所需的配置，并安装了https://www.confluent.io/hub/aerospike/kafka-connect-aerospike-source并启动了confluent集群，但连接器仍然没有启动 另外，我发现confluent的共享文件夹中没有jar，它还在开发中吗？
浏览 11提问于2021-08-10得票数 1
我使用的是mongo-spark-connector_2.11版本的2.2.1，它说ConflictTypes有一个基本类型为StringType。因此，解决办法是传递模式、列名和类型，这样连接器就不会推断类型本身。但是如何传递模式呢？这是我从mongo读的Java代码
DataFrameReader x = ss.read().format("com.mongodb.spark.sql.DefaultSource").options("spark.mongodb.input
浏览 2提问于2018-03-17得票数 2
(SelectorManager.java:184) [aerospike-client-3.0.24.jar:?]at com.aerospike.client.async.SelectorManager.runCommands(SelectorManager.java:108) [aerospike-clientat com.aerospike.client.async.SelectorManager.run(SelectorManager.java:69) [<e
浏览 6提问于2014-10-03得票数 4
回答已采纳
2回答
我试图从spark中写信给MongoDB，为了试验目的，我正在启动spark 2外壳(火花版本=2.1.1.2.6.1.0-129)，如下所述:-
spark-shell --jars /bigdata/datalake/mongo-spark-connector_2.11-2.1.1.jar,/bigdata/datalake/mongo-scala-driver_2.11-2.1.0.jar,/bigdata/datalake/m
浏览 3提问于2018-05-28得票数 0
回答已采纳
我正在使用scala中的spark-cassandra-connector，我想将一些条目上传到一个表中。(name, credits, user_id) """,)
spark-connector
浏览 16提问于2017-07-08得票数 0
回答已采纳
我试图使用星火查询Cassandra和连接器。" % "aws-java-sdk" % "1.11.229",我使用程序集插件创建一个胖罐子，当我提交星火作业时，我会得到以下错误
Lost task 6.0 in stage 0.0 (TID 6) on executor l
浏览 7提问于2017-11-21得票数 1
回答已采纳
我目前正在尝试在EMR 6.1.0中添加一个进程，该进程将使用Spark在mysql中存储聚合数据。然而，当我实际运行Spark时，我得到了以下错误。Exception in thread "main" java.lang.RuntimeException: Failed to load class of driverClassName com.mysql.jdbc在从EMR 6.0.0更新到6.1.0的过程中，我将Spark版本从2.4.4改为3.0.0。代码本身没有显著变化，我们知道这不是网络问题。
浏览 82提问于2021-08-01得票数 0
我使用卡桑德拉2.1.5 (dsc)，星火1.2.1与火花卡桑德拉-连接器1.2.1。:57)，sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)，java.lang.reflect.Method.invoke(Method.java:606)，org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:358)，org.a
浏览 1提问于2016-03-08得票数 1
回答已采纳
2回答
下载mysql-connector-java-5.0.8-bin.jar
我也不明白为什么要用driver="com.mysql.jdbc.Dri
浏览 1提问于2016-06-24得票数 0
在我的程序中，我需要MySQL和PostgreSQL连接器。我已经下载了这两个连接器，我可以一个一个地运行它们；当我尝试运行两个连接器时，都失败了。./spark-submit --driver-class-path /home/mysql-connector-java-5.1.37-bin.jar --class learner.run.package/spark-submit --ma
浏览 2提问于2016-05-29得票数 2
回答已采纳
使用Spark 2连接器从CosmosDB流媒体可以使用Changefeed实现。https://docs.microsoft.com/en-us/azure/cosmos-db/spark-connector#streaming-reads-from-cosmos-db 我们如何在Spark 3中做同样的事情？我正在使用Cosmos DB Apache Spark 3 OLTP Connector for SQL API (beta)。http
浏览 35提问于2021-04-28得票数 2
云服务器
ICP备案
云直播
对象存储
腾讯会议
腾讯云开发者
