腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1005)
视频
沙龙
1
回答
Spark
Cassandra
连接器
3.0.0
-
如何
启用
DirectJoin
-
Java
java
、
apache-spark
、
join
、
cassandra
、
spark-cassandra-connector
我有
cassandra
3.11.9,
spark
3.0.1和
spark
-
cassandra
-connector
3.0.0
(依赖)。我正在尝试使用SCC
3.0.0
的直接连接,但似乎当我在下面的数据集上使用连接时,我得到了
spark
的广播散列连接。Dataset<Row> metlistinitial = sp.read().format("org.apache.
spark
.sql.
cassandra
"
浏览 24
提问于2021-02-09
得票数 2
回答已采纳
1
回答
星火卡桑德拉CassandraSourceRelation directJoinSetting异常错误
dataframe
、
apache-spark
、
cassandra
、
apache-spark-sql
、
spark-cassandra-connector
("org.apache.
spark
.sql.
cassandra
").options(settings).load()异常 Exception in thread "main"
java
.lang.NoSuchMetho
浏览 2
提问于2021-08-10
得票数 3
1
回答
在每次作业中查找
Cassandra
中1.5亿条记录中的大约40k条记录?
cassandra
、
apache-kafka
我正在构建一个接近实时/微批处理的数据应用程序,使用
Cassandra
作为查找存储。每次增量运行有大约40K条记录,而
Cassandra
表有大约1.5亿条记录。在每次运行中,我需要查找id字段并从
Cassandra
获取一些属性。这些查找可以是随机的(不是任何时间/地区/国家的依赖),因此没有明确的分区方案。我应该
如何
对
Cassandra
表进行分区,以确保良好/良好的性能(对于每15-30分钟运行一次的微批)? 除了分区之外,还有其他技巧吗?
浏览 19
提问于2019-09-19
得票数 0
2
回答
Spark
Cassandra
连接器
错误:
java
.lang.NoClassDefFoundError: com/datastax/
spark
/ Connector /TableRef
apache-spark
、
pyspark
、
spark-structured-streaming
、
spark-cassandra-connector
Spark
version:3.00
Cassandra
::3.11.4
spark
-
cassandra
-connector_2.12-
3.0.0
-alpha2.jar 我没有使用-
3.0.0
.jar,
spark
-sql-kafka-0-10_2.12-
3.0.0
.jar,kafka-clients-2.5.0.jar,commons-pool2-2.8.0.jar,
spark
-token-provider-ka
浏览 27
提问于2020-06-27
得票数 2
回答已采纳
1
回答
火花卡桑德拉与火花卡桑德拉
连接器
集成中的错误
apache-spark
、
cassandra
、
sbt
、
spark-cassandra-connector
通过运行以下命令: --class"org.apache.
cassandra
" % "
cassandra
-thrift" % "3.5" , "org.apache.
cassandra
" % "
cass
浏览 2
提问于2016-09-06
得票数 1
回答已采纳
1
回答
如何
将
directJoin
与
spark
(scala)结合使用?
cassandra
、
spark-cassandra-connector
我试图在分区键中使用
directJoin
。但是当我运行引擎时,它不使用
directJoin
。如果我做错了什么,我想了解。", ) s"
spark
.sql.catalog.CassandraCommercial.
spark
.
cassandra
.auth.password", ) s&q
浏览 18
提问于2022-03-31
得票数 1
回答已采纳
1
回答
PySpark卡桑德拉数据库连接问题
apache-spark
、
pyspark
、
cassandra
、
spark-cassandra-connector
我尝试了所有的datastax
连接器
,我改变了火花托拉斯(核心,内存等),但我无法完成它。(下面代码中的注释行是我的尝试。):
spark
-
cassandra
-connector_2.12:
3.0.0
--conf
spark
.
cassandra
.connection.host=XX.XX.XX.XX
spark
.
cassandra
.auth.username--jars .ivy2\jars\
spark
-
cassandra</
浏览 0
提问于2020-12-11
得票数 1
回答已采纳
2
回答
spark
streaming +
cassandra
apache-spark
、
cassandra
、
spark-streaming
想要将
cassandra
添加到
spark
streaming "org.apache.
spark
" %% "
spark
-streaming"% sparkVersion, "com.datastax.
浏览 2
提问于2015-11-07
得票数 2
1
回答
星火KryoException:找不到类: CassandraSQLRow
scala
、
apache-spark
、
cassandra
、
spark-cassandra-connector
我使用卡桑德拉2.1.5 (dsc),星火1.2.1与火花卡桑德拉-
连接器
1.2.1。/.ivy2/cache/com.datastax.
spark
/
spark
-
cassandra
-connector_2.10/jars/
spark
-
cassandra
-connector_2.10-1.2.1(Method.
java
:606),org.apache.
spark
.deploy.SparkSubm
浏览 1
提问于2016-03-08
得票数 1
回答已采纳
1
回答
无法连接到
spark
-shell中的
Cassandra
scala
、
apache-spark
、
spark-cassandra-connector
我正在尝试使用
Spark
-
cassandra
连接器
连接到
spark
shell中的远程
cassandra
集群。但是它抛出了一些不寻常的错误。我做了
spark
-
cassandra
连接器
的github页面上提到的通常的事情 $
SPARK
_HOME/bin/
spark
-shell --packages datastax:
spark
-
cassandra</e
浏览 0
提问于2018-09-17
得票数 3
1
回答
PySpark和Python >=3.6的
Cassandra
python-3.x
、
apache-spark
、
pyspark
、
cassandra
、
spark-cassandra-connector
我
如何
安装卡桑德拉和皮斯卡斯特连同Python3.9。这里有版本不兼容吗?我尝试使用
连接器
3.0.0
和3.1.0都会给我带来错误: UNRESOLVED DEPENDENCY: com.datastax.
spark
#
spark
-
cassandra
-connector_2.12
java
.lang.RuntimeException: [unresolved dependency: com.datastax.
spark
#
spark
-
浏览 0
提问于2021-09-21
得票数 1
回答已采纳
1
回答
星星之火-卡桑德拉: repartitionByCassandraReplica或将数据集转换为JavaRDD和back不维护分区的数量?
apache-spark
、
cassandra
、
spark-cassandra-connector
因此,我有一个16个节点集群,每个节点都安装了
Spark
和
Cassandra
,复制因子为3,
spark
.sql.shuffle.partitions为96。我正在使用
Spark
-CassandraConnector
3.0.0
,我试图在分区键上加入一个带有
cassandra
表的数据集,同时也使用.repartitionByCassandraReplica。System.out.println("DATASET: PartNum "+readydfexplist.rdd(
浏览 9
提问于2022-09-06
得票数 0
回答已采纳
1
回答
scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;):
java
.lang.NoSuchMethodError : Sparkcassandra
连接器
apache-spark
、
cassandra
、
spark-cassandra-connector
我一直在使用
Spark
1.6和
Cassandra
connector 1.4.3编写数据给卡桑德拉的火花。:43) at
java
.lang.reflect.Method.invoke(Method.
java
:606) at org.apache.
spark
.deploy.yarn.ApplicationMaster--
Spark
Cassandra
Connector --> <groupId
浏览 4
提问于2017-05-11
得票数 0
1
回答
Cassandra
-
Spark
Connector通过解析参数上传
cassandra
、
cql
、
spark-cassandra-connector
我正在使用scala中的
spark
-
cassandra
-connector,我想将一些条目上传到一个表中。(name, credits, user_id) """,)
spark
-connector
浏览 16
提问于2017-07-08
得票数 0
回答已采纳
1
回答
带有火花的
Cassandra
:
java
.io.IOException:未能在{127.0.0.1:9042} ::打开本机连接到
Cassandra
java
、
apache-spark
、
ubuntu
、
cassandra
、
cassandra-4.0
$.createSession(CassandraConnector.scala:182) ~[
spark
-
cassandra
-connector_2.12-
3.0.0
.jar:
3.0.0
]$anonfun$sessionCache$1(CassandraConnector.scala:170) ~[
spark
-
cassandra
-connector_2.12-
3.0.0
.jar:
3.0.0
:32) ~[
spark
-
cassa
浏览 8
提问于2021-05-13
得票数 1
回答已采纳
3
回答
Spark
2.0CassandraScalaShell错误: NoClassDefFoundError
apache-spark
、
cassandra
、
spark-cassandra-connector
我已经将
Spark
2.0shell配置为与datastax
连接器
一起运行。
spark
-shell --packages datastax:
spark
-
cassandra
-connector:1.5.1-s_2.11sc.stopimport org.apache.
spark
._import org.
浏览 4
提问于2016-08-17
得票数 1
回答已采纳
1
回答
如何
在火花和卡桑德拉之间配置SSL?
apache-spark
、
ssl
、
cassandra
、
spark-cassandra-connector
我正在尝试为
Cassandra
连接器
配置SSL,但我找不到
如何
这样做的示例。allowed when using the
Spark
Cassandra
Connector.
spark
.
cassandra
.connection.ssl.keyStore.type is not a v
浏览 8
提问于2015-07-09
得票数 3
1
回答
com.datastax.oss.driver.internal.core.util.collection.QueryPlan :运行火花卡桑德拉
连接器
时的
java
.lang.InstantiationError
apache-spark
、
cassandra
、
spark-cassandra-connector
我试图通过使用
spark
-
cassandra
-connector从
cassandra
获取数据,但在异常下获取数据。火花-卡桑德拉-
连接器
版本: 2.5.1 at com.datastax.
spark
.connector.
浏览 5
提问于2021-10-01
得票数 2
回答已采纳
1
回答
如何
在我的星体结构流中获得两个不同的
cassandra
集群?
apache-spark
、
cassandra
、
spark-structured-streaming
、
spark-cassandra-connector
如何
在同一个SparkSession中设置主机、密码和用户?
如何
将它们与CassandraConnector一起使用?println(query) s.execute(query) }有人能帮我吗?我使用
Spark
结构化流3.1.2并使用
c
浏览 2
提问于2021-07-09
得票数 1
回答已采纳
1
回答
Spark
Cassandra
在线程"main“
java
.lang.NoClassDefFoundError:
java
.lang.NoClassDefFoundError中发出异常
cluster
、
cassandra
、
datastax-enterprise
、
big-data
、
apache-spark
星火卡桑德拉
连接器
出了什么问题,你能帮我解决这个问题吗?("SparkTest").getOrCreate() libraryDependencies += "com.datastax.
spark
" % &qu
浏览 0
提问于2020-12-28
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
官宣弃用Java 8!Kafka 3.0.0新功能get
Hortonworks Data Platform 3.0.0平台宣布正式GA
大数据入门之Hadoop基础学习
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
从入门到精通-Fayson带你玩转CDH
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券