3回答
我是Spark和Cassandra的新手。我面临着一个主要的性能问题，我在Spark中每隔5秒流式传输来自Kafka的数据，然后使用JRI对R语言中的数据进行分析，最后将数据保存到Cassandra各自的列族中。将数据保存到Cassandra的持续时间(以毫秒为单位)随着输入请求的数量增加非常快，每个请求为200KB。
浏览 0提问于2015-11-10得票数 0
场景: Cassandra托管在服务器a.b.c.d上，而spark运行在服务器上，比如w.x.y.z。假设我想转换来自cassandra表(比如表)的数据，并使用Spark将相同的数据重写到cassandra中的其他表(比如tableNew)，我编写的代码如下所示
val conf = ne
浏览 26提问于2019-07-09得票数 1
回答已采纳
我使用过的连接器引用了127.0.0.1，因此想知道Spark是否可以连接到托管在不同服务器中的Cassandra节点。
如果可能的话，是否需要额外的步骤来建立连接，而不是托管在同一个物理服务器上。如果这是不可能的，否则我怎么能把火花与卡桑德拉联系起来。
浏览 3提问于2015-11-05得票数 2
回答已采纳
1回答
我在试着理解Apache Spark的内部结构。在第一种情况(阅读)中，我的理解是，在使用InputFormat时，拆分与主机(或主机？？)相关联。其中包含数据，因此Spark尝试将任务分配给执行器，以尽可能减少网络传输。在写作的情况下，这样的机制是如何工作的？我知道从技术上讲，HDFS中的文
浏览 1提问于2014-12-24得票数 13
2回答
我正在尝试运行一个通过datastax的Cassandra连接器访问Cassandra的scala程序。2)将连接器罐添加到火花-defaults.conf中。同一问题
应该在连接器
浏览 3提问于2015-04-30得票数 1
回答已采纳
1回答
我正在寻找一个优雅的解决方案在Cassandra数据库中的数据聚合。(问题就像在Cassandra中运行group by查询一样简单)
在我们的应用程序中，我们将客户登录历史记录存储在一个cassandra表中(为了获得更快的写入速度和更高的TPS支持的明显好处)，目前我们应该在此数据之上开发
浏览 1提问于2015-01-09得票数 0
2回答
我有一个DSE集群，集群中的每个节点都在运行spark和Cassandra。
当我从Cassandra加载数据到spark rdd并在Rdd上执行一些操作时，我知道数据将分布到多个节点中。在我的例子中，我想把这些rdds从每个节点直接写到它的本地Cassandra dB表中，有没有办法做到这一点。如果我执行普通的</em
浏览 3提问于2020-10-20得票数 1
我有一个正在运行的项目，使用akka-persistence-jdbc插件和postgresql作为后端。我应该写一个手动迁移程序吗？在cassandra中读取postgres并写入正确的格式？
浏览 1提问于2016-10-14得票数 4
我有一个Cassandra集群，它有一个位于同一位置的星火集群，我可以通过编译它们、复制它们并使用./ Spark submit脚本来运行通常的星火作业。我编写了一个小作业，它接受SQL作为命令行参数，将它作为Spark提交给Spark，Spark针对Cassandra运行该SQL，并将输出写入csv文件。现在，我觉得我在兜圈子，试图找出是否可以在JDBC连接中<
浏览 4提问于2015-12-10得票数 1
回答已采纳
3回答
卡桑德拉与火花的连接
、、、、
我是连接火花与卡桑德拉，我是存储csv文件在卡桑德拉，当我输入这个命令，我得到错误。dfprev.write.format("org.apache.spark.sql.cassandra") .options(Map("keyspace"->"sensorkeyspace","tablecom.datastax.spark.connector.cql.CassandraConnector$.com$datastax$spark$c
浏览 0提问于2018-03-08得票数 0
我正在使用Spark和Cassandra，一般来说，事情都很简单，并按预期工作；特别是spark-shell和运行.scala进程来获得结果。我现在正在考虑Spark Job Server的使用；对于测试项目以及开发的一些初始的、简单的.scala，我已经启动并运行了作业服务器，并且工作正常。然而，我现在想要获取一个在spark
浏览 7提问于2017-12-07得票数 0
1回答
我试图使用Scala中的Spark查询Cassandra数据。","**.*.**.***") .set("spark.cassandra.auth.password$$anonfun$foreachUp$1.apply(Tre eNode.scala:126的
浏览 0提问于2017-07-26得票数 0
回答已采纳
在使用cassandra连接器2.5.2时，我得到了以下错误：卡桑德拉连接器2.5.2<
浏览 7提问于2021-08-19得票数 0
我使用Apache和将数百万行写入Cassandra集群。复制因子被设置为3，我使用以下选项将写入一致性设置为submit(纱线客户端模式)中的所有内容：spark-submit ...从文档来看，如果写一致性加上读一致性大于复制因子，我应该有一致的读取。
每次运行re
浏览 3提问于2014-12-07得票数 3
回答已采纳
我正在尝试使用Datasax Cassandra Connector执行select where，但收到以下错误：spark.cassandraTable(keySpace,table).select(column).where(whereColumn + " = ?", whereColumnValue).collect()user_id是表的</em
浏览 0提问于2016-05-03得票数 1
在中，是否可以将和相应的从版本1.1.0升级到最新的1.2.0。
DSE目前仅随Spark和Spark Cassandra Connector 1.1.0一起提供。
浏览 1提问于2015-01-29得票数 0
Datastax社区版与星火社区版的集成是使用连接器社区版本节点，还是只为企业版保留？
所谓节点感知，我的意思是如果Spark将作业执行发送给拥有数据的节点
浏览 2提问于2022-02-09得票数 1
回答已采纳
2回答
您必须原谅我的noobness，但我正在尝试设置一个连接到运行python脚本的cassandra的星火集群，目前我正在使用datastax企业在solr搜索模式下运行cassandra。我理解，为了使用datastax提供的火花- cassandra连接器，您必须在分析模式下运行cassandra(使用-k选项)。目前，我只使用dse火花版本使其工作</
浏览 3提问于2016-05-06得票数 1
回答已采纳
我有一个关于这个连接器的问题。如果我的Spark集群和我的Cassandra集群不在同一个集群上，那么读取是如何工作的呢？Spark是否将整个Cassandra表放入自己的集群中，并将其重新排列到Spark分区中？
浏览 1提问于2017-02-17得票数 0
1回答
我在N台机器上有N个节点的Cassandra集群。而且我在每台机器上都有火花工。为了阅读Cassandra，我使用Datastax火花-cassandra连接器。当我设置工作人员(独立模式)时，我只为他们指定主主机。在驱动程序中，我将通过spark.cassandra.connection.host属性指定Cassandra种子。我看到了很多关于
浏览 3提问于2016-04-26得票数 4
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
