我正在尝试使用eclipse中的Apache Spark作业将数据插入到Cassandra中。我能够运行我的示例代码，但面临着复杂的表格设计问题。
有没有人能帮我解决这个问题？Caused by: java.io.IOException: Failed to write statements to test.events.at com.datastax.spark.connector.writer.TableWriter$$anonf
浏览 2提问于2017-02-19得票数 1
回答已采纳
我有一个正在运行的项目，使用akka-persistence-jdbc插件和postgresql作为后端。我应该写一个手动迁移程序吗？在cassandra中读取postgres并写入正确的格式？
浏览 1提问于2016-10-14得票数 4
我使用Apache和将数百万行写入Cassandra集群。复制因子被设置为3，我使用以下选项将写入一致性设置为submit(纱线客户端模式)中的所有内容：spark-submit ...从文档来看，如果写一致性加上读一致性大于复制因子，我应该有一致的读取。
每次运行re
浏览 3提问于2014-12-07得票数 3
回答已采纳
我正在使用Spark和Cassandra，一般来说，事情都很简单，并按预期工作；特别是spark-shell和运行.scala进程来获得结果。我现在正在考虑Spark Job Server的使用；对于测试项目以及开发的一些初始的、简单的.scala，我已经启动并运行了作业服务器，并且工作正常。我遇到的问题是Job Server似乎无法识别cassandra
浏览 7提问于2017-12-07得票数 0
2回答
我有一个DSE集群，集群中的每个节点都在运行spark和Cassandra。
当我从Cassandra加载数据到spark rdd并在Rdd上执行一些操作时，我知道数据将分布到多个节点中。在我的例子中，我想把这些rdds从每个节点直接写到它的本地Cassandra dB表中，有没有办法做到这一点。如果我执行普通的rdd收集，来自spark节点的所有数据将被合并，并
浏览 3提问于2020-10-20得票数 1
我试图使用星火查询Cassandra和连接器。我的build.sbt文件看起来就像 "org.apache.spark" %% "spark-core" % "aws-java-sdk" % "1.11.229",
"com.datastax.spark"
浏览 7提问于2017-11-21得票数 1
回答已采纳
在我的星星之火项目中，我使用星火-sql 3.0.2和星火-卡桑德拉-连接器_2.12:3.1.0以及java8。当我写到卡桑德拉表时，我面临下面的错误
在一致性LOCAL_ONE的简单写入查询过程中，Cassandra超时(需要一个副本，但只有0确认写入)
请在com.datastax.spark.connector.writer.AsyncStatementWriter(ResultTask.sc
浏览 11提问于2022-07-15得票数 1
1回答
火花放电未与当地卡桑德拉连接
、、、、
它在默认的localhost:8080中运行。Cassandra也在本地主机上运行:9042Py4JJavaError: An error occurred while calling o36.load.所以
浏览 0提问于2021-06-30得票数 1
回答已采纳
1回答
我正在运行最新的Cassandra2.0.7VirtualBox VM，该虚拟机由plasetcassandra.org提供，链接自主Cassandra项目页面。我在安装了cassandra连接器的情况下运行了火花壳：然后，我对由四个记录组成的测试表进行简
浏览 1提问于2015-03-16得票数 4
回答已采纳
我有写数据给Cassandra的火花作业(Cassandra在GCP上)。当我从IntelliJIDEA (我的IDE)运行这个程序时，它运行得非常好。数据被完美地发送并写入卡桑德拉。但是，当我将项目打包到一个胖jar并运行它时，它就失败了。
下面是我如何运行它的一个例子。spark-submit --class com.testing.Job --master
浏览 3提问于2020-09-17得票数 1
回答已采纳
我们有一个名为cassandra扫描的程序，它使用火花-卡桑德拉连接器在一个非常大的表中列出分区键的所有值。该表大约有1700万Cassandra分区，每个分区平均有200行。PRIMARY KEY (id, itemOrder)cassandra扫描中用于列出分区键的所有值的语句如下：_2.11-2.3.2.jar --exec
浏览 7提问于2022-04-05得票数 0
回答已采纳
我在cassandra从spark摄取了2亿条记录。使用spark-cassandra连接器。是否需要重启集群？
第二个&重要的是
浏览 1提问于2016-08-22得票数 2
我正在运行Spark独立集群，在提交应用程序时，spark驱动程序停止并显示以下错误。16/01/12 23:26:14 ERROR FileAppender: Error writing stream to file /spark/spark-1.4.1/work/app-20160112232613-0012/0/stderr
java.io.IOException: Stream cl
浏览 1提问于2016-01-13得票数 8
我使用Spark2.1读取Java中Cassandra的数据。我尝试了在 (使用SparkSession)中发布的代码，它成功了。但是，当我将spark.read()方法替换为spark.sql()方法时，将引发以下异常：
at org.apache.
浏览 3提问于2017-01-11得票数 0
回答已采纳
当我运行Spark作业(scala脚本)时，我得到以下错误：
16/03/08 10:22:03 INFO DAGScheduler:作业0失败:在JsonRDD.scala:57接受了15.051150s的异常:在线程"main“org.apache.spark.SparkException:由于阶段失败而中止的作业:阶段1.0中的任务1失败1次，最近的</
浏览 1提问于2016-03-08得票数 1
回答已采纳
我跟踪了，但使用DataStax提供的所有默认设置脚本和Dockerfile，我遇到了以下错误。: Directory not writable: /opt/dse/resources/hadoop/confEXPOSE 10000
解决此问题的最后一
浏览 5提问于2016-11-12得票数 2
1回答
谁能解释一下火花的内部工作时，从一个表读取数据，并将它写入另一个卡桑德拉。我正在摄取从IOT平台进入卡桑德拉通过卡夫卡主题的数据。pyspark作业，将数据从一个表中的几个列复制到另一个表中。下面是我正在使用的pyspark代码： .format("org.apache.spark.sql.cassandra")\
浏览 1提问于2018-06-01得票数 1
因此，我正在尝试使用Java和spark cassandra连接器来实现一个简单的示例程序。运行sbt程序集工作得很好，我得到了一个提交给spark的胖jar。问题出现在这里，当我将作业提交给spark时，我得到了这个错误：Exception in
浏览 2提问于2015-06-11得票数 1
1回答
我有一个4节点星火独立集群，它上运行一个火花流作业。当我提交每个执行者都有7个核心的作业时，一切都很顺利：当我将每个执行器增加到24个内核时，所有批处理都不会被处理，并且我看到java.lang.OutOfMemoryError:
浏览 0提问于2017-01-12得票数 1
我有一些基本代码，它在for循环中使用准备好的语句，并将结果写入Cassandra表，并使用信号量进行节流。} // end if
我的连接是由以下内容构建的new Spark_Reports(conf);
浏览 1提问于2016-02-16得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
