Spark Dataframe写入cassandra表列顺序

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark、cassandra、spark-cassandra-connector

我能读懂Cassandra的表格。我根据spark数据帧模式创建了Cassandra表。但是当我试图将spark数据帧写入Cassandra表时。我得到了以下错误。环境: pyspark 3.0.1本地shell，Cassandra 3.11。(V2CommandExec.scala:54) at org.apache.<

浏览 76提问于2021-07-02得票数 0

1回答

Spark DataFrame到Avro并将AVRO文件保存到Cassandra表中

apache-spark、cassandra、spark-dataframe、avro

我已经在Spark中创建了一个数据框，现在想将其保存为用户定义的AVRO格式，并将其保存到Cassandra表中。df.write().mode("append").format("com.databricks.spark.avro").save("/Users/

浏览 0提问于2017-10-17得票数 0

2回答

Spark 3.0和Cassandra Spark / Python Conenctors:在写入之前没有创建表

python、pyspark、cassandra、spark3

我目前正在尝试将我的应用程序升级到Spark 3.0.1。为了创建表，我使用cassandra-driver、Python-Cassandra连接器删除并创建表。然后，我使用spark-cassandra连接器将数据帧写入到表中。只使用spark-cassandra连接器创建和删除表并不是一个很好的选择。在Spark 2.4中，drop-create-write流程没有问题。但在Spark 3.0中，应用程序似乎没有

浏览 42提问于2020-10-19得票数 1

1回答

读取Hive表并写入Cassandra表

apache-spark、hive、cassandra、cloudera、spark-cassandra-connector

我还有DataStax Enterprise Cassandra集群，我在其中创建了与Hive表结构相同的表。问:我想将表格数据从Hive表格导出/写入相应的Cassandra表格。有没有Hive到Cassandra的连接器？或者我需要在Spark中做这件事，如果是的话，怎么做？这里的最佳实践/解决方案是什么？

浏览 35提问于2020-06-17得票数 0

回答已采纳

1回答

将Foreachpartition循环中的Dataframe保存到Cassandra

scala、apache-spark、apache-spark-sql

我正在寻找在每个分区循环中保存整个Dataframe到Cassandra。(true).set("spark.cassandra.auth.username", "username"(session =>) 但我更感兴

浏览 20提问于2019-02-05得票数 1

1回答

如何从现有SparkSession获取SparkConf并从获取的SparkSession创建新的SparkConf

apache-spark、cassandra、apache-spark-sql、datastax-java-driver、spark-cassandra-connector

我使用的是spark-sql-2.4.1v，spark-cassandra-connector-2.4.1v和Java。为了将dataframe写入Cassandra数据库，我创建了一个spark SparkConf conf = new SparkConf(true).set("spark.cassandra.connection.host",cassandraConfig.getHosts())

浏览 149提问于2020-06-23得票数 1

回答已采纳

1回答

Spark To Cassandra:将没有空值的稀疏行写到Cassandra

scala、apache-spark、cassandra、apache-spark-sql、spark-cassandra-connector

问:如何高效地将Spark DataFrame中包含值的列写入Cassanrda？我目前正在将Spark dataframe转换为RDD，并使用saveRdd来写入数据。spark.conf.set("spark.cassandra.output.ignoreNulls", "true") spark

浏览 0提问于2018-11-06得票数 2

1回答

将SparkR DataFrame序列化为jobj

r、apache-spark、cassandra、sparkr、sparklyr

我希望能够在SparkR SparkDataFrame上使用Java方法向Cassandra写入数据。例如，使用sparklyr扩展，我可以这样做：sparklyr::invoke("format", "org.apache.spark.sql.cassandra&qu

浏览 7提问于2017-01-22得票数 0

回答已采纳

1回答

我不明白为什么在最后阶段没有任何保存或追加数据的操作

apache-spark、cassandra、apache-spark-sql、spark-structured-streaming、spark-cassandra-connector

df.writeStream batchDF.write.format("org.apache.spark.sql.cassandra") .s

浏览 10提问于2020-08-21得票数 2

回答已采纳

1回答

Akka持久性:从jdbc (postgres)迁移到cassandra

postgresql、jdbc、cassandra、akka-persistence

现在我想迁移到akka-persistence-cassandra。但是，如何将现有的事件(postgres中超过4 4GB的大小)转换为cassandra？我应该写一个手动迁移程序吗？在cassandra中读取postgres并写入正确的格式？

浏览 1提问于2016-10-14得票数 4

1回答

PySpark结构化流数据写入Cassandra不填充数据

apache-spark、cassandra、pyspark、spark-structured-streaming、spark-cassandra-connector

我想将spark结构的流数据写入cassandra。我的spark版本是2.4.0。我来自Kafka的输入源是JSON，所以在写到控制台时是可以的，但是当我在cqlsh Cassandra中查询时，表中没有附加任何记录。你能告诉我哪里出了问题吗？StringType(), True) writeDF.write \ .format("org.apache.spark.sql

浏览 0提问于2019-10-09得票数 0

2回答

如何为Spark Dataframe创建自定义编写器？

apache-spark、dataframe、apache-spark-sql

如何为Spark Dataframe创建自定义写入格式，以便像<code>D0</code>一样使用它？我试着通读Datastax Cassandra连接器代码，但仍然不能理解

浏览 12提问于2019-03-27得票数 4

回答已采纳

2回答

星火批处理以在两个cassandra簇之间迁移数据

apache-spark、cassandra、spark-cassandra-connector

我为其中一个源集群指定了cassandra配置，如下所示：spark.cassandra.connection.host: spark.cassandra.auth.username:spark.cassandra.connection.ssl.cli

浏览 3提问于2019-11-07得票数 2

回答已采纳

1回答

将DataFrame写入Cassandra，使CassandraCatalogException“试图写入C* Table但缺少主键列”

pyspark、cassandra、databricks、spark-cassandra-connector

当我试图编写“大的”dataframe (大约50k行)时，运行命令的单元格会收到一个错误。=<table name>, keyspace=<keyspace>))试图写入C*表但缺少的com.datastax.spark.connector.datasource.CassandraCatalogException：我是卡桑德拉的com.datastax.spark:spark-cassandra-connector-asse

浏览 7提问于2022-09-26得票数 1

1回答

没有映射的pyspark joinWithCassandraTable重构

apache-spark、pyspark、cassandra、spark-cassandra-connector

我是在这里使用spark/scala的新手，并且我在重构我的一些代码时遇到了麻烦。我正在运行Scala 2.11，使用的是pyspark，并且是在spark/yarn设置中。更新 .format("org.apache.spark.sql.cassandra") \ .o

浏览 3提问于2020-10-30得票数 1

1回答

将星火流PySpark数据格式写入Cassandra覆盖表而不是追加

apache-spark、apache-kafka、cassandra、spark-structured-streaming、spark-cassandra-connector

然后，使用Spark结构化流，我将这个数据流(每次一行)读入PySpark DataFrame中，其中包含startingOffset = latest。最后，我试图将这一行附加到已经存在的Cassandra表中。有一行数据正在成功地写入Cassandra表中，但我的问题是，每次覆盖时，都会被覆盖，而不是将追加到表的末尾。/bin/pyspark --packages org.apache.spark:spark-sql-

浏览 1提问于2020-10-21得票数 0

回答已采纳

1回答

数据帧的scala joinWithCassandraTable结果

apache-spark、cassandra、spark-cassandra-connector

我正在使用Datastax spark- Cassandra -connector来访问Cassandra中的一些数据。我的需求是将RDD与Cassandra表连接起来，获取结果并将其存储在hive表中。我正在使用joinWithCassandraTable加入cassadra表。加入后，生成的RDD如下所示 com.datastax.spark.connector.rdd.CassandraJoinRDD[org.apache.spark.sql.Row, com.datastax

浏览 20提问于2020-07-17得票数 0

2回答

Spark Cassandra连接器错误: java.lang.NoClassDefFoundError: com/datastax/spark/ Connector /TableRef

apache-spark、pyspark、spark-structured-streaming、spark-cassandra-connector

Spark version:3.00Cassandra::3.11.4 .config(&

浏览 27提问于2020-06-27得票数 2

回答已采纳

1回答

Spark RDD写入Cassandra

apache-spark、spark-cassandra-connector

我有一个下面的Cassandra表模式。ColumnA Primary KeyColumnC ColumnD 现在，我有了一个Spark RDD，它的列排序为RDDColumnC、ColumnA、ColumnB、ColumnD 因此，当我写入Cassandra表时，我需要确保顺序是正确的。PS:我不能写它从一个DataFrame，我只是在寻找解决方案的基础上。

浏览 10提问于2019-07-02得票数 0

回答已采纳

1回答

将数据帧从spark集群写入cassandra集群:分区和性能调优

scala、apache-spark、cassandra、datastax-java-driver、spark-cassandra-connector

Cloud - Cassandra集群，多个DC 在将数据帧从我的spark作业写入cassandra集群时，我在写入之前在spark中进行了重新分区(repartionCount=10)。但现在，我怀疑这是否会导致不必要的洗牌，如果spark-cassandra-connector正在对整个数据帧级别(整个20M行)进行批处理。请注意，我的spark和cassandra集群是不同的。Datastax spa

浏览 25提问于2020-06-08得票数 1

回答已采纳

点击加载更多