spark sql如何使用Dataframe读取apache cassandra数据ttl (Spark Sql)。我找不到任何例子？我能举个例子吗？
浏览 23提问于2020-02-10得票数 0
我正试图从卡桑德拉那里得到ttl列，但到目前为止，我无法使它工作。以下是我迄今所做的尝试： .appName("Spark Sql Job").master("local[*]")
.config("spark.sql.warehouse.dir", "file:///c:&
浏览 0提问于2019-03-20得票数 0
回答已采纳
我在Scala中使用Cassandra火花连接器。下面是我的示例代码，用于将数据保存到Cassandra。A signature in TTLOption.class refers to term streaming
libraryDependencies += "org.ap
浏览 2提问于2015-03-31得票数 0
回答已采纳
1回答
数据有一个时间戳列，它决定了ttl。但是，这对于每一行来说是不同的。我的问题是，在从Spark大量插入数据时，如何处理ttl。我现在的计划- .mode(SaveMode.Overwrite).options(Map("table" -> offerTable ,
&
浏览 0提问于2018-06-14得票数 3
回答已采纳
尽管来自DataStax 的最新的火花卡桑德拉连接器支持读/写TTL和WRITETIME，但我仍然收到一个SQL未定义函数错误。for all databasesselect id, did, ts, val, ttl(val) SQL语句中的错误: AnalysisException:未定义函数：'ttl‘。(Lscala/PartialFunction;)Lorg&
浏览 2提问于2021-11-11得票数 1
回答已采纳
1回答
使用TTL集将输出数据写入cassandra，以便在短时间(2s)后删除所有修改的记录。
//1 .read
.format("org.a
浏览 0提问于2018-10-17得票数 2
回答已采纳
(Connection.scala:390)spark.driver.memory$SPARK-HOME/spark-<e
浏览 2提问于2015-03-09得票数 0
如何在不重新插入所有数据的情况下为表中现有的raws设置TTL？ALTER TABLE "my_keyspace"."my_table" WITH default_time_to_live = 31536000 ;
设置新记录的默认TTL。
浏览 6提问于2022-11-18得票数 1
2回答
星火-斯卡拉与卡桑德拉
、、、
现在，我的项目ETL需要火花、Scala和Cassandra。我在/usr/local/ Cassandra /*中使用ubuntu系统配置了Cassandra，之后我安装了Spark和Scala。现在我正在使用Scala编辑器开始我的工作，我只在登陆位置创建了一个加载文件，但之后我试图连接scala中的cassandra，但是我没有得到帮助，我们如何连接和处理目标数据库中的数据？
浏览 3提问于2017-04-18得票数 0
回答已采纳
因此，在接下来的步骤中，我可以用ttl 0更新这些行。目标基本上是将db中每个条目的所有列的ttl更改为0。我尝试过SELECT * FROM table where ttl(column1) > 0，但似乎不可能在where子句中使用ttl()函数。我还找到了一种方法，可以将所有行导出到csv，删除表中的数据，然后使用新的ttl从csv中再次导入数据。这是可行的，但它是危险的，因为我们有超过百万的作品在生产，我们不知道它将如何表现。
浏览 2提问于2020-07-10得票数 2
回答已采纳
2回答
TTL应该依赖于桶时间戳--其中每一行的TTL应该被计算为ROW_TTL = CONST_TTL - (CurrentTime - bucket_timestamp)，其中CONST_TTL是我配置的常量TTL。目前，我使用一个常量的TTL给Cassandra写信，并使用以下代码：
df.write().format("org.apache.spark.sql.cassandra<
浏览 1提问于2018-07-02得票数 1
回答已采纳
我是Scala和Spark的新手。请纠正我哪里做错了import org.apache.log4j.import com.datastax.spark.connector._import org.apache.spark.sql<
浏览 1提问于2017-09-30得票数 1
" %% "spark-core" % "3.2.1" % "provided", "org.apache.cassandra" % "cassandra
浏览 4提问于2022-05-10得票数 1
我有一个本地安装的Cassandra。我必须使用Google Colab在Spark中工作，并且可以从我的本地数据库运行查询。但我知道更有效地连接spark和cassandra是可能的。我想用来自cassandra密匙空间的数据创建一个数据帧。你是怎么做到的？ 我的密匙空间叫做yelp_data。它包含“评论”和“业务”表。在我的项目中，我想要一个dataframe df =(来自我的Cassandra密钥空间的数据)。我用的是火花源。
浏览 21提问于2019-03-20得票数 0
回答已采纳
我可以将整个Cassandra表作为dataframe加载，如下所示 .format("org.apache.spark.sql.cassandra
浏览 0提问于2017-09-28得票数 0
1回答
星星之火SQL注册临时表未找到
、、、、
我运行以下命令：然后，我以以下方式停止了上下文：val conf = new org.apache.spark.SparkConf(true).set("spark.cassandra.connection.host", "127.0.0.1"
浏览 2提问于2016-06-12得票数 1
回答已采纳
以下是sbt文件："org.apache.spark" %% "spark-core"% "2.0.0" % "provided",
"org.apache.spark" %% "spark-streaming" % "2.0.
浏览 3提问于2017-02-24得票数 0
回答已采纳
我使用的是卡桑德拉数据库( cassandra )中的spark-cassandra-connector_2.11-2.3.0.jar和吡火花。我使用以下方法创建了sparkSession： """
sets uporg.apache.spark.sql.cassandra&
浏览 6提问于2020-06-10得票数 1
回答已采纳
(streaming_df,E): .write \ at org.apache.spark.sql.cassandra.DefaultSource$.TableRefAndOptions(DefaultSource.s
浏览 27提问于2020-06-27得票数 2
回答已采纳
""".trim, true)
spark.conf.set("spark.cassandra.connection.hostval df = sqlContext .format("org.apache.spark.sql.cassandra")
.options(Map
浏览 0提问于2020-01-09得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号