腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
Cassandra
密钥
空间
创建
spark
数据
帧
?
、
、
、
我有一个本地安装的
Cassandra
。我必须
使用
Google Colab在
Spark
中工作,并且可以从我的本地
数据
库运行查询。但我知道更有效地连接
spark
和
cassandra
是可能的。我想用来自
cassandra
密匙
空间
的
数据
创建
一个
数据
帧
。你是怎么做到的? 我的密匙
空间
叫做yelp_data。它包含“评论”和“业务”表。在我的项目中,我想要一个datafram
浏览 21
提问于2019-03-20
得票数 0
回答已采纳
1
回答
如何
使用
sparkSession在
数据
采集卡中
使用
火花卡桑德拉连接器写火花放电
、
、
、
、
我
使用
的是卡桑德拉
数据
库(
cassandra
)中的
spark
-
cassandra
-connector_2.11-2.3.0.jar和吡火花。我正在从一个键
空间
读取
数据
,并将其写入另一个不同的
密钥
空间
。这两个
密钥
空间
有不同的用户名和密码。我
使用
以下方法
创建
了sparkSession: def set_
浏览 6
提问于2020-06-10
得票数 1
回答已采纳
1
回答
sparkR与卡桑德拉
、
、
我想读一个来自卡桑德拉
密钥
空间
和column_family的
数据
文件。在运行sparkR时,我将调用相应的火花-
cassandra
连接器包,并将conf设置为本地sparkR主机。/bin/sparkR --packages com.datastax.
spark
:
spark
-
cassandra
-connector_2.10:1.5.0-M2 --conf
spark
.
cassandra
.connection.ho
浏览 3
提问于2015-10-17
得票数 1
1
回答
KeySpace复制引发卡桑德拉问题
、
我
使用
以下命令在
Cassandra
中
创建
了表: 'NetworkTopologyStrategy,我运行下面的代码将
数据
写入
Spark
.的
Cassandra
中。("
spark
.
cassandra
.connection.host","xx.xx.xx.xx").set(&qu
浏览 0
提问于2017-11-30
得票数 1
2
回答
如何
在
Spark
Structured Streaming中读取Kafka和查询外部存储,如
Cassandra
?
、
如何
在
Spark
Structured Streaming中读取Kafka和查询外部存储,如
Cassandra
?我从Kafka获得消息流,我想对它应用Map操作,对于每个键,我想查询像
Cassandra
这样的
数据
存储,并获得该键的更多信息,并在流上应用进一步的操作。我
如何
使用
Spark
Structured Streaming 2.2.0来做到这一点?
浏览 2
提问于2017-09-07
得票数 1
4
回答
pyspark
Cassandra
连接器
、
、
、
我必须安装pyspark-
cassandra
-connector,它在中可用,但我遇到了巨大的问题和错误,并且没有关于python的
spark
的支持文档,这称为pyspark!我想知道pyspark-
cassandra
-connector包是失效了还是别的什么?另外,我需要清楚的git克隆pyspark-
cassandra
-connector包的一步一步的教程,安装和导入到pyspark shell中,并与
cassandra
成功连接并进行事务处理,通过pyspark构建表或
密钥
<em
浏览 2
提问于2017-04-19
得票数 0
1
回答
在
spark
cassandra
中
使用
数据
帧
创建
密钥
空间
时出错
、
、
、
我尝试将
spark
连接到
cassandra
,然后从flask对keyspace和table进行查询。 问题是,当我运行web应用程序时,我得到一个错误,告诉我没有
创建
键
空间
。我认为这也可能是连接的问题,因为我在docker中工作,我的设置是这样的:
spark
.setCassandraConf("
cassandra
_cluster", CassandraConnectorConf.ConnectionHostParam.option("
cassandr
浏览 30
提问于2020-11-29
得票数 1
1
回答
Spark
+
cassandra
:
如何
创建
密钥
空间
?
、
但是我没有看到任何
创建
表/键
空间
=>的方法,这是可能的吗? 如果是这样的话,是怎么做的?
浏览 0
提问于2016-12-14
得票数 6
2
回答
如何
使用
saveTOCassandra()
、
、
、
我是新手,我想把我的星火
数据
保存给卡桑德拉,条件是我有一个RDD,我想把这个RDD的
数据
保存到卡桑德拉的多个表中?如果是的话,这是可能的吗?
浏览 3
提问于2015-02-02
得票数 3
回答已采纳
1
回答
Spark
To
Cassandra
:将没有空值的稀疏行写到
Cassandra
、
、
、
、
问:
如何
高效地将
Spark
DataFrame中包含值的列写入Cassanrda?(在最小的Scala代码行中高效,而不是在
Cassandra
中
创建
一堆tombstones,让它快速运行,等等) 我有一个包含两个键列和300个潜在描述符值的
Cassandra
表。
数据
帧
,但
数据
帧
中的每一行都非常稀疏-除了两个键值之外,特定行可能只有4到5个“描述符”(列0->299)具有一个值。我目前正在将
Spark
dataf
浏览 0
提问于2018-11-06
得票数 2
1
回答
读取Hive表并写入
Cassandra
表
、
、
、
、
我还有DataStax Enterprise
Cassandra
集群,我在其中
创建
了与Hive表结构相同的表。 问:我想将表格
数据
从Hive表格导出/写入相应的
Cassandra
表格。有没有Hive到
Cassandra
的连接器?或者我需要在
Spark
中做这件事,如果是的话,怎么做?这里的最佳实践/解决方案是什么?
浏览 35
提问于2020-06-17
得票数 0
回答已采纳
1
回答
Spark
从一个
数据
帧
创建
多个
数据
帧
、
、
我
使用
Spark
2.1和
Cassandra
(3.9)作为
数据
源。C*有一个包含50列的大表,对于我的用例来说,这不是一个好的
数据
模型。因此,我为每个传感器
创建
了拆分表,以及分区键和聚集键cols。
spark
将
数据
从旧表复制到新表。df =
spark
.read\ .optio
浏览 0
提问于2017-10-08
得票数 1
1
回答
Spark
Scala
Cassandra
CSV插入
cassandra
、
、
、
、
Spark
版本: 2.0.2.6
Cassandra
版本: cqlsh 5.0.1 |
Cassandra
3.11.0.1855 | DSE 5.1.3 | CQL spec 3.4.4 |本地协议v4我正在尝试从CSV读取并写入
Cassandra
Table。import com.datastax.
spark
.connector._import org.apache.
spark
.sql:
浏览 1
提问于2017-09-30
得票数 1
3
回答
从pyspark DataFrame
创建
Cassandra
表
、
、
、
、
我正在
使用
带有
Cassandra
3.11的Apache
Spark
2.2.1和来自python/pyspark的Datastax
spark
-
cassandra
-connector。我想从
数据
集结构
创建
Cassandra
表。因此,我在Java的DataSetFunction包中找到了一个函数createCassandraTable,但我找不到与pyspark包的对应关系。/
数据
帧
的方法。我知道
浏览 6
提问于2018-01-23
得票数 2
2
回答
spark
-
cassandra
-connect python deleteFromCassandra方法
、
、
我在Databricks Notebook上
使用
Spark
,
Cassandra
,
Spark
-
Cassandra
-Connector,根据他们的网站,我们可以
使用
'deleteFromCassandra‘来删除行:https://github.com/datastax/
spark
-
cassandra
-connector/blob/master/doc/5_savin
浏览 6
提问于2020-01-08
得票数 1
1
回答
在
cassandra
.yaml中设置卡桑德拉的复制因子
、
、
我需要为我已经
创建
的所有
密钥
空间
和将要
创建
的
密钥
空间
配置我的单节点
cassandra
的全局复制因子,可以为每个
密钥
空间
配置AFAIK复制因子,也可以在
cassandra
.yaml文件中为所有
密钥
空间
配置复制因子是否有人尝试在
cassandra
.yaml文件中配置复制因子?又是
如何
做到的?
浏览 0
提问于2015-06-28
得票数 1
1
回答
Cassandra
键
空间
消失,导致
数据
丢失。
我在我的
Cassandra
2.1.8集群中添加了一个节点(
cassandra
-03) (两个现有节点,
cassandra
-01和
cassandra
-02,每个160+GB,一个键
空间
),在之后。在第3阶段(重新启动每个节点之后),我意识到在我现有的节点(
cassandra
-01和
cassandra
-02)上,我的
密钥
空间
消失了,但是
数据
仍然在文件系统上。nodetool status给出了预期的输出(3个节点集群),
浏览 3
提问于2015-07-21
得票数 1
回答已采纳
1
回答
Python中的
Spark
cassandra
连接器
、
、
、
我需要用python将我的独立
Spark
连接到我的
Cassandra
实例。我已经从下载了Apache
spark
,解压并构建如下:sbt/sbt assembly
如何
将
Spark
连接到
Cassandra
实例以访问作为<
浏览 2
提问于2016-04-12
得票数 1
1
回答
我可以
使用
apache MetaModel在
Cassandra
3
数据
库上执行插入、更新和删除操作吗?
、
我可以
使用
Apache MetaModel.But从
cassandra
数据
库执行select操作,插入、删除和更新操作没有发生。我正在
使用
最新的cassendra版本3.0.7,并
使用
datastax/java驱动程序。
浏览 4
提问于2016-06-22
得票数 0
1
回答
从
Cassandra
死节点恢复
密钥
空间
结构
、
我
创建
了一个
Cassandra
测试节点,其中有几个受PasswordAuthenticator保护的
密钥
空间
。在测试过程中,我完全“打破”了卡桑德拉,无论是卡桑德拉还是节点工具都不会启动。我想要
创建
一个新的测试服务器并导入旧的
密钥
空间
。我可以访问/var/lib/
cassandra
/data/中的所有
数据
库文件,我仍然保留我的用户和密码,等等。
如何
从文件中获取旧的<
浏览 0
提问于2015-06-21
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
具有响应式Cassandra 的Spring Data
如何将外部数据源与Spark集成?
InfoWorld最佳开源数据平台奖公布
全面解析大数据框架Hadoop主要模块
什么是 Apache Spark?大数据分析平台详解
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券