我正在尝试将数据帧数据写入cassandra表。如何将dataframe中的结构映射到cassandra表中的列。数据帧的模式 root | |-- _1: string (nullable = true) | |-- _4: integer (nullable = f
浏览 3提问于2019-04-16得票数 0
1回答
batchDF.write .cassandraFormat(cassandraTablesave()) .start()
.awaitTermination() 在代码的末尾，数据帧被写入cassandra表。通过UI
浏览 10提问于2020-08-21得票数 2
回答已采纳
1回答
我有一个流查询，它从Kafka读取JSON格式的数据，在camel中使用1000+键。scala> kafka_df.printSchema() |-- jsonData: struct (nullable = true) | | |-- message_type: string (nullable = true)如何将key递
浏览 0提问于2019-08-08得票数 1
我有大的Cassandra表(有大量的列)，我想与火花处理。我只希望将选定的列加载到Spark中(在Cassandra服务器本身上应用选择和过滤) sc.cassandraTable("test","devices").select("device_ccompany","device_model","devi上面的语句给出了一个CassandraTableScanRD
浏览 0提问于2018-03-06得票数 1
2回答
我正在使用pandas/openpyxl处理一个excel文件，然后创建一个数据透视表，将其添加到当前工作簿的新工作表中。当我执行我的代码时，创建了新的工作表，但是数据透视表并没有添加到工作表中。下面是我的代码：worksheet2.title = 'Sheet1'tabl
浏览 32提问于2016-07-22得票数 1
回答已采纳
我的xlsxwriter代码有一个问题，它工作得很好，但我需要弄清楚如何选择一块单元格。例如，如截图所示，从A1到J10。
xlsxwriter有这样的功能吗？我搜索了几种格式，比如: worksheet.write('A1:J1'，'...')但它只在A1上写入。举个例子，我怎么能用一个单词填充所有突出显示的区域，而不是为所有10行都写代码呢？
浏览 20提问于2021-02-23得票数 1
3回答
如何将大数据文件分块写出CSV文件？我一直在研究如何将大数据文件分块读取到数据帧中
浏览 1提问于2016-07-23得票数 24
回答已采纳
1回答
我知道我们可以集成spark和kafka，并将数据帧以key和value的格式写入kafka队列，如下所示 df -数据帧 df.withColumnRenamed("Column_1", "keywrite() .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
.save() 但是，
浏览 15提问于2019-05-28得票数 0
假设我有一个数据帧，其中包含两个具有以下结构的列，如何将start_date和end_date中的数据转换为sparkSQL (Scala)中具有日期数据类型的yyyy/MM/dd格式。|-- start_date: struct (nullable = true) | |-- month: integer
浏览 1提问于2019-09-18得票数 1
我用Matlab制作了一部电影，当我运行我的代码时，电影运行得很好，看上去很棒，但是当我把视频附在电子邮件上时，视频似乎只显示了电影的最后一帧。在使用所有绘图代码的for循环中，在结束循环之前，我使用了带有变量G的getframe命令：然后我写道：
浏览 1提问于2018-06-11得票数 0
回答已采纳
我正在使用df.write.jdbc将数据帧保存到数据库表中。
我的数据帧中有一列是map(string, string)类型的a。如何将其写入数据库表？目标是一个红移数据库。
浏览 27提问于2017-03-17得票数 0
我需要用python将我的独立Spark连接到我的Cassandra实例。我已经从下载了Apache spark，解压并构建如下：sbt/sbt assembly如何将Spark连接到Cassandra实例以访问作为Spark RDDs的Cassandra表？
浏览 2提问于2016-04-12得票数 1
我是RStudio的新手，我想我的问题很容易解决，但是很多搜索都没有帮助到我。
我正在运行回归，summary(regression1)向我显示所有系数，依此类推。现在我使用的是coef(regression1)，所以它只给出了我想要导出到文件中的系数。
浏览 0提问于2014-11-11得票数 23
我有一个数据帧，其中一列包含字符串。但是它们每一个都有一些制表符格式。下面是它的外观的一个片段Out[393]: ['\t<string1>', '\t\t<string2>']编辑:我知道csv不会保留格式，所以我使用了
浏览 2提问于2018-04-03得票数 1
1回答
火花版本: 2.1我有一个数据结构与以下结构，然后编写它和存储到拼花文件。.| root |-- table_row: struct (nullable'table_row‘有超过100个数据元素，我只发布了一个片段。在处理过程中，我必须创建两个虚拟行，每个字段都填充"_DELETE_THIS_“。对于每个正常行，我有两个假行。现在，我试图从dataframe中筛选出这
浏览 2提问于2017-10-25得票数 0
回答已采纳
3回答
我使用的是Spark 2.1.0和Kafka 0.9.0。有没有人知道这样的事情是否可行？谢谢正如user8371915提到的，我试图遵循中所做的事情。我用的是spark shell：
spark-shell --packages
浏览 3提问于2018-04-06得票数 6
使用Python3.6和Pandas0.22，我创建了一个Pandas dataframe IRdaily，其中包含各种利率每日变化的时间序列。我可以使用以下命令轻松地将Pandas数据帧写入Excel：IRdaily.to_excel(writer, 'Daily Changes')
但是，如果我现在计算特征值分解(特征值的向量和特征向量的矩阵都是numpy ndarray
浏览 0提问于2018-06-11得票数 1
我使用的是spark 2.3.2，在对来自Kafka的2个或更多流媒体资源进行联合时遇到了一个问题。这些都是来自Kafka的流媒体源，我已经将它们转换并存储在Dataframes中。理想情况下，我希望将此UNIONed数据帧的结果以parquet格式存储在HDFS中，甚至可能存储回Kafka中。最终目标是以尽可能低的延迟存储这些合并的事件。failOnDataLoss", false)
query.aw
浏览 52提问于2019-07-02得票数 1
回答已采纳
我有一个包含此模式的数据帧： |-- Activity_A1: string (nullable = true)|: string (nullable = true)+-----------+-----------+---------------------------
浏览 11提问于2019-08-22得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
