我想将"Name“等于"Bob”的行的"Age“列更改为30。 var name_to_change = "Bob"
var new_age = 30 我该怎么做呢？
浏览 19提问于2020-11-10得票数 0
我正在从“雪花”中的存储表中读取数据。我希望将日期从dataframe maxdatefromtbl传递给我在spark中的查询，以筛选记录。此条件(s"CREATED_DATE!
浏览 4提问于2022-10-26得票数 0
回答已采纳
我正在尝试编写一个依赖于DataFrame.saveAsTable()的单元测试用例(因为它是由文件系统支持的)。") at org.apache.spark.sql.DataFrame.saveAsTable(DataFrame.scala:1121)
atorg.apache.spark
浏览 4提问于2015-05-29得票数 8
我有一个来自Scala的DataFrame输出进入其中。我正在寻找从它找回火花DataFrame。 我在databricks中有一个Azure SQL连接，我使用scala进行连接。它为我提供了一个以下Scala格式的Spark DataFrame，我是新手，有人能帮我找回它吗?这样我就可以将它保存为配置单元表 我的scala代码的结果： outputData: Either[or
浏览 13提问于2019-10-17得票数 0
回答已采纳
我对Scala很陌生。我正在开发Scala/Spark应用程序，该应用程序从一个单元表中选择几个列，然后将其转换为一个可变的映射，其中第一列为键，第二列为值。但是，当我在Dataframe中打印行数和Map大小时，我发现它们不匹配：//Map- 2359806 DataFrame
浏览 3提问于2017-10-28得票数 0
回答已采纳
我在scala中有一个简单的Spark应用程序。现在，我希望我的spark应用程序只创建一个sparkSession并将Json文件读取到DataFrame中。main(args: Array[String]): Unit = { .appName("Spark Scala如何为此编写单元测试？我能够创建一个dataframe用于测试 val du
浏览 15提问于2020-04-10得票数 0
我目前正在使用hql将数据从配置单元表卸载到文本文件中。因为它花费了太多的时间。我想去spark或pyspark.I。我是spark/ please的新手。你能帮我解决这个问题吗?
浏览 11提问于2019-10-04得票数 0
我正在使用下面的内容创建一个使用hive外部表的dataframe (spark scala)。但数据帧也在其中加载了数据。我需要一个使用配置单元外部表的模式创建的空DF。我使用spark scala来解决这个问题。 val table1 = sqlContext.table("db.table") 如何使用配置单元外部配置单元表创建空数据帧？
浏览 20提问于2019-10-16得票数 1
，( scala.Long) => org.apache.spark.sql.DataFrame) askDF.writeStream.foreachBatch (askDF: DataFrame，batchId: Long) =>
package fr.fdjimport org.apache.spark.sql.types..readStream
.forma
浏览 5提问于2020-07-28得票数 6
2回答
我正在尝试理解名为DataFrame的火花saveAsTable API方法。我有以下问题
如何检查一个表是Hive表还是非Hive表
浏览 8提问于2020-12-22得票数 2
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。DataFrame.scala:1505) at org.apache.spark.sql.DataFrame.head(Da
浏览 21提问于2017-04-20得票数 3
2回答
我是Scala编程的新手，这是我的问题:如何计算每行的字符串数？我的数据帧由ArrayString类型的单个列组成。friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]
浏览 2提问于2017-09-07得票数 45
回答已采纳
我使用Databricks在Scala中创建了Spark DataFrame。在做了一些预处理之后，我想出了一个更小的数据子集，可以放入内存中。因此，我想将其转换为熊猫，然后另存为CSV文件。问题是，我在Databricks notebook in Scala cell中使用的DataFrame df在Python中是不可见的。%python df.toPandas().to_csv("dbfs:/FileStore/tables/
浏览 12提问于2019-06-21得票数 0
我有一个查询结果，我试图将其写入GCP上的Hive表，并指向GCS bucket path，但当我执行saveAsTable()方法时，它失败了，错误如下。(SparkPlan.scala:152)org.apache.spark.sql.execution.QueryExecution.toRdd$lzycompute(QueryExecution.scala:80)
org.ap
浏览 0提问于2020-10-13得票数 2
我在Scala中有一个名为dataList的2d列表，我想将它转换为Pandas DataFrame。val dataList: List[List[Int]] = tempData.toList<class 'py4j.java_gateway.JavaObject'>
据我所知，我必须使用py4j来访问Python中的集合。但是，我认为我必须使用一个嵌套循环来访问dataList
浏览 4提问于2016-04-23得票数 4
回答已采纳
我需要在它们之间传递数据(最好是通过共享的闪烁上下文/sqlcontext，这样我就可以查询临时表)。我目前使用Parquet文件进行数据传输，但是否可能有其他方式？//existing dataframe to temptable和sc <- sparkR.init(master='MasterURL
浏览 3提问于2016-02-12得票数 3
回答已采纳
我目前正在使用一个函数来以电子表格样式的格式显示pandas数据帧。我希望能够添加一些功能来格式化树形视图的各个单元格的内容，例如，如果他们包含子字符串'X‘或如果他们的值高于Y。当前实现的更新函数如下： '''
Updates the treeview with the data in thedataframe</e
浏览 29提问于2017-03-08得票数 8
回答已采纳
我试图使旧的测量无效，同时保持他们在我的卡桑德拉设置。10 | False| unset3 | 1 | 12 | True| True现在，如果我使用与模式相同的连接器插入以下其目的是在必要时使表中的某些行“失效”。我知道墓碑是在细胞过时的时候制造出来的。但是，既然细胞中没有价值，就会创造墓碑吗？
浏览 1提问于2020-01-27得票数 1
回答已采纳
2回答
我正在尝试从字符串的Seq中动态地向DataFrame添加列。下面是一个示例:源dataframe如下：|id | A | B | C | D ||1 |如果源DataFrame中已经存在一个列，则它必须执行如下所示的某种区别：val columns = Seq("A", "B", "F", "G"
浏览 4提问于2020-01-20得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
