Spark scala基于其他DataFrame修改DataFrame列
Spark Scala是一种用于大数据处理的开源框架，它提供了丰富的API和工具，用于处理和分析大规模数据集。在Spark Scala中，DataFrame是一种分布式数据集，它以表格形式组织数据，并提供了丰富的操作和转换方法。
要基于其他DataFrame修改DataFrame列，可以使用Spark Scala提供的一些操作和转换方法。下面是一种常见的方法：
- 使用
withColumn方法：withColumn方法可以添加、修改或删除DataFrame的列。它接受两个参数，第一个参数是要修改的列名，第二个参数是要进行的操作或转换。
例如，假设有一个名为df的DataFrame，其中包含列name和age，我们想要修改age列的值，可以使用以下代码：
import org.apache.spark.sql.functions._
val modifiedDF = df.withColumn("age", col("age") + 1)上述代码使用withColumn方法将age列的值加1，并将结果保存在modifiedDF中。
- 使用
select方法：select方法可以选择要保留的列，并对它们进行操作或转换。可以使用expr函数来定义操作或转换。
例如，假设有一个名为df的DataFrame，其中包含列name和age，我们想要修改age列的值，可以使用以下代码：
import org.apache.spark.sql.functions._
val modifiedDF = df.select(col("name"), expr("age + 1").as("age"))上述代码使用select方法选择name列，并使用expr函数对age列进行操作，将结果保存在modifiedDF中。
这些方法只是Spark Scala中修改DataFrame列的两种常见方法，还有其他方法可以根据具体需求进行选择。在实际应用中，可以根据具体情况选择合适的方法。
关于Spark Scala和DataFrame的更多信息，可以参考腾讯云的相关产品和文档：
相关·内容
1回答
我是新来的火花/斯卡拉。我正在尝试读取一些数据从一个蜂窝表到一个火花数据，然后添加一个列的基础上的一些条件。这是我的代码：
val DF = hiveContext.sql("select * from (select * from test_table where partition_date='2017-11-22') a JOIN (select max(id) as bid from test_table where partition_date='2017-11-22' group by at_id) b ON a.id=b.bid")
浏览 1提问于2017-11-27得票数 0
回答已采纳
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建；
同样的东西在Hive中工作，并创建数据类型为"void“的列。
我使用空字符串而不是NULL来避免异常和新列获取字符串数据类型。
是否有更好的方法使用spark在hive表中插入空值？
2017-12-26 07:27:59 ERROR StandardImsLogger$:177 - org.apache.hadoop.hive.ql.metadata.HiveException: jav
浏览 3提问于2017-12-27得票数 0
回答已采纳
我正在尝试将一些计算列添加到SparkR数据框中，如下所示：
Orders <- withColumn(Orders, "Ready.minus.In.mins",
(unix_timestamp(Orders$ReadyTime) - unix_timestamp(Orders$InTime)) / 60)
Orders <- withColumn(Orders, "Out.minus.In.mins",
(unix_timestamp(Orders$OutTime) - unix_timestamp(Orders$InTime)) / 6
浏览 2提问于2015-12-29得票数 0
我有一个非常简单的脚本来持久化带有MongoDB中两列的数据文件：
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql.functions import col, udf
from datetime import datetime
sparkConf = SparkConf().setMaster("local").setAppName("Wiki-Analyzer
浏览 4提问于2017-03-30得票数 0
回答已采纳
我正在尝试合并两个不同数据类型的列。在下面的代码片段中，为了简单起见，我从相同的数据帧中选取了列。
from pyspark.sql import SQLContext, Row
from pyspark.sql.types import *
from datetime import datetime
a=sc.parallelize([('ship1',datetime(2015,1,1),2,3.,4.),('ship1',datetime(2015,1,2),4,8.,9.),('ship1',datetime(2015,1,3),5,
浏览 6提问于2015-10-28得票数 4
1回答
我有一个返回数据的UDF。就像下面的那个
scala> predict_churn(Vectors.dense(2.0,1.0,0.0,3.0,4.0,4.0,0.0,4.0,5.0,2.0))
res3: org.apache.spark.sql.DataFrame = [noprob: string, yesprob: string, pred: string]
scala> predict_churn(Vectors.dense(2.0,1.0,0.0,3.0,4.0,4.0,0.0,4.0,5.0,2.0)).show
+------------------+------
浏览 3提问于2016-12-20得票数 3
回答已采纳
我使用的是带有Spark1.3.1和Hadoop版本2.6的Zeppelin笔记本。我能够运行它附带的整个教程，没有任何问题。
然后，我创建了新的notebook来运行简单的代码，这些代码从存储在本地机器上的HDFS中的parquet文件中获取数据。代码如下：
val param_alarms = sqlc.parquetFile("hdfs://localhost/ge_alarm/alarm_param")
param_alarms.registerTempTable("Alarm")
param_alarms.count()
此操作失败，并显示以下错误消息
浏览 0提问于2015-06-24得票数 2
I have a dataframe :
+----------------+----------------+---------------------+---------------+--------------------+-----+-
|origin_longitude|dest_longitude |origin_latitude|destination_latitude|speed|Distance|
-7.1732833 | -7.1732833| 32.0414966| 32.0414966| 50| 20.0
浏览 1提问于2020-02-27得票数 0
2回答
我和星火的排课有很多问题。在我看来，排课是一门设计很差的课程。从Row提取值应该并不比从Scala列表中提取值更困难；但是在实践中，您必须知道列的确切类型才能提取它。您甚至不能将列转换为字符串；对于一个伟大的框架(如Spark )来说，这有多荒谬呢？在现实世界中，在大多数情况下，您不知道列的确切类型，而且在许多情况下，您有几十个或数百个列。下面是一个示例，向您展示我所得到的ClassCastExceptions。
有谁有从行中提取值的解决方案吗？
scala> val df = List((1,2),(3,4)).toDF("col1","col2")
d
浏览 0提问于2018-03-23得票数 1
回答已采纳
1回答
我正在尝试访问一个hive表，并从表/ dataframe中提取和转换某些列，然后将这些新列放到一个新的dataframe中。我正试着这样做-
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
val hiveDF = sqlContext.sql("select * from table_x")
val system_generated_id = hiveDF("unique_key")
val application_assigned_event_id = hiveDF("
浏览 1提问于2016-07-03得票数 1
回答已采纳
我已经给出了示例表。我想从"value“列获得每组"source”列的中位数。其中，源列是字符串，DataType值列是双DataType
scala> sqlContext.sql("SELECT * from tTab order by source").show
+---------------+-----+
| Source|value|
+---------------+-----+
|131.183.222.110
浏览 10提问于2015-12-30得票数 7
我目前正在使用Spark 1.4.0，并开始使用ML pipeline framework。
我运行了示例程序"ml.JavaSimpleTextClassificationPipeline"，它使用LogisticRegression。但是我想做多类分类，所以我在org.apache.spark.ml.classification包中使用了org.apache.spark.ml.classification。
使用'probability'方法对模型进行了适当的训练，但是当使用上面示例中的print语句测试模型时，我得到了以下错误:不存在fit列。
本专栏仅提
浏览 4提问于2015-07-17得票数 1
我有一个有3列的dataframe，它有一个类似于以下模式的模式：
org.apache.spark.sql.types.StructType = StructType(StructField(UUID,StringType,true), StructField(NAME,StringType,true), StructField(DOCUMENT,ArrayType(MapType(StringType,StringType,true),true),true))
这可能是这个dataframe中一行的示例：
org.apache.spark.sql.Row = [11223344,ALAN,
浏览 0提问于2018-04-08得票数 1
回答已采纳
1回答
在Spark1.6.0中，我有一个包含职务描述的列的数据框架，如：
Description
bartender
bartender
employee
taxi-driver
...
我使用以下方法从该列检索唯一值列表：
val jobs = people.select("Description").distinct().rdd.map(r => r(0).asInstanceOf[String]).repartition(4)
然后，对于每个职务描述，我尝试检索具有该职务的人员并做一些事情，但我得到了一个NullPointerException：
jobs.foreach
浏览 2提问于2016-02-21得票数 5
回答已采纳
Scala2.10在这里使用Spark1.6.2。我有一个与类似的(但不是相同的)问题，然而，被接受的答案不是，它假定了关于火花的某种“预先知识”；因此我无法复制它或理解它。(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。
因此，我希望向现有的DataFrame添加一列，然后将该新列的初始(“默认值”)值应用到所有行。
val json : String = """{ "x": true, "y": "not true" }""
浏览 4提问于2016-10-10得票数 7
回答已采纳
3回答
我正在尝试对PySpark DataFrame中的一些Unicode列进行一些NLP文本清理。我已经尝试了Spark 1.3，1.5和1.6，但似乎无法让它在我的生命中正常工作。我也尝试过使用Python2.7和Python3.4。
我已经创建了一个非常简单的udf，如下所示，它应该只为新列中的每条记录返回一个字符串。其他函数将操作文本，然后在新列中返回更改后的文本。
import pyspark
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql import SQLConte
浏览 4提问于2016-01-15得票数 21
回答已采纳
1回答
我已经在基于SP3的SLES 11的HDP2.3上安装了Vora1.2。
当我试图按照新安装和管理手册第2.7节(第34页)对Vora进行基于命令行的验证时，我现在得到了一个新的错误：
scala> vc.sql(testsql)
com.sap.spark.vora.discovery.DiscoveryException: Could not connect to Consul Agent on localhost:8500 : null at
com.sap.spark.vora.discovery.ConsulDiscoveryClient$ConsulDisc
浏览 0提问于2016-04-05得票数 0
回答已采纳
在中运行的示例Java代码如下: import org.apache.spark.sql.SQLContext；import org.apache.spark.sql.types.*；
SQLContext sqlContext = new SQLContext(sc);
StructType customSchema = new StructType(
new StructField("year", IntegerType, true),
new StructField("make", StringType, true),
new S
浏览 2提问于2015-12-21得票数 8
我用的是火花2.3.2。对于我的用例，我缓存第一个dataframe，然后缓存第二个dataframe。
试图复制同样的东西。
scala> val df = spark.range(1, 1000000).withColumn("rand", (rand * 100).cast("int")).cache
df: org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [id: bigint, rand: int]
scala> df.count
res0: Long = 999999
浏览 0提问于2019-01-01得票数 3
回答已采纳
我正在使用hadoop 3.0.0和spark 2.2.0中的以下scala代码处理数据帧。BAQ是ID列，AAA是日期YYMMDD的字符串列。 scala> val dtfAbnoFirs=dtfAbno.filter("AAA>='20201201' and BAQ<>'0'").
| groupBy("BAQ").agg("AAA"->"min");
dtfAbnoFirs: org.apache.spark.sql.DataFrame = [BA
浏览 34提问于2021-04-08得票数 0
回答已采纳
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：
数据帧-2：
我想要的输出：
我在这里使用spark scala。我想要一个与dataframe-1中的dataframe-2完全匹配的单词。我使用了like、rlike、contains等函数，但它没有给出我想要的输出。有人知道如何在spark scala SQL中或使用dataframe的spark scala函数来开发此逻辑吗？请帮我弄一下这个。
浏览 1提问于2021-02-12得票数 0
我正在尝试在C# Spark中实现向量自定义函数。 我已经通过Spark .Net创建了.Net Spark环境。在我的IntegerType专栏中，Vector Udf (Apache箭头和Microsoft.Data.Analysis都是)很好用。现在，尝试将Integer数组类型的列发送到Vector Udf，但找不到实现此目的的方法。 用法 using System;
using System.Linq;
using Microsoft.Data.Analysis;
using Microsoft.Spark.Sql;
using func = Microsoft.Spark.Sql
浏览 17提问于2021-03-25得票数 6
复制的可能步骤：
多次运行spark.sql，获取DataFrame list d1、d2、d3、d4
调用DataFrame list d1、d2、d3、d4到DataFrame d5，调用Dataset#unionByName
运行d5.groupBy("c1").pivot("c2").agg(concat_ws(", ", collect_list("value")))，生成DataFrame d6
DataFrame d6加入另一个DataFrame d7
调用像count这样的函数来触发火花作业
浏览 5提问于2021-12-08得票数 0
回答已采纳
1回答
我是新来的火花。我正在尝试开发一个应用程序，使用Spark1.6将json数据保存到一个Hive表中。这是我的代码：
val rdd = sc.parallelize(Seq(arr.toString)) //arr is the Json array
val dataframe = hiveContext.read.json(rdd)
dataframe.registerTempTable("RiskRecon_tmp")
hiveContext.sql("DROP TABLE IF EXISTS RiskRecon_TOES")
hiveConte
浏览 7提问于2017-07-12得票数 0
回答已采纳
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。
SparkConf conf = new SparkConf().setAppName(ConnectionTest.class.getName()).setMaster(master);
JavaSparkContext context = new JavaSparkContext(conf);
SQLContext sqlContext = new HiveContext(context);
sqlContext.sql("SELECT * FROM schema.tableName").show
浏览 21提问于2017-04-20得票数 3
在使用下面的API代码将数据存储到一个单元表时，我遇到了问题。
df.write.mode(SaveMode.Append).format("parquet").partitionBy("ord_deal_year", "ord_deal_month", "ord_deal_day").insertInto(tableName)
我的Dataframe大约有48列。其中Hive表有90列。当我试图保存Dataframe时，我会收到以下错误：
12:56:11 Executor task launch worker-0 ERROR
浏览 0提问于2018-03-05得票数 0
回答已采纳
我正在运行一个简单的sparkSQL查询，它在两个数据集上进行匹配，每个数据集大约是500 is。所以整个数据都在1TB左右。
val adreqPerDeviceid = sqlContext.sql("select count(Distinct a.DeviceId) as MatchCount from adreqdata1 a inner join adreqdata2 b ON a.DeviceId=b.DeviceId ")
adreqPerDeviceid.cache()
adreqPerDeviceid.show()
作业工作良好，直到数据加载(10k任务分配
浏览 3提问于2016-10-17得票数 1
回答已采纳
我需要在其中一列中保存包含org.apache.spark.mllib.linalg.Vector的dataframe。在cassandra中从dataframe创建表时，抛出错误。
java.lang.Exception: Cassandra Writer Failed. java.lang.IllegalArgumentException: Unsupported type: org.apache.spark.mllib.linalg.VectorUDT@f71b0bce
at com.datastax.spark.connector.types.ColumnType$.u
浏览 28提问于2016-08-09得票数 3
我在Spark DataFrame中有两列，每一列中的每个条目都是字符串数组。
val ngramDataFrame = Seq(
(Seq("curious", "bought", "20"), Seq("iwa", "was", "asj"))
).toDF("filtered_words", "ngrams_array")
我希望合并每一行中的数组，以便在新列中生成单个数组。我的代码如下：
def concat_array(firstarray: Arra
浏览 1提问于2018-03-07得票数 9
回答已采纳
2回答
我有一个数据帧，其中有几个数值列是不固定的(它们在每次执行过程中都会发生变化)。假设我有一个带有数字列名称的Seq对象。我想对这些列中的每一列应用一个聚合函数。我尝试过以下几种方法：
println(numeric_cols)
// -> Seq[String] = List(avgTkts_P1, avgTkts_P2, avgTkts_P3, avgTkts_P4)
var sum_ops = for (c <- numeric_cols) yield org.apache.spark.sql.functions.sum(c).as(c)
var result = df.g
浏览 2提问于2018-09-04得票数 0
正如问题所表明的那样，我已经尝试了相当一段时间来编写一些可以读取数据帧的代码，并将顶点添加到gremlin图中，并从dataframe提取属性。为此，我编写了以下代码：
val graph = TinkerGraph.open()
val g = graph.traversal
def myFunction(field1:String,field2:String) ={
graph.addVertex(field1,field2)
}
val df = List(
(1,"A","X",1),
(2,"B","
浏览 0提问于2018-02-14得票数 1
3回答
我想实现以下几点
，例如，我有Emp文件的(2个文件)，我只想选择2列，例如Empid和EmpName，如果文件没有EmpName，它应该选择EmpName的一列
1) Emp1.csv (档案)
Empid EmpName Dept
1 ABC IS
2 XYZ COE
2) Emp.csv (档案)
Empid EmpName
1 ABC
2 XYZ
代码一直试到现在
scala> val SourceData = spark.read.format("com.databricks.spark.csv&
浏览 4提问于2017-08-10得票数 0
回答已采纳
我有个csv文件。它有许多列，其中两列是月和年。月份为1.12，而2013年.(例如)。我需要创建一个mm/yyyy格式的时间戳，作为一个新列，比如“时间戳”。我试过下面的片段，但失败了。
scala> val df = spark.read.format("csv").option("header",
"true").load("/user/bala/*.csv")
df: org.apache.spark.sql.DataFrame = [_c0: string, Month: string ... 28
浏览 2提问于2016-09-29得票数 0
回答已采纳
1回答
从json(动态模式)读取数据，并将其加载到dataframe。
示例数据帧：
scala> import spark.implicits._
import spark.implicits._
scala> val DF = Seq(
(1, "ABC"),
(2, "DEF"),
(3, "GHIJ")
).toDF("id", "word")
someDF: org.apache.spark.sql.DataFrame = [number: int, wor
浏览 6提问于2020-06-04得票数 0
回答已采纳
有时(例如，为了测试和标记)，我想强制执行在DataFrame上定义的转换。AFAIK调用像count这样的操作并不能确保所有的Columns都是实际计算的，show可能只计算所有Rows的一个子集(参见下面的示例) 我的解决方案是使用df.write.saveAsTable将DataFrame写到HDFS，但是这会“扰乱”我的系统，我不想再保存更多的表。 那么触发DataFrame求值的最佳方式是什么呢 编辑： 请注意，在spark开发人员列表上还有一个最近的讨论：http://apache-spark-developers-list.1001551.n3.nabble.com/Will-
浏览 62提问于2017-03-10得票数 20
回答已采纳
1回答
我在一个公共列上连接了两个dataframes，然后运行了一个show方法：
df= df1.join(df2, df1.col1== df2.col2, 'inner')
df.show()
然后，join运行得非常慢，最后引发了一个错误:奴隶丢失。
Py4JJavaError: An error occurred while calling o109.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage
浏览 4提问于2016-11-16得票数 0
1回答
我是PySpark的新手。我正在尝试实现ALS (交替最小二乘矩阵因式分解)，以便使用python和pyspark.mllib.recommendation pakage进行推荐。根据，我发现我应该使用排名指标来评估系统的隐式反馈。但是不幸的是，在python部分没有更新文档，当我尝试自己实现它时，我在RDD类型上遇到了一些不同的问题。请帮我找到窃听器。我不确定我是否应该在createDataFrame上使用createDataFrame，或者我应该使用另一个函数来使rdd类型.
def build_model_Als(self):
data = self.load_from_redis
浏览 2提问于2019-12-18得票数 2
我已经从Cloudant DB(IBM Bluemix Spark R Notebook)创建了一个DataFrame。我的数据帧结构：
root
|-- c1_x: double (nullable = true)
|-- c2_y: double (nullable = true)
|-- c3_z: double (nullable = true)
|-- name: string (nullable = true)
|-- c11_x: double (nullable = true)
|-- c12_y: double (nullable = true)
|-- c13
浏览 2提问于2016-07-27得票数 1
我有一个DataFrame，列名为a.b。当我将a.b指定为的输入列名时，具有消息“无法解析给定输入列a.b”的AnalysisException。我用的是星火1.6.0。
我知道早期版本的Spark可能对列名中的点有问题，但在最近的版本中，可以在Spark中的列名和SQL查询中使用反引号。例如，这就是另一个问题的解决方案，。其中一些问题报告为，但这一问题在1.4.0中得到了解决。
下面是一个最小的示例和堆栈跟踪：
public class SparkMLDotColumn {
public static void main(String[] args) {
// Ge
浏览 1提问于2016-01-22得票数 16
我正在使用星火处理20TB+数量的数据量。我试图使用以下方法将数据写入Hive表：
df.registerTempTable('temporary_table')
sqlContext.sql("INSERT OVERWRITE TABLE my_table SELECT * FROM temporary_table")
df是星火DataFrame。不幸的是，它没有我可以分割的日期。当我运行上面的代码时，我遇到了错误消息：
z:org.apache.spark.sql.execution.EvaluatePython.takeAndServe.：调用py4j
浏览 0提问于2018-06-17得票数 2
我正在寻找一种整洁的方法来找到每一列的最大值，并收集在地图中作为{col name:max value of col}。下面是我在一个玩具示例中所取得的进展。在我的完整数据中有数百列，所以手动转换每一列是不可行的。 scala> import spark.implicits._
import spark.implicits._
scala> import org.apache.spark.sql.functions._
import org.apache.spark.sql.functions._
scala>
scala> val df = Seq((1,3)
浏览 49提问于2020-06-12得票数 0
回答已采纳
我正在将一个dataframe转换成一个管道分隔的值，并将其写入shell (scala)中的一个文件中。但我在PySpark方面毫无头绪。会很感激你的帮助。
尤其是我不知道如何用“\”来连接每个列
这是scala版本
scala> val stgDF = spark.read.table("tbl")
stgDF: org.apache.spark.sql.DataFrame = [name: string, num: int]
scala> stgDF.map(line => line.mkString("|")).take(2) //H
浏览 3提问于2017-10-30得票数 4
回答已采纳
1回答
我有一个dataframe，它包含来自Hive的属性表和主表。我想删除列，然后应用掩蔽逻辑(SHA2)。
将postgre中的属性配置读取为Spark/scala作业中的Dataframe。
val propertydf = loading the property dataframe from postgre db
主蜂箱表
输出应该是
任何人，请帮助我用Spark/Scala编写代码。我无法转换ListString并将其从dataframe传递给函数。
浏览 0提问于2021-03-26得票数 0
回答已采纳
我知道使用.withColumn()向星火.withColumn()添加新列的方法，以及返回DataFrame的UDF。我还知道，我们可以将结果DataFrame转换为DataSet。
我的问题是：
如果我们仍然遵循传统的DF方法(即将列名作为UDF输入的字符串传递)，DataSet的类型安全性是如何发挥作用的？
是否有一种“面向对象的方式”来访问列(而不是将列名作为字符串传递)，就像我们以前使用RDD那样，用于追加一个新列。
如何在地图、过滤器等正常操作中访问新列？
例如：
scala> case class Temp(a : Int, b : String
浏览 1提问于2016-11-15得票数 11
回答已采纳
我用的是火花1.5。
我有两份表格的数据：
scala> libriFirstTable50Plus3DF
res1: org.apache.spark.sql.DataFrame = [basket_id: string, family_id: int]
scala> linkPersonItemLessThan500DF
res2: org.apache.spark.sql.DataFrame = [person_id: int, family_id: int]
libriFirstTable50Plus3DF有766,151记录，linkPersonItemLessThan
浏览 5提问于2016-12-13得票数 71
回答已采纳
我试图使用星火红移库，并且无法操作由sqlContext.read()命令创建的数据(从redshift读取)。
这是我的代码：
Class.forName("com.amazon.redshift.jdbc41.Driver")
val conf = new SparkConf().setAppName("Spark Application").setMaster("local[2]")
val sc = new SparkContext(conf)
import org.apache.spark.sql._
val sqlContext
浏览 4提问于2015-11-04得票数 1
回答已采纳
我正在尝试执行星火的countVectorizer模型。作为这个需求的一部分，我正在读取一个csv文件并从其中创建一个Dataframe (inp_DF)。
它有3列，如下所示
+--------------+--------+-------+
| State|Zip Code|Country|
+--------------+--------+-------+
| kentucky| 40205| us|
| indiana| 47305| us|
|greater london| sw15| gb|
| ca
浏览 1提问于2017-09-05得票数 0
回答已采纳
1回答
在Scala Spark 2.0.1中，我试图在透视之后聚合多个列：
scala> val df = List((1, 2, 3, None), (1, 3, 4, Some(1))).toDF("a", "b", "c", "d")
df: org.apache.spark.sql.DataFrame = [a: int, b: int ... 2 more fields]
scala> df.show
+---+---+---+----+
| a| b| c| d|
+---+---+---+----+
浏览 3提问于2017-01-23得票数 3
回答已采纳
观察:星火sum似乎将DecimalType参数的精度提高了10。
scala> val df1 = spark.sql("select(cast(1 as decimal(4,0))) as foo")
df1: org.apache.spark.sql.DataFrame = [foo: decimal(4,0)]
scala> df1.select(sum($"foo").as("bar"))
res2: org.apache.spark.sql.DataFrame = [bar: decimal(14,0)]
问题：
这
浏览 0提问于2019-07-25得票数 1
回答已采纳
1回答
尝试从Windows中的Eclipse程序连接到Windows。
群集是secured using Kerberos身份验证，因此它没有连接到Hbase数据库。
每次我们创建jar文件并在集群中运行时。但是这对于开发和调试并没有用。
如何在类路径中设置hbase-site.xml？
我下载了*site.xml文件，尝试将hbase-site.xml, core-site.xml and hdfs-site.xml作为source文件夹添加，并尝试从项目构建路径中将该文件添加为外部类文件夹，但没有任何工作。我该怎么做呢？
我们是否可以在hbase-site.xml中设置sqlContext，因为
浏览 4提问于2016-11-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
