1回答
我正在尝试理解为什么我可以过滤之前删除的列。这个简单的脚本： package example
import org.apache.spark.sql.functions.colobject Test {
val spark = SparkSession.builderstartsWi
浏览 19提问于2020-11-06得票数 0
回答已采纳
1回答
我正在尝试使用sql-spark-connecter通过Azure Databricks从Azure SQL拉取数据。我已经在集群上安装了Maven库，并成功地在Databricks上运行此脚本以从示例数据库中拉出： server_name = "jdbc:sqlserver://(removed).database.windows.net理想情况下，我还希望只提取特定的列，但行是优先的。查看可用的Pyspark documentation
浏览 14提问于2020-10-15得票数 0
回答已采纳
3回答
我在hadoop集群中有一个10 in的csv文件，其中包含重复的列。= "com.databricks.spark.csv", mode = "DROPMALFORMED"但是由于df有重复的Email列，如果我想选择这一列select on 1422 failed
Error in invokeJava(isStatic = FALSE, objId$id, methodName,
浏览 0提问于2015-11-20得票数 7
回答已采纳
在Databricks中，表是使用模式json定义创建的。spark.sql("CREATE TABLE {0} USING DELTA LOCATION '{1}'".format(tbl_name, tbl_path))
...我正在使用readstreams从ORC文件中读取数据，其中使用了Decimal(38,18)，可以在dataframe中使用printScehma()。$anonfun$recordDeltaOperation$5(DeltaLogging.sca
浏览 0提问于2021-10-17得票数 0
回答已采纳
3回答
我们正在处理无模式的JSON数据，有时spark作业会失败，因为我们在spark SQL中引用的一些列在一天中的某些时间内不可用。在这些小时内，spark作业失败，因为所引用的列在数据帧中不可用。我尝试过UDF，但是我们缺少太多的列，所以不能真正地检查每一列的可用性。我还尝试在更大的数据集上推断模式，并将其应用于数据帧，期望缺少的列</e
浏览 5提问于2018-08-10得票数 2
4回答
我必须在列上执行连接，该列在两个dataframes中具有相同的名称。我如何在查询中编写它？= df1.join(df2, Seq("NAME"))中使用NAME作为公共列。对于此输出，dataframe将有ID, NAME, NAME, ACTUALNAME列。如何删除来自df2的额外NAME列。这不像spark.sql("select * from table1 LEFT OUTER JOIN table2 ON ta
浏览 8提问于2019-10-31得票数 0
回答已采纳
尝试在连接hdfs表后删除pyspark df中的重复列名称？ 您好，我正在尝试连接多个具有200+最终列数的数据集。由于要求和大量的列，我不能在连接时选择特定的列。有没有办法在连接后删除重复的列。我知道有一种方法可以通过spark df的.join方法来做到这一点，但是我加入的基表不是spark df，并且我正在试图避免在join之前将它们转换为spar
浏览 20提问于2018-12-20得票数 1
有没有什么配置属性，我们可以在spark 1.6中通过spark-shell显式地设置它来禁用/启用配置单元支持。
浏览 3提问于2017-07-20得票数 6
回答已采纳
2回答
在Spark中，我们如何在删除重复列的情况下运行SQL查询？例如，在spark上运行的SQL查询left outer joinon a.id = b.id
在这种情况下，如何删除重复的列我知道我们可以在Spark中使用其他步骤，比如提供遗憾或重命名列，但是有没有一种更快的方法来简单地通过编写SQL
浏览 8提问于2017-09-10得票数 1
在spark 1.6中
在/etc/spark/conf下创建软链接后，当我运行spark-shell时，它没有创建支持配置单元的sql上下文，并显示错误-“本地快照库不可用:此版本的hadoop是在没有我正在尝试创建具有配置单元支持的sql上下文，但无法执行此操作。
浏览 1提问于2016-10-31得票数 0
我想直接在代码中覆盖spark.sql.shuffle.partitions参数： val sparkSession = SparkSession .appName("SPARK")
sparkSession.conf.set("spark.sql.shuffle.partitions", 2) 但此设置不会生效，因为在日志中我收到以下警告消息： WARN OffsetSeqMet
浏览 39提问于2021-04-30得票数 2
我能够加载数据并追加新列。但是，无法保留旧的列列表。该列正在被覆盖。但是，我想要完整的列列表。+-----+--------+---+ import java.util.ArrayList;import org.apache.spark.sql.Dataset;
import org.apache.spar
浏览 22提问于2019-07-24得票数 1
我正在尝试使用SPARK-SQL和pyspark包装器来实现。我遇到了这个错误 given input columns:select `(qtr)?.+` from project.table;
使用以下属性在hive/beelin
浏览 1提问于2018-09-27得票数 3
itemName, itemCategoryName2, 1在这种情况下，在作为分区写入之后，当回读时，结果数据帧的数据类型为itemCategory。
浏览 0提问于2017-10-10得票数 4
我正在创建一个函数，它将连接字符串、SQL查询和连接属性作为参数。 val readSqlData = spark.read.jdbc(connectionString,_:String,connectionProps) 现在，我试图创建一个可以作为助手函数从任何地方调用的函数，因此我们不必为我们创建的每个SQL语句传递连接字符串和连接属性，如下所示：
import org.apache.spark<
浏览 0提问于2019-07-11得票数 2
回答已采纳
2回答
我想在spark中创建一个持久化(全局)视图，从底层jdbc数据库连接中获取数据。当我使用临时(会话范围)视图时，它工作得很好，如下所示，但是当我试图创建一个常规(持久和全局)视图时，它会失败。从技术上讲，我不明白为什么它不应该工作，因为数据是在临时视图中正确地从jdbc源检索的，因此，如果我想将查询“存储”在一个持久视图中，那么无论何时调用视图，它都可以直接从jdbc源检索数据。 dbtable '{tbl_in}', pass
浏览 14提问于2022-10-27得票数 0
回答已采纳
2回答
我有一个包含多个列的dataframe，其中一个列是map(string，string)类型。我能够打印这个数据，有列作为地图，给数据地图(“双关”-> "Pune")。我想要将这个dataframe写到hive表(存储为avro)，该表具有与map类型相同的列。col("cname"))删除
浏览 4提问于2020-02-27得票数 0
我在Azure Databricks中使用pyspark。, fnm, tnm, path): spark.sql(f'''select * ''').repartition(f'''DROP TABLE IF EXISTS {tnm}; ''')
spark.sql(f'
浏览 24提问于2021-10-23得票数 1
回答已采纳
3回答
我最近开始发现Databricks，并面临需要删除增量表的某一列的情况。当我使用PostgreSQL时，它就像DROP COLUMN metric_1;
我正在查看删除时的数据库，但它只覆盖了DELETE the我也找到了关于DROP database，DROP function和DROP table的文档，但完全没有关于如何从增量表中删除列的文档。这里我漏掉了什么？是否有从增量表中删除列的标准方法？
浏览 4提问于2019-01-31得票数 12
回答已采纳
1回答
import java.sql.Dateimport org.apache.spark.sql.functions._
val newDF = df.withColumn("addressADD COLUMNS (ad
浏览 30提问于2019-12-21得票数 3
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
