1回答
将SQL schema分配给Spark DataFrame
pyspark、apache-spark-sql
我正在将我团队遗留的Redshift SQL代码转换为Spark SQL代码。我见过的所有Spark示例都使用StructType和StructField以非SQL的方式定义模式，我更喜欢用SQL定义模式，因为我的大多数用户都知道SQL，但不知道Spark。有没有一种更好的方法，不需要定义一个空表，这样我就可以提取SQL模式？create_table_sql =
浏览 19提问于2019-05-03得票数 1
1回答
用spark读取多重json模式
json、scala、amazon-web-services、hadoop2、amazon-emr
json模式读取，
抛出一个错误org.apache.spark.sql.AnalysisException: Unable to infer schema for JSON.It must be specified manually.
浏览 0提问于2018-06-08得票数 4
3回答
如何比较SQL语句中两种数据的模式？
scala、apache-spark、apache-spark-sql
在spark (如 )中，有许多方法来验证两个数据帧的架构。但是我只想在SQL中验证两个数据帧的模式，我指的是SparkSQL。中没有数据库(模式)的概念，但是我读到了包含模式信息等的亚稳态。scala> val df1=spark.sql("SHOW SCHEMAS")
df1: org.apache.spark.sql.DataFrame = [databaseName: string]at org.ap
浏览 6提问于2018-09-04得票数 1
1回答
用火花-csv过载法误差
scala、apache-spark、apache-spark-sql
我正在使用Databricks spark csv包(通过Scala )，并且在定义自定义模式时遇到了问题。import org.apache.spark.sql.types.])org.apache.spark.sql.types.StructType <and>
(fields: Seq[org.apache.spark.sql.types.StructField])org.apache.spark.sql
浏览 5提问于2015-11-10得票数 4
回答已采纳
1回答
在不更改列名的情况下创建PySpark数据框
apache-spark、pyspark、apache-spark-sql、databricks
df = spark.read.format('ORC') \ .option('header',True) \
浏览 12提问于2019-12-23得票数 1
回答已采纳
2回答
带有选项的错误重载方法值regexp_replace
regex、scala、apache-spark-sql、databricks、regexp-replace
列中的数据如下所示：我试过用但我收到了错误信息：
注释:4:错误:重载的方法值为regexp_replace (e: org.apache.spark.sql
浏览 2提问于2019-02-16得票数 0
回答已采纳
1回答
如何使用listOfData和模式创建spark DataFrame
scala、dataframe、apache-spark
我正在尝试从数据列表创建一个DataFrame，并希望在其上应用模式。在Spark Scala文档中，我尝试使用这个接受行列表和模式作为StructType的createDataframe签名。(rows: java.util.List[org.apache.spark.sql.Row],schema: org.apache.spark.sql.types.StructType)org.apache.spark.sql.DataFra
浏览 36提问于2020-10-01得票数 0
回答已采纳
1回答
Spark-SQL :如何将TSV或CSV文件读入dataframe并应用自定义模式？
scala、apache-spark、apache-spark-sql、spark-dataframe
我在使用制表符分隔值(TSV)和逗号分隔值(CSV)文件时使用Spark 2.0。我希望将数据加载到Spark-SQL数据帧中，在读取文件时，我希望完全控制模式。我不希望Spark从文件中的数据中猜测模式。
如何将TSV或CSV文件加载到Spark SQL Dataframe中，并对其应用模式？
浏览 2提问于2017-04-20得票数 6
1回答
使用PySpark实现MongoDB到Elasticsearch
mongodb、elasticsearch、pyspark
我想使用PySpark将我的MongoDB集合集成到Elasticsearch中。我有MongoDB的连接字符串，但我不知道如何构造代码结构或指定一些参数。有人能给我创建这个任务的代码示例吗？虽然我在这个领域仍然是新手，但我已经尝试阅读了一些文档，但我发现自己被一些参数卡住了，仍然不能清楚地了解这项任务。谢谢你帮我。
浏览 20提问于2021-11-10得票数 0
2回答
使用Spark SQL创建带有连接的配置单元表时使用的引擎
scala、apache-spark、hive、apache-spark-sql
我不能从文档中确定当使用Spark中的HiveContext创建Hive表时，它是使用Spark引擎还是标准Hive mapreduce作业来执行任务？val sc = new SparkContext() CREATE TABLE db.new_table
浏览 0提问于2018-07-13得票数 0
2回答
星星之火-- SparkSession应该只是其中之一吗？
apache-spark
在一些示例代码中，SparkSession实例是单例的。这是否意味着应该只有一个SparkSession实例？如果有多个SparkSession，会发生什么？他们(SparkSessions)能相互作用吗？
浏览 18提问于2017-02-06得票数 2
回答已采纳
1回答
如何以与Server相同的方式在Spark中进行表分组？
sql-server、apache-spark、pyspark、apache-spark-sql
在Server中，我们有一个数据库，在数据库中我们有模式，在这个模式下我们有表，比如DatabaseName.SchemaName.TableName。我们还将数据库称为SQL Server中的目录。
spark.sql('
浏览 6提问于2022-09-26得票数 0
2回答
EMR Spark群集模式配置单元问题
scala、apache-spark、hive、apache-spark-sql、emr
在集群模式下运行scala spark 2.1应用程序时出现问题。当我尝试在cluster模式下提交jar时，我收到一个异常： at org.apache.spark.sql.SparkSession$.org$apache$spar
浏览 22提问于2017-08-04得票数 0
1回答
使用hive表读取多个拼图文件
hive、schema、parquet
嗨，我有2个拼花文件与不同的列编号1)名称，类别，标志2)名称，类别，标志，等级如何在配置单元中设置parquet.mergeSchema属性？
浏览 0提问于2018-04-06得票数 1
1回答
如何在SQL模式(而不是Dataset API)中使用缓存或显式存储级别？
apache-spark、dataframe、apache-spark-sql
如何在Spark模式下使用具有存储级别的PERSIST？在Spark中可以使用CACHE。
浏览 6提问于2017-09-27得票数 2
回答已采纳
1回答
工作簿环境中的date_format失败
palantir-foundry
在Palantir Foundry Code Workbook Spark SQL节点(或在Spark控制台中的SQL模式中)中，这是可行的：2021-01SELECT date_format('2021-01-01',"yyyy-Q")
java.lang.IllegalArg
浏览 3提问于2021-11-25得票数 2
回答已采纳
2回答
为什么完全输出模式需要聚合？
apache-spark、spark-structured-streaming
我在ApacheSpark2.2中使用了最新的结构化流，并得到了以下例外：
res0: String = 2.2.0
import org.apache.spark
浏览 1提问于2017-08-18得票数 19
回答已采纳
1回答
将clojure向量转换为flambo sql行
sql、clojure、apache-spark、apache-spark-sql、flambo
我正在开发一个函数，将向量转换为sql行，以进一步将其转换为数据帧，并使用Apache中的SQLcontext将其保存到表中。我正在克洛尔开发，一路上迷路了。
浏览 3提问于2015-07-30得票数 1
回答已采纳
1回答
使用可选值从json导入模式
json、scala、apache-spark、apache-spark-sql
[ { "k1" : "someValue", { "k1" : "someOtherValue" }当我试图在模式中指定可选字段时表中没有该字段的所有条目都具有所有空值：row1: "someValue" [true]是否有可能
浏览 4提问于2017-12-05得票数 1
1回答
有没有什么方法可以让我在一个pyspark脚本中从10个不同的模式中拉取数据？
hadoop、pyspark、apache-spark-sql、pyspark-dataframes
我在SQL server上有一些数据，这些数据存储在10个不同的模式中。尽管表结构在所有模式中都是相同的。有没有什么方法可以让我在一个pyspark脚本中提取所有的数据？另一种方法是为10个模式创建10个数据框，然后联合所有模式，这将需要我访问sql服务器10次。例如，如下所示：
df1 = spark.sql("""select id, name, address from schema_1.personal_detai
浏览 10提问于2020-05-19得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号