我需要从在Azure Databricks上运行的Spark向SQL表中插入一行，并想知道是否有办法将从SQL Server (@@ identity )生成的主键的标识值返回到Databricks
浏览 9提问于2018-08-24得票数 2
1回答
FROM TBL1 在那之后，我正在使用下面的PySpark代码读取新创建的位置(TBL2)下面的文件。但是，下面的data frame仅使用lowercase中的所有列名创建。而预期的结果是在camel case中，就像我在上面对CTAS所做的那样。df = spark.read.format('ORC') \ .option('header',True) \
浏览 12提问于2019-12-23得票数 1
回答已采纳
我正在查看星火函数，elt吸引了我的眼球。elt returns the n-th input。但是，出于某种原因，elt将我的内容转换为字符串：+--------对于这样一个基本函数来说，转换为字符串似乎是一个非常任意的限制。
浏览 3提问于2021-08-19得票数 0
回答已采纳
3回答
如何在Apache Spark SQL中绑定变量？例如：sqlContext.sql("SELECT * FROM src
浏览 21提问于2014-11-05得票数 15
有没有人幸运地从Azure Synapse Analytics提供的火花池连接到Azure SQL数据库？我已经将Spark 上传为一个工作区库，并链接到Spark。安装这会导致在尝试启动Spark会话时出错。我犯了个错误。Cleaning up the Spark service job because the cluster has failed.conn = TokenLibrary.getC
浏览 9提问于2021-03-12得票数 0
回答已采纳
如何在spark 2.0中从Cassandra Datastax中读取数据？这就是我试过的-
val df = spark.read.format("org.apache.spark.sql.cassandra").options(Map("keyspace" -> "my_keyspace" java.lang.ClassNotFoundException: Failed to find data source: org
浏览 5提问于2020-09-03得票数 0
2回答
我在我的kafka主题中有一个流数据。我需要使用pyspark以pyspark dataframe的形式从topic中读取这些数据。但是当我调用readStream函数时，我不断地收到错误。我的代码如下：
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2.11Please find packages at http:
浏览 15提问于2018-01-12得票数 2
2回答
因此，我有一个common库，它将成为spark的核心库。org.apache.spark" % "spark-sql_2.10" % "1.6.0" exclude("org.apache.hadoop", "hadoop-yarn-server-web-proxy"),
// "org.apache.spark" % &qu
浏览 1提问于2018-03-25得票数 3
回答已采纳
我安装了: GeoSpark :1.3.1geospark- SQL _2.3:1.3.1受https://databricks.com/notebooks/geospark-notebook.html的启发我喜欢SQL并且想运行GeoSpark查询。我运行以下代码(从Notebook)： %scala
import com.vividsolutions.jts.geom.附言:我还试过： CREATE FUNCTION ST_Point AS 'org
浏览 19提问于2020-10-02得票数 1
re Spark文档2.3：
将Java用户定义函数注册为SQL函数。该值可以是pyspark.sql.types.DataType对象，也可以是DDL格式的类型字符串。我的问题是：
我想有一个大量的UDF库，为火花2.3+，都是用Java写的，都可以从PySpark/P
浏览 76提问于2018-08-11得票数 0
我可以解释广播连接是如何工作的，本文很好地解释了这一点：https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-joins-broadcast.html但是我找不到一篇文章来解释shuffle、hash、join和sort merge join的内部原理。有没有人能给出这两个的逐步算法？
浏览 26提问于2019-02-21得票数 3
我在Spark 2.3中有以下来自JSON文件的Dataframe： root | |-- element: structmap (containsNull = true) | | |-- value: string (nullable = true) 我在Spark2.4我如何在Spark 2.3中实现这一点？请提供
浏览 96提问于2021-05-09得票数 0
我面临的问题，同时启动火花-sql会话。WARN HiveConf: HiveConf of name hive.tez.cartesian-product.enabled does
浏览 1提问于2018-10-11得票数 2
回答已采纳
2回答
下面是我的密码。(StructType.scala:305) at org.apache.spark.sql.execution.datasources.FileFormatWriter$.，它说为了保留损坏的数据列，我们需要在模式中定义它，我正在这样做。解决这一问题的任何帮助都是非常感谢的。
浏览 4提问于2021-03-02得票数 2
回答已采纳
将两个array<string>合并成一个array<string>在2.4.x版本中是可能的，也很容易，但在2.3.0版本中找不到这样做的方法。输入-预期输出-有人能解释一下如何使用Java在Spark
浏览 9提问于2021-09-22得票数 1
我使用的是cdh5.1.0，它已经安装了默认火花。然而，我想使用星火1.3。我也可以将这个版本安装到cdh5.1.0中吗？怎么可能设置这些呢？新版本的火花是否也会通过Cloudera经理进行监控？
浏览 1提问于2015-04-17得票数 3
回答已采纳
我正在为确定父子表的表生成层次结构。下面是使用的配置，即使在收到与太大的帧有关的错误之后：--conf spark.yarn.executor.memoryOverhead=1024mb \import org.apache.spark.SparkContext;
import org.apache.spark.sql.{
浏览 3提问于2018-07-11得票数 8
1回答
在Spark structutred streaming (2.3)中，是否允许连接来自同一输入流数据集的两个流？
spark.sql("SELECT temperature, time, device, category FROM Input").cre
浏览 1提问于2018-07-29得票数 1
我找到了一个讨论如何通过Hive SQL将Tableau连接到Elastic Search的。我想知道有没有办法通过Spark SQL连接到Elastic Search，因为我对hive不是很熟悉。
浏览 2提问于2015-02-24得票数 0
我无法使用Python语言中的以下代码从spark_2.4.4结构化流连接到kafka_2.12-2.3.0。我的scala版本是2.11.12，OpenJDK是1.8.0_222spark = SparkSession\ .option("subscribe", "test")\
.option("starti
浏览 17提问于2019-10-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
