1回答
我正在尝试删除我在Databricks平台中使用Pyspark创建的目标雪花表。 任何帮助的人，我找不到任何解决方案。
浏览 13提问于2019-12-10得票数 1
回答已采纳
我正在试着读一张spark-shell的雪花表。为了做到这一点，我做了以下工作。pyspark --jars spark-snowflake_2.11-2.8.0-spark_2.4.jar,jackson-dataformat-xml-2.10.3.jar>>> sc = SparkContext("local
浏览 39提问于2020-07-17得票数 0
回答已采纳
使用snowflake spark连接器从snowflake复制表时，默认行为是将结构化数据映射到spark字符串：https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#from-snowflake-to-spark-sql 例如，给定snowflake中的一个表： create table schema.tableas ar
浏览 26提问于2019-05-30得票数 1
1回答
我有一张巨大的雪花桌。我想在桌面上做一些转换。我的雪花表有一个名为“快照”的列。我只想读取pyspark中的当前快照数据，并对过滤后的数据进行转换。那么，是否有一种方法可以应用于在中读取雪花表时对行进行过滤(我不想在内存中读取整个雪花表，因为它没有效率)，还是需要读取整个雪花表(在中)，然后应用筛选器获取以下内容的最新快照？SNOWFLAKE_SOURCE_NAME = "net.snowflake.<em
浏览 2提问于2022-03-16得票数 0
回答已采纳
当我试图从朱庇特笔记本中编写PySpark代码与雪花连接时，我遇到了一个错误。这是我遇到的错误：星星之火版本: v2.4.5主版:本地* Python 3.Xfrom pyspark import SparkConf, SparkContext
from pyspark</em
浏览 8提问于2020-06-25得票数 5
回答已采纳
考虑到SQLContext的pySpark documentation说“从Spark2.0开始，这将被SparkSession所取代。”如何在不使用SQLContext的情况下从内存缓存中删除所有缓存表？例如，其中spark是SparkSession，sc是sparkContext from pyspark.sql import SQLContext
SQLContext(sc, spark).clearCache
浏览 20提问于2019-05-04得票数 3
回答已采纳
1回答
我们想把我们的源表从s3外部阶段摄取到雪花中。为此，我们必须考虑到达s3桶中的新文件、现有文件中的更新以及在某些情况下行删除。到目前为止，我们正在评估三种方法：
表的完整删除和复制(简单但较少的performant)copy命令，它将捕获新的和更新的文件，然后执行合并查询，根据特定的用例去重复甚至删除行(可以解决，但我们需要维护更复杂的合并和删除逻辑)在外部s3阶段之上使用外部表，并在外部表之上物化视图，以提高查询性
浏览 10提问于2022-05-18得票数 1
1回答
我相信该查询正在正确加载，但一旦我使用df.show()或df.write.csv，我就会得到以下错误。我似乎不知道是什么引起了这个问题。任何洞察力/指导都将不胜感激！java.lang.ClassLoader.loadClass(ClassLoader.java:418)示例代码
sfOptions = ConnectToSnowflake(creds_path='c
浏览 8提问于2020-02-26得票数 0
回答已采纳
如何在pyspark-snowflake连接器选项中使用清除选项？我正在使用以下配置- df.write.mode('overwrite') \ .options(sfURL.option('purge', 'off') \ .save() 但似乎每次我
浏览 23提问于2021-07-02得票数 0
将spark 2.0与pyspark一起使用。在目标表中，希望创建唯一的row_ids，它将是唯一递增的，并且不应重复。示例代码SouceDf.registerastemptable (souceDf)
Spark.sql
浏览 0提问于2018-06-15得票数 0
1回答
我在PySpark中工作，在得到最终输出表之前，我会进行一系列转换并应用用户定义的函数，然后编写给雪花。最后一条写到雪花的命令需要25分钟才能运行，因为它也在执行所有的计算，因为斯派克的评估很懒惰，直到最后一次调用才会进行评估。我希望在前面的步骤中对最后一个表进行评估，这样我就可以计时所有的转换需要多长时间，然后分别花多长时间编写雪花步骤。我怎样才能把这两者分开？final_df.show()
temp.write.format(SNOWFLAKE_SOURCE_NAME).opti
浏览 4提问于2020-07-28得票数 1
回答已采纳
1回答
数据库.从雪花到数据库的读表
、、、、
我在Databricks到雪花上看到了一些问题，但我的问题是如何将一个表从雪花到Databricks。到目前为止我所做的:创建一个集群并将集群附加到我的笔记本上(我正在使用Python)user =sfPassword": password, "sfSchema": "PUB
浏览 2提问于2021-09-29得票数 1
回答已采纳
2回答
并尝试使用雪花火花连接器和jdbc驱动程序访问雪花。jdbc:雪花-jdbc-3.12.4.jar火花-连接器:火花-雪花_2.11-2.7.0-火花_2.4.jarsfOptions = {
"sfURL" : "{}.snowflakecomputing.com文件"/apps/shared/spark/python/lib/pyspark.zi
浏览 4提问于2020-04-26得票数 2
1回答
目前使用PySpark on 数据库、交互式集群(与一起提交作业)和雪花作为输入/输出数据。我的Spark应用程序应该从雪花读取数据，应用一些简单的SQL转换(主要是F.when.otherwise、窄转换)，然后将其加载回雪花。(FYI，模式被传递给雪花阅读器和作家)
编辑:在编写之前，在过程的末尾也有一个排序转换。我可以理解，我只有一个Spark，所以假设有一个作业，所以Spark确实将作业命名为由sc.setJobDe
浏览 5提问于2021-11-30得票数 3
回答已采纳
因为我们可以使用下面的pyspark将数据读写到cosmosdb中， cfg = {"spark.cosmos.accountKey" : "xx==","spark.cosmos.co
浏览 17提问于2021-08-12得票数 0
我想要创建一个雪花表，如下所示：import pyspark.sql.context import SQLContextfrom pyspark import SparkContext
sqlContext = SQLContext(sc)
sqlContext.sql
浏览 7提问于2022-04-28得票数 0
回答已采纳
2回答
使用Databricks笔记本，我可以从Databricks连接到“雪花”，并使用'scala‘将内容写入雪花中的表中，但使用'python’却无法工作。我在Databricks中添加了两个库，这有助于在Databricks和雪花：snowflake-jdbc-3.6.8和spark-snowflake_2.11-2.4.4-spark_2.2之间建立连接我的目标是使用Datab
浏览 3提问于2018-08-16得票数 4
2回答
我可以用sqlContext读取电火花数据格式中的雪花表
.SNOWFLAKE_SOURCE_NAME) .option("query", sql)我如何在雪花</e
浏览 10提问于2022-04-27得票数 0
当我阅读Spark/Hive文档时，将插入到带有列列表的表中，在Spark2.4和更早版本中不支持。insert into output_table(fieldx, fieldy, fieldz) select cola, colb, colc from in
浏览 1提问于2019-01-09得票数 4
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
