如何在spark会话中指定雪花选项？
在Spark会话中指定雪花选项，可以通过以下步骤实现：
- 首先，确保你已经安装了Snowflake Connector for Spark。可以通过以下链接获取安装指南和相关文档：Snowflake Connector for Spark
- 在Spark应用程序中，导入Snowflake Connector的相关库和类。例如，在Scala中，可以使用以下代码导入Snowflake Connector的库：
- 在Spark应用程序中，导入Snowflake Connector的相关库和类。例如，在Scala中，可以使用以下代码导入Snowflake Connector的库：
- 创建一个Spark会话，并在配置中指定Snowflake选项。在Spark会话的配置中，你可以设置Snowflake连接的相关参数，如账户、用户、密码、数据库、架构等。以下是一个示例代码：
- 创建一个Spark会话，并在配置中指定Snowflake选项。在Spark会话的配置中，你可以设置Snowflake连接的相关参数，如账户、用户、密码、数据库、架构等。以下是一个示例代码：
- 请将
<your_account_url>、<your_username>、<your_password>、<your_database>、<your_schema>替换为你的Snowflake连接信息。 - 现在，你可以在Spark会话中使用Snowflake Connector来读取和写入Snowflake数据库中的数据。以下是一些示例代码：
- 从Snowflake读取数据：
- 从Snowflake读取数据：
- 将数据写入Snowflake：
- 将数据写入Snowflake：
- 请将
<your_account_url>、<your_username>、<your_password>、<your_database>、<your_schema>、<your_warehouse>、<your_table>替换为你的Snowflake连接和表信息。
通过以上步骤，在Spark会话中指定Snowflake选项，你可以与Snowflake数据库进行交互，并进行数据读取和写入操作。
相关·内容
1回答
有没有可能对来自Spark的所有查询使用一个事务？据我所知，事务不受支持。然而，最近我在我们的Spark (pyspark)作业中遇到了以下代码，它试图使用雪花事务：
run_snowflake_query(sfOptions, "BEGIN TRANSACTION;")
run_snowflake_query(sfOptions, prep_query_1)
run_snowflake_query(sfOptions, prep_query_2)
df.write.format(SNOWFLAKE_SOURCE_NAME).options(**
浏览 2提问于2021-04-28得票数 0
我已经编写了aws glue job，我试图将雪花表作为spark数据帧读取，并尝试将spark数据帧写入snowflake表。在这两种情况下，我的工作都无法显示“操作模式的权限不足”。
但是当我在雪花cli上直接写insert语句时，我能够插入数据。所以基本上我有插入权限。
那么，当我尝试从dataframe中插入数据或从snowflake表中读取数据作为dataframe时，我的作业为什么会失败呢？
下面是我将数据写入雪花表的代码。
sfOptions = {
"sfURL" : "xt30972.snowflakecomputing.com",
浏览 0提问于2019-02-09得票数 0
如果我想为雪花表编写一个Dataframe，那么考虑到雪花中已经不存在该表，并且在我的Dataframe中的时间戳列应该在存储时在雪花中反映为TIMESTAMP_LTZ格式。
注意:我不想在雪花中将时间戳数据格式更改为TIMESTAMP_LTZ，我希望所有事情都发生在我的火花代码本身。
编辑：
我看到的行为是雪花表有TIMESTAMP_NTZ的数据类型
浏览 3提问于2019-12-10得票数 2
回答已采纳
当我在雪花Web控制台的工作表选项卡中运行select myadd(2,2);时，我会得到一个错误"SQL编译错误:未知函数MYADD“，但是UDF在斯诺公园中工作。
为什么我不能在雪花工作表中执行创建的UDF？它列在show user functions中。
我在斯诺帕克中创建了myadd UDF，如下所示：
@udf(name="myadd", replace=True)
def myadd(x:int, y:int) -> int:
return x + y
当我在斯诺帕克作为session.sql("select myadd(2,2)
浏览 11提问于2022-08-30得票数 0
1回答
我正试图将数据数据(df)加载到雪花中。这个表是用雪花创建的，我正在尝试文档中所写的内容。
我正在做以下工作：
df.show()
sfOptions = {
"sfURL" : "",
"sfAccount" : "",
"sfUser" : "",
"sfPassword" : "",
"sfDatabase" : "",
"sfSchema" : "",
浏览 18提问于2021-12-10得票数 1
回答已采纳
1回答
我试图从AWS RDS系统读取数据，并使用火花写入雪花。我的SPARK工作与RDS建立了JDBC连接，并将数据提取到数据中；另一方面，我使用雪花连接器向雪花写入相同的数据。
问题陈述:当我试图编写数据时，即使是30 GB的数据也要花很长的时间来编写。
解决方案--我尝试了：
1)在编写前对数据进行重新划分。
2)缓存数据。
3)在写入前进行df计数，减少写入时的扫描时间。
浏览 1提问于2018-05-02得票数 1
我希望使用雪花查询_历史的sessionId来查找在一个会话中执行的所有查询。当我有不同的工作表，创建不同的会话时，它在雪花端很好地工作。但是从其他工具(在重新创建连接之前，它看起来使用相同的连接池)，它为雪花端query_history上的多个作业创建相同的会话id。是否有办法在每次执行时创建sessionID？我正在使用control调度/作业自动化工具来执行多个作业，这些作业执行不同的雪花存储过程。我想看看是否可以在雪花sessionID表上每次执行过程时获得不同的query_history。
谢谢Djay
浏览 10提问于2022-03-02得票数 1
2回答
使用databricks spark，能够使用connector(spark-snowflake_2.11-2.3.0.jar，spark雪花-JDBC2.8.1.jar将数据写入雪花中，而不是使用JDBC。但是如果没有databricks，当我试图在安装了火花的本地机器上应用相同的代码时，我无法使用火花-雪花连接器写入雪花。我面临的错误是classNotFoundExceptoion for snowflake.DefaultSource。但是能够使用JDBC连接从本地安装spark的本地机器写入雪花。
浏览 1提问于2018-10-13得票数 1
1回答
我想写一个火花DataFrame到一个雪花表。我为Spark使用了一个查询，并将通过MERGE into语句传递一个“”选项，如下所示：
merge_query = "merge into target_table using stage_table
on target_table.id = stage_table.id
when matched then
update set target_table.description = stage_table.description"
df.write
.format(
浏览 3提问于2020-08-10得票数 1
1回答
我正在尝试连接到由气流EMR操作员启动的EMR集群中的雪花，但我得到了以下错误
py4j.protocol.Py4JJavaError:调用o147.load时出错。：：java.lang.ClassNotFoundException:未能找到数据源: net.snowflake.spark.snowflake。请在找到包裹
以下是我要添加到EMRaddsteps操作符中以运行脚本load_updates.py的步骤，并在"Args“中描述我的雪花包。
STEPS = [
{
"Name" : "convo_facts",
浏览 6提问于2021-02-20得票数 0
回答已采纳
1回答
我能够创建基于对接的bitnami独立星火实例，并在其上运行火花作业。然而，我不能写数据雪花从火花数据。
我创建了一个Dockerfile来将雪花罐复制到图像中，但它仍然找不到雪花插件。但是，如果我检查jar文件夹，jar文件就在那里。我得到以下错误：
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 8.0 failed 4 times, most recent failure:
Lost task 0.3
浏览 3提问于2022-04-24得票数 1
我正在尝试使用spark-submit中的雪花火花连接器包，使用--packages
当我在当地跑的时候，一切都很好。我能够连接到Snowflake table并返回一个火花DataFrame。
spark-submit --packages net.snowflake:snowflake-jdbc:2.8.1,net.snowflake:spark-snowflake_2.10:2.0.0 test_sf.py
但是当我试图传递-主参数时，它失败了，说明雪花类是不可用的.
spark-submit --packages net.snowflake:snowflake-jdbc:2.8.1,n
浏览 4提问于2019-10-11得票数 1
回答已采纳
有人知道如何在启动Spark History Server时在SparkConf中设置值吗？
浏览 5提问于2016-01-21得票数 3
当我执行我的电火花代码时，我会收到这个警告。我正在写从S3到雪花。我的雪花火花缭乱的包裹
net.snowflake:snowflake-jdbc:3.13.10,
net.snowflake:spark-snowflake_2.12:2.9.2-spark_3.1
我的本地火花放电版本是
Spark version 3.2.1
Hadoop version 3.3.1
警告：
WARN SnowflakeConnectorUtils$: Query pushdown is not supported because you are using Spark 3.2.1 with a conne
浏览 8提问于2022-03-12得票数 0
2回答
我想为雪花表发出一个DESC TABLE SQL命令，并使用Azure，但我不太清楚！我没有任何错误，但我也没有得到任何结果。下面是我使用的Python代码：
options_vcp = {
"sfUrl": snowflake_url,
"sfUser": user,
"sfPassword": password,
"sfDatabase": db,
"sfWarehouse": wh,
"sfSchema": sch
}
sfUtils = sc._jvm.net.sn
浏览 7提问于2022-07-01得票数 1
回答已采纳
我有一个csv，示例数据如下：
61 MXN墨西哥Peso 2017/02/23
我试图使用以下命令将其插入雪花中：
create or replace stage table_stage file_format = (TYPE=CSV,ENCODING = 'WINDOWS1252');
copy into table from @table_stage/table.csv.gz file_format = (TYPE=CSV FIELD_DELIMITER='|' error_on_column_count_mismatch=false, ENCO
浏览 4提问于2022-02-12得票数 1
根据我的用例，我试图将数据从s3写入雪花。我的应用程序是用Python/Pyspark编写的，并且运行在AWS集群上。
守则是：
def write_from_audience_parquet_to_snowflake(self):
self.logger.info('write_from_audience_parquet_to_snowflake started')
path = os.path.dirname(os.path.abspath(__file__))
parquet_stage = read_template(path + '/
浏览 12提问于2020-03-20得票数 1
雪花文档建议将simulated_data_sharing_consumer参数设置在会话级别，以测试数据共享，其方式与此类似：
-- For example, for a consumer account named xy12345:
alter session set simulated_data_sharing_consumer = xy12345;
是否可以在不结束会话的情况下重置此参数？如果是这样的话，是怎么做的？我在雪花文档中找不到具体的说明。
浏览 10提问于2022-09-10得票数 0
我正试着在我的本地机器上连接火花公子的雪花。
我的代码如下所示。
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark import SparkConf, SparkContext
sc = SparkContext("local", "sf_test")
spark = SQLContext(sc)
spark_
浏览 0提问于2020-01-20得票数 1
2回答
使用Databricks笔记本，我可以从Databricks连接到“雪花”，并使用'scala‘将内容写入雪花中的表中，但使用'python’却无法工作。
我在Databricks中添加了两个库，这有助于在Databricks和雪花：snowflake-jdbc-3.6.8和spark-snowflake_2.11-2.4.4-spark_2.2之间建立连接。
我的目标是使用Databricks (用于机器学习-火花)，并在Databricks和雪花之间来回移动数据。
下面是代码，我试图将DataFrame的内容写到雪花中：
将数据加载到DataFrame
浏览 3提问于2018-08-16得票数 4
我正在构建数据管道，通过在AWS中创建自定义连接器，通过AWS将数据从S3桶迁移到雪花。
在运行胶水作业时，我会遇到以下错误：
**An error occurred while calling o100.pyWriteDynamicFrame. Glue ETL Marketplace: JDBC Data Sink: Column "serial_number" not found in schema Some(StructType(StructField(SERIAL_NUMBER,DoubleType,true), StructField(COMPANY_NAME,St
浏览 6提问于2021-07-06得票数 0
2回答
我可以在表创建后立即读取它，但是如何在另一个spark会话中再次读取它呢？
给定代码：
spark = SparkSession \
.builder \
.getOrCreate()
df = spark.read.parquet("examples/src/main/resources/users.parquet")
(df
.write
.saveAsTable("people_partitioned_bucketed"))
# retrieve rows from table as expected
spark.sql("
浏览 0提问于2018-01-24得票数 5
我得到以下错误
需求失败:只要Maven坐标必须在'groupId:artifactId:version‘形式中
当我运行以下命令时
spark-submit --class StreamHandler\
--master local[*]\
--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.5,\
net.snowflake.snowflake-ingest-sdk:0.10.3,\
net.snowflake.snowflake-jdbc.3.13.14\
target/scala-2.11/strea
浏览 5提问于2022-05-10得票数 0
回答已采纳
1回答
从中杀死雪花查询
、、
是否有一种使用Spark连接器来杀死雪花查询的方法？或者，是否有一种方法来获取星火中最后一个查询id或会话id，以在Spark之外杀死它。
用例是用户控制的长时间运行的星火作业和长期运行的雪花查询。当用户正在关闭Spark作业时，当前的雪花查询将继续运行(多个小时)
谢谢
浏览 2提问于2021-10-15得票数 3
当我试图将雪花中的数据加载到一个数据数据中时，我会得到这个错误：
py4j.protocol.Py4JJavaError: An error occurred while calling o45.load.
: java.lang.NoClassDefFoundError: net/snowflake/client/jdbc/internal/org/bouncycastle/jce/provider/BouncyCastleProvider
下面是一些再现错误的代码：
from pyspark.sql import SparkSession
from pyspark import Spark
浏览 4提问于2021-03-09得票数 0
回答已采纳
在启动spark-submit / pyspark时，我们有一个使用--jars选项指定jar文件的选项。我们如何在pyspark中指定maven依赖项。在运行pyspark应用程序时，我们是否必须一直传递所有的jars，还是有一种更干净的方法？
浏览 3提问于2017-03-23得票数 5
在PySpark/spark-sql中是否有相当于雪花的spark-sql
REGEXP_EXTRACT存在，但不像REGEXP_SUBSTR所支持的那样支持更多的参数。
这里有一个指向的链接。
这里有一个指向的链接。
更具体地说，我正在寻找position、occurrence和regex parameters的替代品，它们都是由雪花的REGEXP_SUBSTR支持的。
位置：函数开始搜索匹配字符串开头的字符数。
事件：指定要匹配的模式的匹配项。函数跳过第一个匹配项-1匹配。
regex_parameters：我专门查找参数'e'，它执行以下操作:提取子匹配。
因此，查询类似
浏览 7提问于2020-09-15得票数 0
回答已采纳
1回答
编辑1 -我们已经创建了一个python脚本，它将使用从excel/csv读取数据，然后将对其进行清理。清理完数据后，它将连接到雪花服务器和append表中的数据，该表已经在雪花中可用。现在问题是-
在将数据从python传输到雪花的过程中。但是，我是否需要确保在(case-sensitive)中大熊猫的列名与雪花中的列名相同？或者，任何情况都能推动数据吗？
浏览 5提问于2022-08-05得票数 0
1回答
目前使用PySpark on 数据库、交互式集群(与一起提交作业)和雪花作为输入/输出数据。
我的Spark应用程序应该从雪花读取数据，应用一些简单的SQL转换(主要是F.when.otherwise、窄转换)，然后将其加载回雪花。(FYI，模式被传递给雪花阅读器和作家)
编辑:在编写之前，在过程的末尾也有一个排序转换。
为了测试目的，我把我的工作命名如下：(作者和读者应该被命名)
sc.setJobDescription("Step Snowflake Reader")
我很难理解Spark向我展示了什么：
因此，我得到了3个工作，所有相同的作业名称(作家)。我可以
浏览 5提问于2021-11-30得票数 3
回答已采纳
我对雪花只有一个getConnection，执行多个查询会给出相同的会话id。
我想为在单个getConnection下执行的每个查询创建单独的会话id --怎么做？
我正在使用雪花、spring引导应用程序和hikariCP。
浏览 5提问于2022-07-04得票数 0
我正在从“雪花”中的存储表中读取数据。我希望将日期从dataframe maxdatefromtbl传递给我在spark中的查询，以筛选记录。此条件(s"CREATED_DATE!='$maxdatefromtbl'")未按预期工作。
var retail = spark.read.format("snowflake").options(options).option("query","Select MAX(CREATED_DATE) as CREATED_DATE from RSTORE").load()
va
浏览 4提问于2022-10-26得票数 0
回答已采纳
csv_file：
|column_1 | Column_2 | Column_3 |
|===========================================|
|abc | xyz | 9/15/2020 1:28:00 AM |
我试图使用以下命令将文件从s3加载到雪花：
COPY INTO table_name
FROM @stage/file_name.csv
FILE_FORMAT = (
type = csv
SKIP_HEADER = 1
)
FORCE = TRUE
ON_ERROR = C
浏览 9提问于2020-10-20得票数 1
使用snowflake spark连接器从snowflake复制表时，默认行为是将结构化数据映射到spark字符串：https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#from-snowflake-to-spark-sql 例如，给定snowflake中的一个表： create table schema.table as
select
array_construct('1','a') as array_col,
object_construct(
浏览 26提问于2019-05-30得票数 1
1回答
我有一张巨大的雪花桌。我想在桌面上做一些转换。我的雪花表有一个名为“快照”的列。我只想读取pyspark中的当前快照数据，并对过滤后的数据进行转换。
那么，是否有一种方法可以应用于在中读取雪花表时对行进行过滤(我不想在内存中读取整个雪花表，因为它没有效率)，还是需要读取整个雪花表(在中)，然后应用筛选器获取以下内容的最新快照？
SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake"
snowflake_database="********"
snowflake_schema="********
浏览 2提问于2022-03-16得票数 0
回答已采纳
据我们所知，我们在雪花上有3张时间戳，
TIMESTAMP_NTZ
TIMESTAMP_LTZ
TIMESTAMP_TZ
因此，在为雪花表编写时间戳时，bydefault将其作为TIMESTAMP_NTZ。在写到雪花表时，雪花如何在CST时区取下时间戳？
浏览 1提问于2019-12-10得票数 0
回答已采纳
我只想问一个奇怪的问题，我想问雪花专家来澄清这个问题。我们知道雪花默认隔离级别已被提交；我有一个事务--让我们使用A从表T1中截断数据，并使用转换后的新数据加载表T1；同时还有另一个事务，比如B试图读取表T1中的数据，同时在事务A中截断这些数据；我是否能够在事务B中从表T1读取数据，因为它仍在另一个事务A中被截断。
我的想法是肯定的；事务B应该能够从表T1中读取它，因为事务A仍在进行中，尚未提交。
浏览 0提问于2021-06-15得票数 0
回答已采纳
1回答
我有一个lambda函数，它在雪花上运行这个查询。
CREATE OR REPLACE TABLE "foobar_table" AS (
SELECT * FROM "foobar_view"
)
我想知道的是，当aws在15分钟后仍然运行此查询时，会发生什么情况。Lambda使用自动提交功能连接到雪花，在连接关闭后提交所有更改。
到目前为止，我观察到的是混淆了我，我想知道这是某个UB，还是文档中的某个地方描述了这个案例。仍然在运行CREATE OR REPLACE sql，我确信它还没有完成，但是由于某种原因，表被创建了，我可以在雪花中正常使用它。我
浏览 4提问于2020-09-17得票数 1
回答已采纳
1回答
我试图连接到雪花从EMR集群使用火星雨。
我正在使用这两个罐子在火花-提交。
snowflake-jdbc-3.5.2.jar spark-snowflake_2.11-2.7.0-spark_2.4.jar
但由于连接超时错误，它失败了。我为EMR集群配置了正确的代理。从同一个EC2 (EMR )中，我能够使用snowsql和python连接器连接到雪花。
我不知道它为什么会因为火花放电而被淘汰。
浏览 5提问于2020-04-10得票数 0
2回答
我有一个3节点的星系团。并尝试使用雪花火花连接器和jdbc驱动程序访问雪花。
jdbc:雪花-jdbc-3.12.4.jar火花-连接器:火花-雪花_2.11-2.7.0-火花_2.4.jar
这是我的代码：
sfOptions = {
"sfURL" : "{}.snowflakecomputing.com".format(ACCOUNT_NAME),
"sfUser" : "{}@fmr.com".format(USER_ID),
"sfAccount" : "{}".format(
浏览 4提问于2020-04-26得票数 2
1回答
我有一个问题，把数据类型从雪花查询到熊猫数据。我希望尽可能地使用较小的数据类型，以减少内存的使用。因此，我想让我的熊猫专栏成为int8或int16中的整数，而不是现在的int64。
我的问题是：
从雪花文档中，我们可以读到：
我试图以以下方式转换int列：
select myvariable::smallint
from mytable
和
select myvariable::number(5,0) -- totaly arbitrary precision, depends on the column
from mytable
应该是较小的数据类型。
然而，这些解决方案中的任何一个都不
浏览 3提问于2022-05-09得票数 0
回答已采纳
1回答
我在csv中的实际数据提取从第10行开始。我如何使用copy或其他实用程序跳过雪花加载中的前几行。我们有没有类似于SKIP_HEADER的东西？
我有S3上的文件，这是我的舞台。稍后，我将在此数据源上创建一个雪花管。
浏览 0提问于2020-02-19得票数 0
2回答
我是第一次接触星火和Python，我有一个存储在python变量中的sql，我们使用的是SnowFlake数据库。如何通过雪花连接的SQL创建spark数据？
import sf_connectivity (we have a code for establishing connection with Snowflake database)
emp = 'Select * From Employee'
snowflake_connection = sf_connectivity.collector() (It is a method to establi
浏览 10提问于2020-06-04得票数 0
2回答
我试着用雪花从一张桌子上读到数据，并试图把它写回来！我能够连接到雪花，以数据的形式读取数据，但不能将数据写回表。
连接到雪花的代码
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from py4j.java_gateway import java_i
浏览 5提问于2022-08-10得票数 0
我想在spark中读取avro文件，但不幸的是，我的公司中的集群没有com.databricks.spark.avro。
所以我试着
spark-shell --package com.databricks:spark-avro_2.10:0.1.
这就产生了未解决的依赖关系。
import com.databricks.spark.avro._ is not supported.
也试过
spark-shell --jar spark-avro_2.11-3.2.0.jar
这不会打开外壳。
spark.read.format("com.databricks.spark.avro
浏览 1提问于2018-03-28得票数 3
回答已采纳
1回答
我试图加入来自不同的雪花数据库的两个表/数据块，我尝试使用雪花，而不是使用sql方式(即session.sql(""))。
# Connecting to Database one
first_session = Session.builder.configs(connection_parameters).create()
# Connecting to Database Two
second_session = Session.builder.configs(connection_parameters).create()
table_one = first_session.
浏览 3提问于2022-09-09得票数 0
2回答
我正在尝试使用胶水ETL将数据从s3桶csv文件加载到雪花中。在ETL作业中编写了一个python脚本，如下所示：
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from py4j.java_g
浏览 3提问于2020-01-07得票数 1
我的公司正从甲骨文的‘Oracle’数据仓库转向雪花云存储。
我支持许多使用传递查询的Microsoft应用程序，这些查询在connection属性中使用一个简单的字符串。一旦用户下载了适当的Oracle (X64)客户端，他们就开始营业了。
与雪花，客户端软件也是一个简单的下载。但是，我被卡住了，使连接字符串正常工作。以下是我目前所处的位置：
ODBC;DRIVER={SnowflakeDSIIDriver};SERVER=xxxx.us-east-1.privatelink.snowflakecomputing.com;UID=xxx@xxx.com;PWD=xxx;WH=XYZ;DATA
浏览 4提问于2021-10-25得票数 2
回答已采纳
1回答
雪花表作为数据库中的外设表
、、、、
有没有人知道是否有可能在databricks蜂巢转移中将雪花表设置为外部表？
我正在做一个项目，在Azure databricks 2中有一些表，我们从databricks管理它们。为了能够从databricks查询表，需要将它们添加到databricks中的现有数据库中。语法如下：
CREATE TABLE IF NOT EXISTS <DATABASE>.<TABLE_NAME> USING DELTA LOCATION <PATH_TO_TABLE>
现在，我需要对我们在雪花中的一些桌子做同样的处理。我能够用火花连接器将表带到databricks。
s
浏览 7提问于2021-10-25得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
