腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(7281)
视频
沙龙
1
回答
如
何在
Pyspark
Snowflake
Connector
中
使用
清除
选项
?
apache-spark
、
pyspark
、
snowflake-cloud-data-platform
如
何在
pyspark
-
snowflake
连接器
选项
中
使用
清除
选项
?我正在
使用
以下配置- df.write.mode('overwrite') \ .options(sfURLoption('purge', 'off') \ .option('dbtabl
浏览 23
提问于2021-07-02
得票数 0
1
回答
使用
Databricks
Snowflake
连接器通过Okta身份验证连接到
Snowflake
python
、
apache-spark
、
pyspark
、
databricks
、
snowflake-cloud-data-platform
我正在尝试连接到雪花从数据库
使用
火花连接器提到的。在示例
中
,连接是
使用
Snowflake
帐户的用户名和密码建立的。但是,在我的情况下,我通过Okta进行身份验证。我可以看到有一个Okta身份验证
选项
可以
使用
进行连接。然而,我找不到同样的Spark dataframe。 另外,对于生产管道部署,是否建议
使用
Okta身份验证?
浏览 17
提问于2020-06-06
得票数 0
2
回答
从火花放电局部机连接雪花时的典型错误
pyspark
、
snowflake-cloud-data-platform
from
pyspark
import SparkConf, SparkContext from
pyspark
.sql.typesimport * sc = SparkContext("local", "sf_test")= "net.
snowflake
.spark
浏览 0
提问于2020-01-20
得票数 1
2
回答
使用
spark连接器从
snowflake
自定义数据类型映射
python
、
pyspark
、
pyspark-sql
、
snowflake-cloud-data-platform
使用
snowflake
spark连接器从
snowflake
复制表时,默认行为是将结构化数据映射到spark字符串:https://docs.
snowflake
.net/manuals/user-guide/spark-
connector
-use.html#from-
snowflake
-to-spark-sql 例如,给定
snowflake
中
的一个表: create table schema.table
浏览 26
提问于2019-05-30
得票数 1
1
回答
使用
PySpark
的雪花ETL作业在本地工作,而在Dataproc上不工作
python
、
apache-spark
、
pyspark
、
snowflake-cloud-data-platform
、
google-cloud-dataproc
_jvm.net.
snowflake
.spark.
snowflake
.SnowflakeConnectorUtils.enablePushdownSession( .load() Dataproc gcl
浏览 4
提问于2020-02-27
得票数 1
1
回答
net.
snowflake
.client.jdbc.SnowflakeSQLException: JWT令牌无效
python
、
apache-spark
、
pyspark
、
snowflake-cloud-data-platform
、
databricks
我无法
使用
databricks
中
的火花放电来连接雪花。= "net.
snowflake
.spark.
snowflake
" at net.
snowflake
.spark.
snowflake
.SnowflakeRelation$$an
浏览 1
提问于2021-05-05
得票数 2
1
回答
如何正确设置
PySpark
-雪花连接的变量?
scala
、
apache-spark
、
pyspark
、
snowflake-cloud-data-platform
我正在
使用
文档并尝试运行一个简单的脚本,该脚本位于以下位置:: java.lang.ClassNotFoundException: Failed to find data source: net.
snowflake
.spark.
snowflake
.我还尝试
使用
jdbc的路径和位于/Users/Hana/spark-sf/目录
中
的spark-
sn
浏览 0
提问于2020-07-20
得票数 1
1
回答
如
何在
Kafka集群
中
创建和放置.env文件,以便Kafka连接器Config可以引用它
apache-kafka
、
apache-kafka-connect
、
snowflake-connector
我试图创建一个卡夫卡连接器从卡夫卡到雪花
使用
卡夫卡到雪花部分的这个。curl -i -X PUT -H "Content-Type"
connector
.class":"com.
snowflake
.kafka.
connector
.
浏览 7
提问于2022-01-12
得票数 0
1
回答
设置雪花converter_class仍然转换为Python数据类型
python
、
snowflake-cloud-data-platform
在python雪花连接器的文档
中
,它指出,在创建连接对象时设置连接参数converter_class可用于抑制对python类型的转换(将数据作为字符串保留)。但是,我认为以下两个连接(
使用
snowflake
-
connector
-python=2.7.0)运行的查询没有区别: DBH1 =
snowflake
.
c
浏览 1
提问于2021-11-24
得票数 2
回答已采纳
2
回答
如何与
PySpark
、SparkSQL和Cassandra合作?
apache-spark
、
cassandra
、
pyspark
、
pyspark-sql
我有点困惑于不同的演员在这个故事:
PySpark
,SparkSQL,卡桑德拉和火星雨-卡桑德拉连接器。在Scala中
使用
spark-shell,我可以做的很简单然后 import org.apache.spark.sql.cassandra.CassandraSQLContextcc.setKeyspace("mykeyspace&qu
浏览 7
提问于2016-02-28
得票数 1
4
回答
编写与雪花连接的
Pyspark
代码时所遇到的错误
pyspark
、
apache-spark-sql
、
snowflake-cloud-data-platform
当我试图从朱庇特笔记本
中
编写
PySpark
代码与雪花连接时,我遇到了一个错误。这是我遇到的错误:星星之火版本: v2.4.5主版:本地* Python 3.Xfrom
pyspark
import SparkConf, SparkContext from
py
浏览 8
提问于2020-06-25
得票数 5
回答已采纳
1
回答
来自
pyspark
的
snowflake
无密码登录
python
、
pyspark
、
aws-glue
、
snowflake-cloud-data-platform
我是
snowflake
的新手。我正在创建一个ETL作业,我们需要访问
snowflake
数据库。 我试着从两个地方连接到雪花。一个来自
使用
shell脚本的ec2实例,另一个来自aws glue
中
的
pyspark
。当我尝试从shell脚本连接时,我将密码保存在配置文件
中
,而当我尝试从
pyspark
连接时,我必须提供我的密码,如下所示 sfOptions ={ "sfURL“:'xxx',"sfAccount”:'但我不知道它
浏览 7
提问于2019-02-02
得票数 1
回答已采纳
3
回答
如何
使用
Snowflake
sql查询的结果填充pandas DataFrame?
pandas
、
dataframe
、
snowflake-cloud-data-platform
使用
,我可以查询雪花:ctx =
snowflake
.
connector
.connect(select * from MYDB.MYSCHEMA.MYTABLE''' 结果是一个
snowflake
.<e
浏览 0
提问于2018-11-02
得票数 16
2
回答
snowflake
select cursor语句失败
python
、
snowflake-cloud-data-platform
、
snow
‘cursor.execute(从表中选择*);’我们有没有其他方法可以用python脚本从雪花表中提取所有的数据
浏览 4
提问于2020-12-18
得票数 0
2
回答
无法从火花源连接到蒙古人
python
、
mongodb
、
pyspark
我正在尝试
使用
pyspark
连接到MongoDB。下面是我正在
使用
的代码from
pyspark
.sql import SQLContext sparkConf
浏览 4
提问于2018-01-08
得票数 3
回答已采纳
2
回答
在Python雪花连接器中将雪花复制为拒绝文件
python
、
sql
、
json
、
snowflake-cloud-data-platform
、
snowflake-connector
我
使用
Python雪花连接器将JSON文件放入雪花阶段,然后复制到将JSON插入到表
中
。这是我的密码: user=sf_user(role_init)
snowflake
_conn_cur.ex
浏览 4
提问于2022-01-26
得票数 0
回答已采纳
2
回答
使用
雪花火花连接器获得零指针异常
python
、
apache-spark
、
pyspark
、
snowflake-cloud-data-platform
并尝试
使用
雪花火花连接器和jdbc驱动程序访问雪花。.setAppName("Spark-
Snowflake
-
Connector
") spark = (SparkSession.builder.config(conf=conf)文件"/apps/shared/spark/python/lib/
pyspark
.zip/
pyspark
/sql/dataframe.py&quo
浏览 4
提问于2020-04-26
得票数 2
2
回答
为什么斯诺Why不打开外部浏览器?
snowflake-cloud-data-platform
我试图让snowsql在我的机器上在本地工作,但是我无法登录到我的数据库,因为它要求我
使用
我的google帐户进行SSO身份验证。文档
中
说要
使用
--authenticator externalbrowser
选项
,它应该打开本地浏览器并要求我登录,但这不会发生,什么都不会发生。我最后的日志显示 2021-06-17 14:48:12,211 (222954/MainThread)
snowflake
.
connector
.network DEBUG network:9
浏览 6
提问于2021-06-17
得票数 6
回答已采纳
4
回答
pyspark
Cassandra连接器
python-2.7
、
cassandra
、
pyspark
、
connector
我必须安装
pyspark
-cassandra-
connector
,它在
中
可用,但我遇到了巨大的问题和错误,并且没有关于python的spark的支持文档,这称为
pyspark
!我想知道
pyspark
-cassandra-
connector
包是失效了还是别的什么?另外,我需要清楚的git克隆
pyspark
- cassandra -
connector
包的一步一步的教程,安装和导入到
pyspark
shell
中
,并与cas
浏览 2
提问于2017-04-19
得票数 0
1
回答
验证数据的完整性
python
、
sql
、
etl
现在,我的要求只是验证SQL和雪花之间的表
中
的行和列计数是否相同,即在没有付费工具的情况下验证数千或数百万条记录的数据完整性。
浏览 0
提问于2023-04-17
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在CDH集群上部署Python3运行环境及运行Python作业
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
如何高效利用Java UI组件库,开发现代化图形用户
Windows和PC机上搭建Spark+Python开发环境的详细步骤
StreamNative 宣布开源 Function Mesh: 简化云上的复杂流任务
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券