腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
Python
:
如何
使用
Apache
光束
连
接到
Snowflake
?
python
、
google-cloud-dataflow
、
pipeline
、
apache-beam
、
snowflake-cloud-data-platform
我看到BigQuery有一个内置的I/O连接器,但我们的很多数据都存储在
Snowflake
中。有没有连
接到
Snowflake
的解决方法?我能想到的唯一办法就是
使用
sqlalchemy运行查询,然后将输出转储到云存储存储桶中,然后
Apache
-Beam就可以从存储在存储桶中的文件中获取输入数据。
浏览 22
提问于2020-01-29
得票数 3
回答已采纳
1
回答
ContextualVersionConflict在
使用
S3 boto3和雪花连接器时
python-3.x
、
amazon-s3
、
pip
、
boto3
、
snowflake-cloud-data-platform
我试图
使用
boto3和
snowflake
-connector-
python
连
接到
亚马逊的boto3和
snowflake
-connector-
python
,并运行以下软件包:
snowflake
-connector-
python
==2.2.7我通过以下方式创建我的s3
连
接: import,
使用<
浏览 2
提问于2020-06-23
得票数 1
回答已采纳
2
回答
在executor pod上获取java.lang.UnsupportedOperationException
apache-spark
、
apache-spark-sql
我正在
使用
pyspark运行一个
python
脚本,该脚本连
接到
Kubernetes集群,
使用
executor pods运行作业。(ArrowBuf.java:247) at net.
snowflake
.client.jdbc.internal.<e
浏览 0
提问于2020-07-15
得票数 0
2
回答
JDBC驱动程序遇到通信错误。信息: HTTP status=400
jdbc
、
snowflake-cloud-data-platform
、
http-status-code-400
通过提供连接字符串,我试图通过
使用
雪花jdbc 3.7.2
连
接到
雪花DB。字符串的格式是:我也尝试
使用
以下字符串:SQ
浏览 4
提问于2020-09-30
得票数 0
回答已采纳
1
回答
Apache
光束
Spark便携Runner
apache-beam
python
"SaiStudy -
Apache
-Beam-Spark.py“--runner=PortableRunner --job_endpoint=192.168.99.102:8099 我的_MultiThreadedRendezvous:已终止的RPC的状态:<_MultiThreadedRendezvous = StatusCode.UNAVAILABLE details =“无法连
接到
所有地址client_chann el.cc","file_line":4090,"
浏览 16
提问于2020-10-24
得票数 0
4
回答
编写与雪花连接的Pyspark代码时所遇到的错误
pyspark
、
apache-spark-sql
、
snowflake-cloud-data-platform
::java.lang.ClassNotFoundException:未能找到数据源: net.
snowflake
.spark.
snowflake
。请在 找到包裹这是我的密码:from pyspark.sql-3.5.4.jar,/Users/zhao/Downloads/spark-
snowflake
_2.11-2.3.2.ja
浏览 8
提问于2020-06-25
得票数 5
回答已采纳
1
回答
在
Python
中连接雪花
python
、
sql
、
snowflake-cloud-data-platform
您好,我正在尝试将我的
Snowflake
ODBC连
接到
python
以创建查询。我得到了结果,但我看到控制台显示了很多隐藏结果的消息。有没有办法只显示我的查询结果?或者是连接
Python
的另一种方式?
浏览 17
提问于2021-05-21
得票数 0
1
回答
在
apache
apache
中
使用
KafkaIO时出错
python
、
ubuntu
、
apache-kafka
、
apache-beam
、
apache-beam-io
我正在
使用
阿帕奇
光束
DirectRunner从卡夫卡主题加载数据。(pipeline )
python
3 topic_to_gcs --runner DirectRunnerFile "/usr/lib/
python
3.7/subp
浏览 1
提问于2020-07-08
得票数 1
2
回答
在气流中看不到雪花conn_type
airflow
、
snowflake-cloud-data-platform
我可以在pip列表中看到以下内容,但当我尝试通过GUI添加
Snowflake
连接时,
Snowflake
不是下拉列表中的一个选项。
apache
-airflow-providers-雪花2.1.0雪花-连接器-
python
2.5.1雪花-sqlalchemy 1.2.3 我是不是遗漏了什么?
浏览 1
提问于2021-08-10
得票数 0
1
回答
尝试路由HTTPS流量时,SSH隧道无法
使用
JDBC
jdbc
、
ssl-certificate
、
ssh-tunnel
、
apache-httpcomponents
、
snowflake-cloud-data-platform
我正在尝试连
接到
Snowflake
,它只有443端口打开,用于
使用
JDBC驱动程序进行通信。我不想直接连
接到
snowflake
服务器,而是希望通过隧道服务器连
接到
它。(MainClientExec.java:381)at net
浏览 1
提问于2018-07-19
得票数 1
1
回答
Google Cloud Storage Concurrency with
Python
/
Apache
Beam?
python
、
google-cloud-storage
、
apache-beam
我正在
使用
Python
中的
Apache
光束
构建一个管道,并且我需要避免在Google Cloud Storage中写入文件时出现竞争条件。下面的链接介绍了
如何
通过gsutil在谷歌云存储中
使用
并发控制。 有没有人知道有没有办法用
Python
或
Apache
Beam
Python
SDK来完成同样的事情?
浏览 2
提问于2018-08-31
得票数 0
1
回答
如何
使用
python
连接器连
接到
snowflake
,以及
如何
通过它查询多条sql语句?
python
、
snowflake-cloud-data-platform
我们
如何
使用
python
连接器连
接到
snowflake
并执行多个sql语句,而不是编写多个cursor execute()?如果我们有一个sql脚本,我们可以
使用
python
snowflake
连接器来运行这个脚本吗?有没有更好的连接
snowflake
的方法?import
snowflake
.connector user=use
浏览 7
提问于2019-08-28
得票数 0
1
回答
使用
Apache
光束
/数据流从BigQuery读取数据时
使用
fastavro
google-bigquery
、
google-cloud-dataflow
、
apache-beam
我的项目运行的是
Python
2.7(是的,我知道...)Google Dataflow上的
Apache
Beam 2.19。我们连
接到
BigQuery的方式与
Apache
光束
教程中指定的方式相同: p | 'Get data from BigQuery' >> beam.io.Read(beam.io.BigQuerySource不过,看起来fastavro似乎并没有真正被
使用
。AFAIK,当在
Python
<3.7上运行时,您需要
浏览 0
提问于2020-03-19
得票数 0
1
回答
Spark-Snwowflake连接错误
scala
、
apache-spark
、
pyspark
、
snowflake-cloud-data-platform
以下是我正在
使用
的版本: Spark - 3.0.1 Scala - 2.12.13
Python
- 3.7.6 我在运行以下代码时遇到了问题。这是通过PySpark连
接到
雪花的基本连接。source #import net.
snowflake
.spark.
snow
浏览 28
提问于2021-01-21
得票数 0
1
回答
django到
snowflake
的连接和运行ORM查询
django
、
snowflake-cloud-data-platform
我希望从Postgres转移到
Snowflake
,因为我的一些功能需要运行时分析,这在
SnowFlake
中更快。我只能获得
Snowflake
的
Python
连接器API,这需要我创建原始查询,而不是Djago查询。我们是否可以
使用
Django连
接到
Snowflake
,并在
Snowflake
上执行相同的Django ORM查询。但是找不到
如何
设置与
Snowflake
的django连接。
浏览 3
提问于2018-04-08
得票数 8
1
回答
使用
Python
Snowflake
连接器时,绑定参数必须为list
python-3.x
、
snowflake-cloud-data-platform
我
使用
Python
SNowflake
连接器2.4.1将
Python
连
接到
Snowflake
时遇到以下错误 “
使用
Python
Snowflake
连接器时,绑定参数必须为list” 我
使用
Qmark将包含JSON的Sample_JSON字符串绑定到SQL查询字符串,表列是
Snowflake
中的变体类型 Sample_JSON="{\"ABC\":\"VALUE
浏览 19
提问于2021-04-10
得票数 0
回答已采纳
1
回答
在
Python
中
使用
create engine建立与
Snowflake
的连接时,
如何
停止打开浏览器?
python
、
sqlalchemy
、
snowflake-cloud-data-platform
、
snowflake-schema
我
使用
SQL Alchemy的create_engine从
Python
连
接到
Snowflake
数据库。我
使用
“外部浏览器”作为身份验证器参数。每次我运行此命令时,都会打开一个浏览器进行身份验证。
如何
在每次尝试连
接到
Snowflake
时停止打开的浏览器?
浏览 41
提问于2021-09-14
得票数 0
2
回答
从
Snowflake
卸载数据并每小时更新JIRA API的有效方法
python
、
pandas
、
jira
、
snowflake-cloud-data-platform
我们有一个当前的设置,
python
应用程序将通过它从SQL中提取数据,将它们放到pandas dataframe中,检查业务逻辑并更新JIRA问题的字段。issue.update(fields=update_dict) 我正在尝试构建相同的应用程序来从表中卸载
Snowflake
数据并更新JIRA问题的字段。我考虑的设计方法是将
Snowflake
数据卸载到S3。
使用
python
应用程序将s3文件加载到pandas数据帧并更新JIRA。 JIRA每小时需要更新一次。有没有更好的方法来通过从
Snowfl
浏览 25
提问于2021-07-13
得票数 0
1
回答
Snowflake
Python
连接器未与AWS glue
python
shell连接
snowflake-cloud-data-platform
、
aws-glue
我正在尝试
使用
Glue
python
shell连
接到
snowflake
。我遵循了下面的文档https://community.
snowflake
.com/s/article/How-to-create-a-AWS-Glue-Job-in-
Python
-Shell-using-Wheel-and-Egg-files但是
python
shell不能导入
snowflake
库。有没有人能告诉我我可能会错在哪里
浏览 13
提问于2020-11-07
得票数 0
2
回答
数据流容器中的特权/功能
google-cloud-dataflow
以为例,我可以用
Apache
光束
这样运行它: --region us-central1temp_location gs://my-cloud-storage-bucket/temp/ \如果我通过SSH连
接
浏览 5
提问于2021-11-17
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
从Snowflake迁移到Databricks,成本下降50%?Snowflake被迫解释
后 Hadoop 时代,大数据分析路在何方?
Apache ShardingSphere 5.1.0 执行引擎性能优化揭秘
低权限php结合高权限python进行socket通信后门
黄仁勋:英伟达的 AI 算力,已经「1 折」出售
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券