如何在python中实现带结构流的雪花连接器？

文章/答案/技术大牛

发布

1回答

python、apache-spark、snowflake-cloud-data-platform、spark-structured-streaming

目前，我有接受输入并创建数据流的代码。我的目标是将数据上传到snowflake。目前我正在尝试，有没有更简单的方法来解决这个问题。它以前只适用于结构化流媒体，而没有连接到snowflake。

浏览 18提问于2020-08-13得票数 0

2回答

如何将文件从本地文件服务器(SFTP)直接移动到雪花中？

python、azure、azure-data-factory、snowflake-cloud-data-platform、pysftp

我希望通过Python雪花连接器将文件从几个文件服务器(通过SFTP访问)直接转移到雪花中。我已经考虑过使用Data (ADF)将文件拖到blob存储中，然后创建一个Azure阶段将数据移动到雪花中。但是，我很好奇是否有一种方法可以做到这一点，而不必将数据存储在blob存储中？换句话说，我是否可以直接将文件移动到雪花中，而不首先将它们存储在其他地方？我看不出在ADF中没有存储在Blob存储中的方法，

浏览 2提问于2019-05-03得票数 2

回答已采纳

4回答

雪花SnowPark Python -Clarifications

python-3.x、snowflake-cloud-data-platform、snowpark

关于Python中的SnowPark有几个问题。既然我们已经有了雪花蟒蛇连接器(免费)，可以用雪花DW连接到python jupyter，为什么我们需要斯诺帕克呢？如果我们使用雪花并连接本地jupyter文件来运行ML模型。它是使用我们的本地机器计算能力还是雪花计算能力?如果它是我们的本地机器计算能力，我们如何使用雪花计算能力来运行ml模型？

浏览 9提问于2022-06-25得票数 0

回答已采纳

1回答

雪花REST API

python、snowflake-cloud-data-platform

用于雪花的python本机连接器按照使用REST Apis。查看这个连接器的代码，它似乎使用了REST，如ret = self.rest.request( _include_retry_params=True,

浏览 2提问于2022-11-21得票数 1

回答已采纳

1回答

有没有办法进口斯诺公园的Azure Blob服务包？

python、snowflake-cloud-data-platform、azure-blob-storage、snowpark

我创建了python脚本，它从azure存储中读取excel文件，并将其解析为多个CSV文件。这个脚本在python中运行得很好。但是，我尝试使用同样的文件运行，它会抛出用于azure blob服务包的"Modulenotfound“错误。

浏览 5提问于2022-10-11得票数 0

1回答

无法从spark中的SNOWFLAKE_SAMPLE_DATA数据库获取值

python-3.x、pyspark、snowflake-cloud-data-platform、snowflake-schema

我有一个雪花的测试帐户。我可以从Python中获取数据，但无法从Pyspark中获取数据。错误显示，如无法为共享数据库创建阶段。舞台是如何在Python-snowflake连接器中创建的？

浏览 14提问于2020-11-05得票数 0

1回答

从文件中执行雪花SQL，并将输出存储在不同的CSV中

python、pandas、snowflake-connector

我对Python & Python雪花连接器非常陌生，需要帮助来理解它是如何实现的。请告诉我你的想法和想法。提前谢谢。

浏览 6提问于2022-08-09得票数 -1

3回答

如何从雪花中导出一张桌子的所有记录？

export、export-to-csv、export-to-excel、snowflake-cloud-data-platform

我需要将雪花表的数据导出到excel或csv文件中。我是否可以直接将数据放到本地机器中，而不需要像S3桶之类的任何暂存？

浏览 7提问于2019-12-07得票数 1

1回答

雪花中从外部阶段动态创建表

csv、amazon-s3、snowflake-cloud-data-platform、stage

1)使用python连接器执行Pythonto雪花数据连接；2)设置指向S3桶的外部级，要求基于每个CSV创建一个动态表。我在s3桶中有10个CSV，然后动态地创建10个不同的表，引用外部阶段。Sql_query=从@db.schema.external_stage复制到db.schema.table (在已经在雪花中创建表结构的场景中)

浏览 5提问于2022-04-24得票数 0

1回答

如何查找python-雪花连接器中与连接相关的所有游标

python、snowflake-cloud-data-platform、snowflake-connector

在python-雪花连接器API中是否有任何函数来获取使用连接对象派生的所有游标的列表。另外，请确认退出函数调用是否会关闭游标吗？上述两个函数都是在类中编写的。在proc()中创建了多个游标。一旦proc()退出，它会关闭游标吗？我猜想它们还没有关闭，但是由于本地范围，它们变得无法访问。我认为他们仍然占据着记忆。请澄清。我想知道是否有任何游标仍然为给定的连接打开。请帮助我如何在蟒蛇-雪花连接

浏览 7提问于2022-07-26得票数 0

回答已采纳

1回答

snowflake是否支持任何事件桥、sns topic或kinesis队列的事件触发？

events、triggers、snowflake-cloud-data-platform

一旦数据被插入到雪花表中，我想要触发任何事件到任何事件桥和sns主题，这样我就可以同步python脚本，在数据之上做一些其他事情。snowflake是否支持事件桥、sns topic或kinesis队列的事件触发？谢谢，迪皮卡

浏览 1提问于2021-11-12得票数 1

1回答

雪花连接器和驱动程序有什么区别？

database、snowflake-cloud-data-platform

雪花有Node.js驱动程序、Go驱动程序、.NET驱动程序、JDBC、ODBC 驱动程序和Python连接器。在我看来，这些连接器/驱动程序所做的事情似乎是相同的，它们为以不同语言开发应用程序提供了相似的接口。为什么雪花需要对相同的事物使用不同的术语？连接器和驱动程序之间有什么区别吗？

浏览 2提问于2020-06-23得票数 3

回答已采纳

1回答

表示任意数据库记录

rust

我对Rust很陌生，我正致力于在Rust中构建一个测试框架，作为一个使用PyO3的python库。测试表示为返回逻辑是否通过的函数。数据流是:雪花DB、->、Python连接器、->、Rust结构、->、锈病测试、-> bool。这很好，除非我必须为每个表创建一个Rust结构。因为这应该能够测试DB中的任意表，所以这样做是不可能的。在<e

浏览 5提问于2022-09-21得票数 0

回答已采纳

2回答

雪花中的变更数据捕获

change-data-capture、snowflake-cloud-data-platform

我想知道是否有人知道snowflake是否可以进行变更数据捕获，以及如何实现。谢谢

浏览 2提问于2018-12-14得票数 0

2回答

雪片往返于S3管道的ETL体系结构建议

amazon-web-services、amazon-s3、etl、pipeline、snowflake-cloud-data-platform

我正在构建一条管道，它将数据从雪花发送到S3，然后从S3返回到雪花(在Sag迈上通过生产ML模型运行它之后)。我是数据工程的新手，所以我想从社区中了解推荐的路径是什么。管道要求如下：我想安排一个月的工作。我是在AWS中还是在雪花端指定这样的数据呢？作为初始拉力，我想从雪花查询12个月的数据。然而，对于任何后续的拉，我只需要最后一个月，因为这应该是一个月的管道。所有每月提取

浏览 1提问于2020-06-13得票数 0

回答已采纳

1回答

雪花:树结构(层次数据及其计数)

python、snowflake-cloud-data-platform、hierarchical-data

如何迭代雪花表中的所有行，并将其传递给Python函数而不使用熊猫？我有一张雪花表，列如下：EmployeeID, EmployeeName, DirectReportID, DirectReportName, InDirectReportID, InDirectReportName我已经使用SQL recursive CTEs准备好了树结构。我尝试过CONNECT_BY，但这并没有给出表从上到下的深度(直到EmployeeID而不是某个特定EmployeeID以下<e

浏览 3提问于2022-10-16得票数 0

2回答

如何从AWS读取流数据集？

scala、amazon-web-services、apache-spark、amazon-sqs、spark-structured-streaming

对于星火流，有一些可以实现这一功能。不幸的是，对于星火结构化流，我找不到任何，因为它是一种新的技术。是否有一种使用星火流连接器连接到源的方法？或者是否有一种创建自定义连接器的方法，类似于在应用程序中创建连接器的方式？

浏览 3提问于2017-12-11得票数 2

回答已采纳

1回答

如何使用ADO.NET将json从API插入到雪花数据库？

c#、.net、json、database、snowflake-cloud-data-platform

我想在ado.net C#的雪花变量列中插入json字符串，但由于互联网上的指令太少，我完全不知道如何实现它。dataAdapter.InsertCommand.CommandText = "INSERT INTO TestDemo SELECT PARSE_JSON(NOTIFICATION) FROM VALUES();"; 在这里，我为github上的.NET使用了snowfalke连接器。我想知道如何在命令文本中</

浏览 1提问于2019-11-07得票数 1

2回答

当连接到雪花连接器时，在笔记本中运行报告的最佳方法是什么？

snowflake-cloud-data-platform

我最后的几个问题是如何连接到雪花，以及如何在ipython笔记本中使用python连接器添加和读取数据。然而，我对下一个最好的步骤感到不安，那就是用我想要可视化的数据创建一份报告。因此，到目前为止，我所做的只是一个小版本：在本地文件中放置了我的数据，每次打开笔记本时，我都会运行添加新数据，然后使用python连接器调用存储中的任何数据，在本地笔记本中使用nump

浏览 2提问于2019-12-30得票数 0

回答已采纳

5回答

骡子中的入站终点和出站终点究竟是什么？

mule、esb、mule-studio

在mule流中，入站和出站端点到底是什么？如果流需要发送消息，则应该使用哪个端点，即接收时使用哪个端点。或者当应用程序想要调用一个流程时，它应该与哪个端点通信？

浏览 2提问于2014-01-08得票数 8

回答已采纳

点击加载更多