无法从亚马逊S3加载Snowflake外部表

文章/答案/技术大牛

发布

1回答

amazon-s3、external、snowflake-cloud-data-platform

我无法从亚马逊S3桶加载雪花外部表。已成功创建外部表，但在运行select命令时，未返回任何内容。奇怪的是，COPY into命令适用于snowflake中的同一个表。谢谢，纳维德

浏览 15提问于2020-05-07得票数 0

3回答

如何将数据从AWS S3加载到Snowflake Internal Stage

database-migration、snowflake-cloud-data-platform

我们正在尝试从亚马逊网络服务S3 (外部阶段)获取数据，并将其加载到雪花内部阶段。Snowflake应该作为我们的数据湖，可以减少我们从AWS使用的存储量。有没有内置的功能可以从外部stage -->内部stage传输数据？目标是将数据加载到内部Snowflake阶段，然后从AWS中删除数据。我们希望Snowflake成为数据湖。

浏览 49提问于2020-07-28得票数 0

1回答

使用Python在雪花中将本地文件加载到AWS阶段

python、amazon-s3、snowflake-cloud-data-platform、etl、snowflake-connector

我计划使用亚马逊s3内部平台从本地系统摄取数据到雪花台。如何使用python将数据加载到s3阶段？以前，为了将数据加载到雪花，我使用雪花的内部暂存，并使用下面的命令来执行操作。put file://<local_file_location> @<creating_stage_snowflake> auto_compress=true copy into <table_name> from @<creating

浏览 8提问于2022-02-09得票数 0

1回答

从AWS帐户到GCP帐户的Snowflake外部表复制

snowflake-cloud-data-platform

我的Snowflake主账户中有一些外部表，该账户位于AWS区域。我需要在GCP雪花帐户中为相同的外部表做数据共享。如何将这些外部表复制到GCP区域，或者如何在GCP snowflake帐户中创建外部表，并在亚马逊网络服务S3中指向这些外部表文件？

浏览 11提问于2021-09-16得票数 0

1回答

外部表不刷新数据雪花

sql、amazon-s3、hive、snowflake-cloud-data-platform、external-tables

假设我在配置单元中有一个外部表，并且外部表的S3位置中的csv文件如下所示。-++----+------+| 2 | B || 1 | A |+----+------+ 当我在雪花中测试相同的场景时，我看不到新的数据，而我仍然可以看到旧的数据，尽管我在

浏览 27提问于2020-10-30得票数 2

1回答

Oracle云到Azure云存储

azure-storage、snowflake-cloud-data-platform、oracle-cloud-infrastructure

我们需要将数据从oracle云存储移动到Azure云存储。该需求基本上是将数据从Oracle ADW数据库(托管在Oracle云上)移动到Snowflake数据库(托管在Azure上)。由于表中的数据量很大(有些包含60mil+记录)，我们不希望使用任何ETL工具，而是希望设置一个管道，如下所示。Oracle ADW database Snowflake将数据存储在Oracle存储中-->使用雪花管道或类似的雪花实用程序将数据移动到Azure云存储-> Load to snowfla

浏览 21提问于2021-08-27得票数 1

1回答

我们如何在Snowflake中处理雪地管道中的数据验证

snowflake-task

我的场景是我在亚马逊网络服务的S3平面文件中有数据。当新文件到达S3时，我使用SNS触发雪花管道。为了将数据从S3中的平面文件加载到Snowflake表中，我使用了Snow-pipe。那么，当通过Snow-pipe将数据从平面文件加载到snowflake表时，我是否可以对源数据进行数据验证和一些计算？如果我们有什么办法的话请帮帮我。提前谢谢。

浏览 0提问于2020-02-28得票数 0

1回答

如何在复制命令前预先检查列位置

snowflake-cloud-data-platform

我们有900+专栏即将上台。我想在处理之前检查入站文件中列的位置不应该改变。做这件事最好的方法是什么？

浏览 14提问于2021-03-23得票数 0

3回答

是否有人使用AWS Glue to snowflake构建了数据管道？寻找解决方案

amazon-web-services、pyspark、snowflake-cloud-data-platform、aws-glue、aws-glue-data-catalog

我是AWS和snowflake的新手。我希望从S3加载csv文件到各自的雪花表(大约100个表)使用亚马逊网络服务胶水。我可以使用下面的文章将数据加载到一个雪花表中 AWS Glue内部-我们可以编写逻辑来基于csv文件在snowflake中更新或插入数据吗？

浏览 0提问于2020-04-10得票数 0

1回答

在使用stage +存储集成与直接存储集成进行数据加载/卸载时，Snowflake是否具有性能影响？

snowflake-cloud-data-platform

如果我有一个亚马逊网络服务S3存储集成和一个指向该阶段的阶段： storage_integration = my_storage_integrationurl = 's3://mybucket/'运行这两个命令是否存在性能差异： COPY INTO ... from 's3://mybucket/myfile.csv' storage_integration

浏览 1提问于2020-03-27得票数 0

1回答

雪花加密场景

encryption、snowflake-cloud-data-platform

我有一个从S3存储桶加载到Snowflake表时加密数据的用例。使用SSE-S3启用S3存储桶。在推送到S3之前，S3中的文件还会使用KMS密钥进行加密(我喜欢将其称为双重加密)。我想了解Snowflake是如何解密这些数据文件的。具体地说，传输中的数据(在进行自动摄取时)也是加密的吗？其次，如果Snowflake中的外部阶段配置了相同的KMS密钥id encryption = (type = &#

浏览 61提问于2021-08-13得票数 0

1回答

对于非常大的文件，将数据从雪花表批量加载到亚马逊s3

amazon-web-services、amazon-s3、snowflake-cloud-data-platform、snowflake-task、snowsql

我有一个任务是将一个大表从Snowflake加载到s3。我需要从一个csv文件中的snowflake表中加载1000条记录到s3，然后在另一个csv文件中从表中连续加载1000条记录，依此类推。例如，我在Snowflake中有一个包含15000条记录的表，希望从表中加载15个单独的文件到<em

浏览 17提问于2020-12-09得票数 0

2回答

在亚马逊网络服务上创建Snowflake的新实例时，是否会自动设置S3的数据存储？

amazon-web-services、amazon-s3、snowflake-cloud-data-platform

我已经在AWS上创建了一个新的Snowflake实例。S3中的数据存储组件是否会自动设置？如果没有，我需要哪些信息来配置它(假设我已经创建了一个S3实例)

浏览 10提问于2021-07-24得票数 0

回答已采纳

1回答

对存储在snowdfl中的数据的分区级别访问

snowflake-cloud-data-platform

我是snowflake的新手，在AWS上探索snowflake。当数据存储在snowflake中时，我知道我们可以在分区中创建和管理数据，就像我们在hive中所做的那样。

浏览 6提问于2020-12-03得票数 0

回答已采纳

2回答

如何从雪花外部S3 stage获取文件名列表？

snowflake-cloud-data-platform

我正在寻找最好的方法来自动检测S3存储桶中的新文件，然后将数据加载到雪花表中。我想有一个表，其中更新的文件名从雪花桶，然后加载文件，尚未从S3加载到雪花。到目前为止，我发现在Snowflake中从外部S3 stage自动检测新文件的唯一方法是使用下面的代码和按设定的计划执行任务。这将列出文件名，然后使用result_scan将最后一个查询显示为表。list @ST

浏览 0提问于2020-04-16得票数 1

1回答

甲骨文将Snowflake数据采购

oracle、snowflake-cloud-data-platform

将数据从Oracle DB采购到Snowflake的最佳方式是什么？

浏览 3提问于2021-09-20得票数 0

2回答

可以在亚马逊网络服务S3上的拼图文件上编写/运行BigQuery吗？

google-bigquery

我们想要检查外部商店拼图文件的BigQuery性能。这些拼图文件存储在亚马逊网络服务的S3上。在不传输文件到GCP的情况下，可以编写可以在亚马逊网络服务S3存储的拼花面板文件数据集上运行的BigQuery。

浏览 0提问于2020-03-03得票数 0

1回答

将每日MySQL DB快照从S3加载到snowflake

amazon-s3、snowflake-cloud-data-platform、data-migration

我在S3上存储了每天的MySQL DB快照。这个每日数据库快照是数据库中1000个表的备份，使用mysqldump，大小约为每天300M (存储1年的快照，约为110G)。现在，我们希望每天将这些快照加载到snowflake，以便进行报告。我们如何在snowflake中创建表格？我们要创建1000张表吗？snowflake能够处理这种情况吗？欢迎所有评论。谢谢!

浏览 8提问于2020-12-06得票数 0

1回答

有没有办法在Snowflake中找出数据类型erorr的详细信息？

snowflake-cloud-data-platform

我是雪花云产品的新手，我只是尝试使用复制命令从亚马逊网络服务s3 staging are加载一个简单的.csv文件到雪花中的一个表中。下面是我用作命令的内容：从@S3_ACCESS file_format = (format_name =格式名)复制到“数据库名”.“模式”.“表名”；当运行上面的代码时，我得到以下错误:无法识别数值'63' 请看附件中的图片。我不确定这个错误是什么，并且我无法在Snow

浏览 8提问于2020-04-07得票数 0

回答已采纳

1回答

Snowflake外部表:添加新列

snowflake-cloud-data-platform、alter-table、external-tables

我成功地创建了一个snowflake外部表，并且能够从s3加载数据。我想在这个外部表中添加一列。在Snowflake文档中，他们说-“使用以下ALTER TABLE语法更改现有的外部表以添加或删除列: add columns: ALTER TABLE…ADD COLUMN。当我尝试向外部表添加列时，出现以下错误-“外部表列TEST_COL必须有一

浏览 35提问于2020-01-08得票数 1

回答已采纳

点击加载更多