雪花:如何在外部S3 stage上创建json文件视图
在外部S3 stage上创建JSON文件视图的方法是使用雪花数据仓库的外部表功能。外部表允许我们在雪花数据仓库中访问和查询存储在外部数据源中的数据，包括S3存储桶。
下面是创建JSON文件视图的步骤：
- 创建外部存储集成：在雪花数据仓库中，我们需要先创建一个外部存储集成，用于连接到S3存储桶。可以使用以下命令创建外部存储集成：
- 创建外部存储集成：在雪花数据仓库中，我们需要先创建一个外部存储集成，用于连接到S3存储桶。可以使用以下命令创建外部存储集成：
- 其中，
your_aws_role_arn是您的AWS角色ARN，your_s3_bucket_name是您的S3存储桶名称，your_s3_bucket_region是S3存储桶的地区。 - 创建外部表：使用以下命令创建外部表，将S3存储桶中的JSON文件映射为表：
- 创建外部表：使用以下命令创建外部表，将S3存储桶中的JSON文件映射为表：
- 在上述命令中，
json_file_view是您要创建的外部表的名称，column1_name和column2_name是表的列名，data_type是列的数据类型。's3://your_s3_bucket_name/path/to/json_files/'是JSON文件在S3存储桶中的路径。 - 查询外部表：一旦外部表创建成功，您可以像查询普通表一样查询外部表。例如，使用以下命令查询外部表中的数据：
- 查询外部表：一旦外部表创建成功，您可以像查询普通表一样查询外部表。例如，使用以下命令查询外部表中的数据：
- 这将返回外部表中的所有数据。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云数据仓库（TDSQL）：https://cloud.tencent.com/product/tdsql
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（MPS）：https://cloud.tencent.com/product/mps
- 腾讯云数据库（TDSQL）：https://cloud.tencent.com/product/tdsql
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Metaverse）：https://cloud.tencent.com/product/metaverse
请注意，以上链接仅供参考，具体产品选择应根据实际需求和情况进行评估。
相关·内容
我想在雪花中创建一个外部阶段，它将使用S3访问点来访问存储在S3桶中的文件。我首先创建了一个IAM角色，并附带了以下策略：
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": "s3:GetBucketLocation
浏览 12提问于2022-05-13得票数 0
我正在尝试“复制”命令，将数据从s3加载到雪花中。
下面是我创建舞台和从舞台加载文件到雪花所遵循的步骤
JSON文件
{
"Name":"Umesh",
"Desigantion":"Product Manager",
"Location":"United Kingdom"
}
create or replace stage emp_json_stage
url='s3://mybucket/emp.json'
credentials=(aws_key_id=
浏览 7提问于2022-01-15得票数 3
回答已采纳
我是新的雪花，我创造了一个外部舞台和一个给我的s3桶url。我的任务是将json文件从s3复制到雪花表。当我运行copy命令时，我会遇到一个错误。
我的命令如下：
create or replace file format investor_fileformat
type = 'json';
create or replace stage investor_stage
file_format = investor_fileformat url ='s3://emb-ingest-pit/extract/active/Test120220110/'
浏览 11提问于2022-01-14得票数 3
回答已采纳
Requirement：从S3将嵌套的JSON文件加载到雪花中
错误：SQL编译错误：语句只支持简单的SELECT语句进行导入。
我知道我可以从SQL创建一个临时表，是否有更好的方法直接从S3加载到雪花
COPY INTO schema.table_A FROM (
WITH s3 AS (
SELECT $1 AS json_array
FROM '@public.stage'
(file_format => 'public.json&
浏览 10提问于2022-10-31得票数 0
我得到了相同的错误，我遵循了教程。首先，我创建了一个加载csv的数据加载器。这是可行的。然后我想把几张桌子装进桶里。下面是雪花面的概述：
(创建角色和访问策略)
政策：
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObject",
浏览 5提问于2022-02-23得票数 0
我正在尝试使用external stage从公共s3存储桶中摄取一些数据到Snowflake中。我可以通过浏览器访问数据，但在创建外部stage以查询Snowflake中的数据时，由于在外部stage创建过程中没有提供任何AWS密钥，我收到了一个“访问被拒绝”错误。 我的问题是，我们可以创建指向没有密钥的公共s3存储桶的雪花外部Stage吗？ 如果不是，将数据从公共s3加载到snowflake的最有效和最快的方法是什么？ 任何帮助都将不胜感激！ 非常提前感谢您:)
浏览 10提问于2020-11-16得票数 1
是否可以通过AWS Lambda函数调用Snowflake过程(它有一个将数据从Stage复制到snowflake主表的Merge语句)？我希望在我们将文件推送到S3阶段时立即触发该函数。我们有一个雪堆选项来复制数据，但我不希望像这样的另一个表将数据从S3存储桶复制到雪花阶段，然后将其合并到主表，而是我有一个merge语句，它直接将来自S3存储桶中的文件的数据合并到雪花主表中。
浏览 16提问于2020-09-14得票数 0
1回答
我计划使用亚马逊s3内部平台从本地系统摄取数据到雪花台。如何使用python将数据加载到s3阶段？以前，为了将数据加载到雪花，我使用雪花的内部暂存，并使用下面的命令来执行操作。
put file://<local_file_location> @<creating_stage_snowflake> auto_compress=true
copy into <table_name> from @<creating_stage_snowflake>/<file_name>.gz file_format = (TYPE=CSV FIELD_
浏览 8提问于2022-02-09得票数 0
当我可以直接将值复制到表中时，我为什么选择在雪花中创建一个外部阶段呢？
例如，如果我能做到这一点：
create or replace TABLE EXAMPLE_DB.PUBLIC.USERS (
ID INT,
FIRST_NAME VARCHAR,
LAST_NAME VARCHAR,
EMAIL VARCHAR
);
copy into EXAMPLE_DB.PUBLIC.USERS
from s3://mybucket/users.csv
file_format = (
type = csv
field
浏览 4提问于2022-07-20得票数 1
回答已采纳
1回答
简而言之：：
雪花提供加密选项时，我们正在创建一个外部阶段。下面是选项(来自)
[ ENCRYPTION = ( [ TYPE = 'AWS_CSE' ] [ MASTER_KEY = '<string>' ] |
[ TYPE = 'AWS_SSE_S3' ] |
[ TYPE = 'AWS_SSE_KMS' [ KMS_KEY_ID = '<string>' ] |
[ TY
浏览 3提问于2020-07-27得票数 2
我用json格式创建了一个舞台，将数据从桌面复制到雪花。现在，我希望从s3桶而不是桌面加载数据。
alter stage investor_stage set url='s3://em_pi'
如果我需要用s3 url创建一个新的阶段，我可以创建，但不能更改现有的一个。
错误: SQL编译错误:无法设置内部或临时阶段的URL、凭据或加密密钥。
谢了，习
浏览 6提问于2022-01-20得票数 1
以下两种情况下的性能有什么不同，一种是在执行和存储的情况下对成本进行优化。
用S3中的文件创建外部表，并从外部表将“插入.选择.”加载到雪花目标。将数据从S3加载到临时表，然后从临时表加载(“INSERT.SELECT.”)到雪花目标。
浏览 4提问于2020-09-17得票数 0
新的雪花，我正在寻找样本代码，将读取数据文件从aws s3桶，并插入记录到雪花表。这个存储过程将接受3个输入变量，分别是年、月和日。创建雪花对象(与名称dev_integ_s3_connection集成，与艺名dev_stage_connection集成)。如何将存储过程参数化以获取输入值？
COPY INTO "DB_NAME"."SCHEMA_NAME".PROCESSED_TABLE
FROM (select $1 from @dev_stage_connection/process_table/year=$year/month=$month/day=
浏览 2提问于2021-02-16得票数 0
我正在读Matillion (构建一个数据仓库)。有一个幻灯片甲板跟随在线，我正在运行我自己的马蒂尔利安实例，以重建仓库的建设。我的Matillion在Azure上，我的雪花数据库也是。培训是基于AWS的，但提供了有关Azure或GS所需调整的信息。
其中一个步骤显示如何从blob存储加载数据。它是基于S3的。对于Azure，需要使用不同的组件(因为S3组件并不存在)，数据需要从蔚蓝存储而不是S3存储中加载。它还解释说，对于Azure上的雪花，还需要使用另一个组件。
我在雪花里创造了一个舞台：
CREATE STAGE "onlinemtlntrainingazure_flig
浏览 20提问于2022-09-28得票数 0
回答已采纳
1回答
外部表不刷新数据雪花
、、、、
假设我在配置单元中有一个外部表，并且外部表的S3位置中的csv文件如下所示。 +----+------+
| ID | Name |
+----+------+
| 1 | A |
| 2 | B |
+----+------+ 如果我像下面这样更改文件中的数据，当我在Hive中查询外部表时，我可以看到更改后的值。 +----+------+
| ID | Name |
+----+------+
| 1 | A |
| 2 | C |
+----+------+ 当我在雪花中测试相同的场景时，我看不到新的数据，而我仍然可以看到旧的数据，尽管我在雪花中创建外部
浏览 27提问于2020-10-30得票数 2
1回答
我们想把我们的源表从s3外部阶段摄取到雪花中。为此，我们必须考虑到达s3桶中的新文件、现有文件中的更新以及在某些情况下行删除。
到目前为止，我们正在评估三种方法：
表的完整删除和复制(简单但较少的performant)copy命令，它将捕获新的和更新的文件，然后执行合并查询，根据特定的用例去重复甚至删除行(可以解决，但我们需要维护更复杂的合并和删除逻辑)在外部s3阶段之上使用外部表，并在外部表之上物化视图，以提高查询性能。(不确定这是否是建议的摄入机制)。
从所有这三种方法来看，外部表&物化视图似乎是以一种更加免费/更少维护的方式使所有表与源保持最新。但与此同时，我们还没有看到这被认为
浏览 10提问于2022-05-18得票数 1
我用我的aws证书在雪花上创建了一个名为s3的csv_stage链接平台，并且创建成功。
现在我正试着像下面这样询问舞台
select t.$1, t.$2 from @sandbox_ra.public.csv_stage/my_file.csv t
然而，我得到的错误是
Failure using stage area. Cause: [The AWS Access Key Id you provided is not valid.]
知道为什么吗？我是否必须在查询本身中传递什么？
谢谢你的帮忙!
最后，假设我的s3位置有3个不同的csv文件。我想把它们分别装到不同的雪花桌上。做这个最好的
浏览 3提问于2020-09-25得票数 0
回答已采纳
1回答
-> S3 ->雪花ETL溶液
目前，我使用的工具：
snowSQL 雪花UI
目前，我遵循这个加载过程。
创建warehouseCreate索引(DDL)创建表(DDL)复制文件到用户S3阶段。将S3阶段文件复制到表中
问题：是否有我应该遵循的标准摄入过程？我正在寻找一个经过验证和生产级别的过程，我可以使用它来开发我的数据负载(摄入)。
标准：I开放使用雪花提供的实用程序，但不开放使用工具( Informatica或TalenD或任何其他)
我过去曾与其他DB供应商合作过这样的过程。我知道它确实存在。
浏览 0提问于2020-05-16得票数 0
我正在寻找最好的方法来自动检测S3存储桶中的新文件，然后将数据加载到雪花表中。
我知道这可以使用Snowpipe和SNS，在AWS中设置SQS通知来实现，但我希望在Snowflake中有一个独立的解决方案，可以用于多个数据源。
我想有一个表，其中更新的文件名从雪花桶，然后加载文件，尚未从S3加载到雪花。
到目前为止，我发现在Snowflake中从外部S3 stage自动检测新文件的唯一方法是使用下面的代码和按设定的计划执行任务。这将列出文件名，然后使用result_scan将最后一个查询显示为表。
list @STAGE_NAME;
set qid=last_query_id();
selec
浏览 0提问于2020-04-16得票数 1
我正试图将CSV文件加载到雪花中。s3位置中输入csv表的示例格式如下(有2列: ID，Location_count)：
我需要以以下格式转换它：(有3列:ID、位置、计数)
但是，在创建数据库、外部阶段和文件格式之后，当我尝试使用以下查询加载输入文件时，它将返回LOAD_FAILED
创建或替换表table_name ( id整型，Location_count变体)；
选择parse_json(Location_count)作为c；
列出@stage_name；从@stage_name file_format = 'fileformatname‘on_error =’file_fo
浏览 2提问于2021-02-09得票数 0
这是我第一次尝试通过外部表将单行json文件加载到雪花中。这些文件大约60 s3，存储在s3上。它包含嵌套记录、数组和no换行符。
现在，我无法从外部表中看到数据，但是，如果文件足够小，比如1MB，外部表就能正常工作。我能找到的最接近的解决方案是，但它没有给我足够的答案。该文件可以在一个更大的大小，我没有控制的文件。
有办法解决这个问题吗？
谢谢!
编辑:看起来唯一可行的解决方案是使文件更小，因为json文件不是ndjson。
浏览 1提问于2021-09-23得票数 0
我正在设置一个雪管道，将数据从s3桶加载到雪花模式。S3包含NDJOSN格式的文件。一个文件可以包含多个记录，我想要处理所有这些记录。即使有一个记录被打破了。
为此，我需要在管道创建中添加on_error='continue'选项，并使用官方雪花文档中所述的csv文件格式。
这样，我就可以接收原始的JSON字符串，我需要解析这些字符串来访问数据。而且，由于斯诺管道不支持嵌套选择，所以唯一的方法就是为每个列分别解析它。
由此产生这份副本声明：
copy into MY_TABLE
from (select parse_json($1):id, parse_json($1):na
浏览 2提问于2020-02-10得票数 2
2回答
从S3到雪花与性能
、、、
我将大量事件作为小JSON文件存储在S3中。现在我需要吃这些文件到雪花使用雪管。对于发送到雪花的请求数量是否存在性能上的问题？我应该把这些小文件合并成一个更大的JSON，然后让雪花吃掉它吗？
我知道雪花可以自动检测S3上的更改并尝试刷新其外部表，但我是否应该让小文件不断触发此过程？
浏览 3提问于2020-01-08得票数 0
回答已采纳
我试图从雪花提取数据和外部S3阶段的数据在txt文件格式，可以发送到供应商使用SFTP。但我正面临SQL编译错误- 文件格式脚本： create or replace file format my_format
type = txt
field_delimiter = '|'
skip_header = 0
null_if = ('NULL', 'null')
empty_field_as_null = true 请告诉我们如何在S3 external stage中将数据卸载为txt格式。
浏览 7提问于2020-09-02得票数 0
回答已采纳
我已经使用S3分期在雪花中创建了一个外部表。我想知道，给定表的数据保持期是多少。我查阅了雪花文件，但没有找到任何答案。
浏览 3提问于2022-02-02得票数 1
雪花通过创建FILE_FORMAT (avro、json、csv等)支持多种文件类型。
现在我已经测试了雪花阶段的SELECTing (s3)，两者都是：
*.avro文件(由nifi处理器批处理10k源甲骨文表生成).*.json文件(每行json).
当从@myStg中选择$1时，雪花扩展的行数与avro或json文件(酷)上的记录相同，但是..。$1变体都是json格式，现在我想知道无论我们使用什么雪花file_format，记录是否总是以json的形式到达变体$1？我还没有测试过csv或其他雪花file_formats。
或者我想知道我是否从avros (从oracle )获得json
浏览 2提问于2020-02-21得票数 0
我已经设置了雪花管道，它从S3 (JSON文件)读取，但由于某种原因，它突然暂停了，当我查询COPY_HISTORY表时，它有一个错误，说"NULL result in a non-NULL column“ 我的JSon文件:只有第一个键值对不能为空，其余可以为空。 我已经检查了整个JSON文件，但找不到它为空的地方。有人能告诉我如何将准确的数据定位在失败的地方吗？谢谢
浏览 13提问于2021-01-27得票数 0
我已经在雪花中为我的S3存储桶创建了一个外部舞台。当我尝试使用List @database.schema.stagename访问stage时，会出现访问被拒绝错误。我们已经检查了S3存储桶策略，并修复了该问题。但我想看看雪花里的木头。有没有可能雪花日志会给出关于这个问题的详细信息。？如果有我需要检查的地方？
浏览 11提问于2020-12-23得票数 0
1回答
专家们，
我们的JSON文件存储在S3中的以下文件夹结构中：/appname/lob/2020/07/24/12，/appname/lob/2020/07/24/13，/appname/lob/2020/07/24/14
stage @SFSTG = /appname/lob/
我们需要根据时间创建一个带有分区的外部表。我们可以从元数据$filename派生分区部分。然而，这里的问题是，是否应该将分区列创建为时间戳或varchar？
使用外部表从雪花访问文件时，哪种分区数据类型可以帮助我们获得更好的性能。
浏览 0提问于2020-07-24得票数 0
我有20个雪花外餐桌，假设它们是table1，table2 .table20，它们都有相同的结构。他们中的每一个都通过外部阶段在S3上指向自己的位置(拼花文件、相同的桶不同文件夹)。现在我需要把它们组合成一个视图。我编写的SQL非常简单。
select * from table1
union
select * from table2
....
select * from table20
然而，表演却非常缓慢。据我所知，雪花不支持多个外部级，而外部级不支持多个外部位置
我的问题是:有什么方法可以提高业绩吗？使视图至少像一个外部表一样执行？
谢谢
浏览 2提问于2021-05-13得票数 0
1回答
1)使用python连接器执行Pythonto雪花数据连接；2)设置指向S3桶的外部级，要求基于每个CSV创建一个动态表。
我在s3桶中有10个CSV，然后动态地创建10个不同的表，引用外部阶段。
Sql_query=？
Sql_query=从@db.schema.external_stage复制到db.schema.table (在已经在雪花中创建表结构的场景中)
浏览 5提问于2022-04-24得票数 0
2回答
我有一个舞台和管道设置，可以将数据从S3文件夹加载到雪花表。当文件上传到S3时，我有安装事件通知来加载它。
一切都很顺利。
加载S3文件夹后，我希望删除该文件。
我该怎么做。
我试过这句话，但似乎行不通。
alter nph_contact set stage_copy_options =(stage_copy_options= true)；
有什么想法吗？
浏览 10提问于2022-03-04得票数 0
我们今天有一个复制语句，用于在雪花仓库上运行SQL并使用雪花的外部阶段和存储集成对象将数据下载到我们的S3桶中。
现在，我想构建一个自动管道，根据该管道，由COPY语句获取的任何新记录都应该使用相同的外部状态和存储集成对象自动将该数据写入我们的S3桶。
我从下面的链接中看到，我们可以把数据从卡夫卡流到雪花。我们能不能做同样的事情，但反过来，从雪花到卡夫卡到S3。
浏览 4提问于2022-01-24得票数 0
我正在努力将一些ETL迁移到气流上，并计划使用S3将雪花操作符复制到雪花中：
目前我们执行标准，将文件放入雪花内部暂存，然后复制到文件的目标表中，但是如果我将其迁移到S3，然后在DAG中使用此操作符复制到目标表中，是否有理由使用内部暂存表？最佳实践理由，还是其他原因？
浏览 4提问于2021-12-21得票数 1
回答已采纳
1回答
我有一个副本语句，从雪花卸载到S3。
COPY INTO @MY_STAGE/path/my_filename FROM (
SELECT OBJECT_CONSTRUCT(*) from my_table)
FILE_FORMAT =(TYPE = JSON COMPRESSION = NONE)
OVERWRITE=TRUE;
myfilename.json中的当前结果
{
"a": 123,
"b": "def"
}
{
"a": 456,
"b": "ghi&
浏览 6提问于2022-11-14得票数 0
我们正在尝试从亚马逊网络服务S3 (外部阶段)获取数据，并将其加载到雪花内部阶段。Snowflake应该作为我们的数据湖，可以减少我们从AWS使用的存储量。有没有内置的功能可以从外部stage -->内部stage传输数据？ 目标是将数据加载到内部Snowflake阶段，然后从AWS中删除数据。我们希望Snowflake成为数据湖。
浏览 49提问于2020-07-28得票数 0
有雪花专家吗？我们有欧盟-西部的雪花数据库，我们必须从我们西部的s3桶中读取数据。在s3桶中创建雪管道和SQS通知。将有额外的费用，阅读从我们-西部-2通知渠道。将数据带到与雪花相同的区域(s3 in eu-west-2)，然后创建一个新的雪管并读取数据，会更便宜吗？
在雪花文档中，它提到的跨区域数据传输在Azure & GCP中会产生出口费，但我不确定AWS的情况。
浏览 3提问于2022-05-10得票数 0
回答已采纳
1回答
我用全权证书建造了一个雪花舞台。
CREATE OR REPLACE STAGE "TO_S3"."EXTERNAL_STAGES".AWS_STAGE
URL = 'S3://xxx'
CREDENTIALS = (AWS_ROLE = 'arn:aws:iam::xxx');
但是现在我喜欢使用存储集成来替换凭据。因此，我创建了一个存储集成，并在我的阶段设置了这个集成：
create or replace storage integration s3_int
type = external_stage
浏览 9提问于2021-12-19得票数 1
我通过“雪花”创造了一个外部舞台(我也尝试过用公共水桶)
CREATE OR REPLACE stage "DATABASE"."SCHEMA"."STAGE_NAME"
url='s3://bucket'
CREDENTIALS=(AWS_KEY_ID='xxxxxxxxxxxx' AWS_SECRET_KEY='xxxxxxxxxxxx');
我可以通过以下方式查看这个阶段的参数
SHOW STAGES
DESC STAGE "DATABASE"."S
浏览 10提问于2022-01-28得票数 2
我的环境太大/太复杂，无法用单个Terraform状态文件来管理--所以我们需要有多个状态文件。我们目前的想法是，每个对象类型都有一个状态文件--有很好的理由像这样构造它，所以我正在寻找一种使用这种结构的解决方案，而不是一种建议不同结构的解决方案。
提供每个对象类型的逻辑封装在自己的模块中，即有一个独立模块用于创建AWS S3存储桶，一个独立模块用于创建雪花存储集成对象，等等。
还有更高级别的模块，它们通过调用较低级别的模块来提供更复杂的基础设施，这是因为有一个公共模式，其中提供了一个S3桶，然后提供了一个引用S3桶的雪花存储集成对象，将有一个模块调用S3模块，然后调用雪花存储集成模块。
是否
浏览 4提问于2022-06-10得票数 0
1回答
我有以下问题：
我有一个AWS S3管道，每天只吐一个json.gz文件。
我想把这个文件和dbt一起放进雪花里(不使用自动取款机)
我通过创建存储集成成功地做到了这一点，并且我用我的角色(用于运行dbt)手动创建了一个模式并在该模式上使用了该模式。到目前一切尚好。
然后我读到了这个：
问题是，这是正确运行的唯一方法，我必须修改dbt profiles.yml，将默认模式设置为带有默认数据库RAW_DEV的S3_MIXPANEL，并在其上运行一个不同的目标和角色--目标'ingest_dev‘参数。
我一直认为应该有一个更复杂的解决方案，可以创建模式的元数据和查询元数
浏览 4提问于2020-07-20得票数 5
回答已采纳
我有一个s3 ://s3//的URL。
区域文件夹中有日期桶，如下所示：
再申请日期=2022-02-26，再申请日期=2022-02-25，再申请日期=2022-02-24
如何在雪花中创建以分区作为参考日期文件夹的外部表？到目前为止，我尝试过什么：
Create external table sales (..)
PARTITION BY refdate
with location = @sales_stage/region/
file_format = COMP_ap
aws_sns_topic='arn:aws:sns:us-west38:snowflake-dev-SNS&#
浏览 6提问于2022-03-26得票数 2
回答已采纳
2回答
我的S3路径是
s3://datahub-processed-zone/pit/2022-03-25/Investor/
而雪花-S3集成是S3://数据中心处理区域，称为com_stage。我正在生成一个动态阶段，我已经为日期设置了变量。动态阶段应该读取投资者文件夹中的所有文件
set investor_pattern2 = '/'||current_date()||'\/Investor/'
ls @com_stage/pit pattern=investor_pattern2
但它没有给我任何文件。有人能看看它为什么不给我任何数据吗？
谢了，习
浏览 1提问于2022-03-25得票数 1
1回答
我正在尝试使用"test“文件夹名作为雪花阶段创建的动态文件夹路径，该路径位于s3 url之后。
复制命令运行，但返回零条记录。
create or replace stage MYSQL_S3 url='s3://myproject/product/BackEnd/'
credentials=(aws_key_id='x' aws_secret_key='s' AWS_TOKEN='s')
file_format = myformat.format_csv;
copy into test from @M
浏览 2提问于2020-02-25得票数 0
回答已采纳
我知道，可以将S3中的文件(例如csv、parquet或json)中的数据加载到雪花中，方法是创建一个具有文件格式的csv类型的外部阶段，然后将其加载到具有1列VARIANT类型的表中。但是，这需要一些手动步骤才能将数据转换为正确的类型来创建一个可用于分析的视图。
是否有一种方法可以从S3自动执行此加载过程，以便从CSV文件中推断表列数据类型，或者通过其他方式指定？(类似于如何在Google BigQuery中使用推断表模式从GCS中的csv文件中创建表)
浏览 2提问于2021-03-01得票数 1
回答已采纳
我们在Linode有一个S3桶，它应该与sm3cmd兼容，与sm3cmd和S3浏览器兼容。
如果我试图在雪花中创建一个舞台，我需要使用下面的符号s3://eu-central-1.linodeobjects.com，如果我试图获得访问，我会得到以下错误
使用阶段区域失败。原因:授权头格式错误；地区'us-west-1‘错误；期望'us-east-1’(状态代码: 400；错误代码: AuthorizationHeaderMalformed)
一般来说，雪花能否访问S3兼容的存储桶(如Linode对象存储)？
我可以更改使用的URL吗？雪花需要像S3://这样的符号，但是
浏览 4提问于2020-04-22得票数 0
1回答
我想使用AWS S3作为外部存储，并使用雪花外部表来查询数据。为了不丢失/覆盖任何数据，我在versioning桶上启用了S3。当存在多个版本的文件时，它们将在雪花中显示为副本，我可以找到一个选项，将它们隐藏在外部阶段/外部表中。
LIST @my_stage; -- shows duplicate files
SELECT $1, $2, $3 FROM @my_stage; -- returns duplicate records
CREATE OR REPLACE EXTERNAL TABLE my_external_table (
Name STRING AS (value
浏览 2提问于2021-02-14得票数 0
回答已采纳
我将csv文件从亚马逊S3加载到雪花，首先加载到雪花外部阶段，指向亚马逊S3，然后使用复制命令。据我所知，一旦移动完成，清除功能将清除或保持舞台完好无损。我正在对相同性质的后续调用使用相同的阶段，禁用清除将创建重复并继续堆叠在相同的阶段中。remove调用似乎清除了舞台，也清除了我的S3文件。
有没有一种方法可以在保持s3文件完好无损的同时清除舞台？
浏览 2提问于2020-09-03得票数 0
我在雪花中有一个查询，可以将数据共享给AWS S3。我必须在查询中输入访问键。如何在气流中隐藏查询呈现？
CREATE OR REPLACE STAGE MY_STAGE
url='s3://my_bucket/others'
credentials=(
aws_key_id='XXXXXXXXXXXXXXXXXXXX'
aws_secret_key='DFgsdFGSdfgAqTRjfFGHJ343'
aws_token='hsfdjfhksdfhskdfhsdkjfhiauowqegkh
浏览 1提问于2021-04-15得票数 0
回答已采纳
1回答
我有一个CSV文件，其中包含以下数据：
eno | phonelist | shots
"1" | "['1112223333','6195551234']" | "[[11,12]]"
用于在雪花中创建表的DDL语句如下：
CREATE TABLE ArrayTable (eno INTEGER, phonelist array,shots array);
我需要将CSV的数据插入到雪花表中，我使用的方法是：
create or replace stage Ar
浏览 4提问于2022-02-17得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
