腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何将
JSON
中
的
额外
列
添加到
雪花
表
中
?
snowflake-cloud-data-platform
、
snowflake-schema
我有一个
表
,其中包含创建
表
的
原始和完整
的
JSON
消息。所以当我查询时,例如 select * from dbo.TradeData 其中一
列
称为
JSON
,包含该订单
的
完整
JSON
消息。它将包括构成
列
的
关键字,例如,该
列
中
消息
的
一部分是: "ProdGrp": [ "prodID": &qu
浏览 16
提问于2020-01-20
得票数 0
1
回答
将pyspark写入一个
雪花
表
,其中包含相同数量
的
列
和一个
额外
的
autoIncrement
列
dataframe
、
pyspark
、
snowflake-cloud-data-platform
我有一个具有5
列
的
pyspark,我需要写到
雪花
表
中有6
列
,5
列
与dataframe
列
相同,但是
雪花
表
中有1条
额外
的
自动增量
列
。当我试图将此数据写入
雪花
表
时,它会给出一个错误;由于dataframe和
雪花
表
中有不同
的
列
数而导致
列
不匹配。我已经试过了模式=‘追
浏览 5
提问于2019-10-10
得票数 1
1
回答
有没有可能把debezium产生的卡夫卡信息沉到
雪花
上
apache-kafka
、
snowflake-cloud-data-platform
、
debezium
在kafka
中
,创建mysql连接
的
请求主体如下: "name": "inventory-connector", "database.history.kafka.topic": "dbhistory.inventory" } 然后我需要把卡夫卡
的
信息转化成
雪花
,我<
浏览 2
提问于2021-06-24
得票数 0
回答已采纳
1
回答
从卡夫卡·贾森留言到
雪花
桌
json
、
apache-kafka
、
snowflake-cloud-data-platform
、
apache-kafka-connect
我正在尝试实现一个
雪花
库连接器,这样我就可以直接将到达Kafka主题
的
消息加载到适当
的
雪花
表
中
。到目前为止,我只能将原始
的
json
加载到两个
列
(RECORD_METADATA和RECORD_CONTENT)
的
表
中
。我
的
目标是通过扁平
json
消息,将它们直接加载到适当
的
表
中
。我有
表</e
浏览 2
提问于2022-01-24
得票数 1
1
回答
如何将
雪花
中
的
变体类型转换为星火上
的
结构数组?
scala
、
apache-spark
、
snowflake-connector
下面的桌子在
雪花
上。myarray
列
是
json
格式
的
变体类型:我正在使用
雪花
星火连接器检索星火上
的
那张桌子:.format("snowflake不方便
的
数据类型。我想以struct类型检索索引和值:您知道向myarray
浏览 1
提问于2022-07-16
得票数 0
4
回答
数据摄取:将动态文件从S3加载到
雪花
python
、
amazon-web-services
、
lambda
、
snowflake-cloud-data-platform
、
matillion
情境:一个csv每月登陆到AWS S3
中
。供应商根据需要从文件
中
添加/删除/修改
列
。因此,模式并不是提前知道
的
。其要求是在
雪花
中创建一个正在运行
的
表
,并将数据加载到该
表
中
。马蒂尔利是我们
的
ELT工具。设置一个Lambda来检测文件
的
到达,将其转换为
JSON
,上传到另一个S3 dir,并将文件名
添加到</e
浏览 1
提问于2021-01-26
得票数 1
1
回答
当拼花模式丢失时,为什么要将拼花文件复制到
雪花
中呢?
snowflake-cloud-data-platform
、
parquet
、
data-warehouse
我对下一个场景感到困惑:I将拼花文件复制到
雪花
中(指定压缩、处理和格式)。所以我想知道。我知道使用Parquet
的
好处,但实际上我不知道为什么当您错过了一些重要
的
信息(比如模式)时,将拼花文件复制到
雪花
中是件好事。当我从具有不同结构<
浏览 2
提问于2021-11-18
得票数 1
回答已采纳
1
回答
如何根据列名将数据从CSV复制到目标
表
?
sql
、
snowflake-cloud-data-platform
上下文我创建了一个目标
表
,类似于:然后,我尝试使用
雪花
的
命令将数据从CSV复制到我创建
的
浏览 0
提问于2021-05-19
得票数 0
1
回答
如何在气流中加入private_key_file到
雪花
连接
中
connection
、
airflow
、
snowflake-cloud-data-platform
我试图在气流上创建一个DAG来执行对
雪花
的
一些查询。对于我们
的
实现,我们决定使用私钥连接,而不是使用密码。但是,当我试图将private_key_file
添加到
雪花
连接
中
的
额外
字段(请参阅图像)时,它并没有被正确地存储。它说它正确地保存了它,但是之后键和值不在
额外
的
字段
中
。snowflake__database": "", "extra__snowflake_
浏览 2
提问于2021-07-12
得票数 1
2
回答
在
雪花
中向
表
中
添加最后一次更改时间戳
snowflake-cloud-data-platform
我在
雪花
中有很多表,我每天都在用python脚本更新它们(基本上是重新创建它们)。我可以看到上次在数据库
的
信息模式
中
更改这些
表
的
时间戳,但是
如何将
列
或该信息
添加到
我们
的
一个
表
中
呢?假设我有一个
表
customer,并且希望能够查看上次更改该
表
的
每一行是什么时候。TABLES" WHERE table_name='CUSTOMER
浏览 4
提问于2020-09-02
得票数 2
回答已采纳
1
回答
如果有些
列
是相同
的
,而有些
列
是不同
的
,那么我们可以在具有某些数据
的
雪花
表
中
添加数据吗?
python
、
python-3.x
、
pandas
、
snowflake-cloud-data-platform
、
snowflake-connector
我有一个dataframe,它包含一些
列
,
雪花
表
有一些
列
。有些
列
是相同
的
,有些
列
在它们之间是不同
的
。到目前为止,我正在将
雪花
表
提取到python代码
中
,并将两者连接起来,并再次替换该
表
。但是桌子上有大量
的
数据,太忙了。当某些
列
不同而有些
列
相同时,可以直接将数据
添加到
雪花
表
<e
浏览 5
提问于2022-04-19
得票数 0
2
回答
使用spark连接器从snowflake自定义数据类型映射
python
、
pyspark
、
pyspark-sql
、
snowflake-cloud-data-platform
docs.snowflake.net/manuals/user-guide/spark-connector-use.html#from-snowflake-to-spark-sql 例如,给定snowflake
中
的
一个
表
snowflake.sql_context.read.format("snowflake url")\ .load() 数据帧
中
的
结果: > df: pys
浏览 26
提问于2019-05-30
得票数 1
1
回答
将数据加载到
json
文件
中
超过1
列
的
雪花
表
中
json
、
file-upload
、
copy
、
snowflake-cloud-data-platform
、
snowflake-schema
我从
雪花
网站"https://youtu.be/H0sbMDqdYQ8“得到这个链接,他们正在尝试使用复制命令从
json
文件中加载,其中表中有4
列
是不同
的
。我也尝试了相同
的
方法,但当尝试使用复制命令加载
json
文件时,其抛出错误"SQL编译错误:
JSON
/XML/AVRO文件格式可以产生一个且只有一个类型
的
变量或对象或数组
的
列
。如果你想加载多个<
浏览 12
提问于2020-07-05
得票数 0
1
回答
将数据从无模式数据库迁移到关系数据库: MongoDB到
雪花
mongodb
、
snowflake-cloud-data-platform
、
talend
、
dynamic-schema
我们有一个用例,让我编写了这篇文章,我相信你们
中
的
很多人都会遇到这种情况。这种情况是通过单个Talend作业将多个集合从MongoDB迁移到
雪花
数据库,并将集合
的
顶级节点保留为
雪花
表
中
的
单个字段。我们创建了一个名为"dataTypes“
的
散
列
映射来存储这些信息。或者,可以将此信息存储在
表
或文件中等。:首先,查询
雪花
INFORMATION_SCHEMA
表
是
浏览 1
提问于2020-10-18
得票数 3
1
回答
ADF对
雪花
增量负荷和流
的
影响
azure
、
snowflake-cloud-data-platform
、
azure-data-factory
、
incremental-load
我正在尝试以增量
的
方式将文件从Azure blob加载到
雪花
表
。之后,在
雪花
中,我将流放到那个
表
上,并将数据加载到目标
表
中
。在这个管道
中
,我只是在我
的
水槽
中
添加了3根我想要
的
浏览 7
提问于2021-10-13
得票数 2
回答已采纳
2
回答
雪花
列
可空性随主键声明样式
的
变化
snowflake-cloud-data-platform
在
雪花
中,如果我使用create并在create命令
中
声明主键,主键
中
的
所有
列
都会自动生成“null”。但是,如果创建一个没有主键
的
表
,并使用alter命令添加主键,则可空
列
不会更改为“null”。这是否被认为是
雪花
中
的
一个bug,还是我应该假设这是预期
的
行为?即使在创建主键之后,Column3仍然是可空
的
:Column1 TEXT(
浏览 6
提问于2022-07-13
得票数 1
回答已采纳
2
回答
使用
雪花
JDBC驱动程序自定义到
雪花
的
速度非常慢
spring-cloud-dataflow
、
snowflake-pipe
、
snowflake-cloud-data-platform
我使用Spring数据流创建一个自定义流,将数据加载到
雪花
中。我编写了一个自定义接收器,使用
雪花
的
JDBC驱动程序将数据加载到
雪花
中。我使用
的
方法类似于使用以下步骤
的
任何数据库更新:这时,我注意到
雪花
中
的
批处理更新得非常慢--即
浏览 7
提问于2020-10-23
得票数 0
2
回答
在
雪花
中将空字符串视为空字符串
snowflake-cloud-data-platform
、
informatica
、
informatica-cloud
我正在处理一个迁移项目,在这个项目中,我们
的
数据库将从Oracle 12c更改为
雪花
。目前有许多IICS (Informatica)集成将数据从不同
的
源系统加载到Oracle
中
,当它从源系统中提取空字符串时,在Oracle
中
它将被视为NULL。在数据库迁移
的
测试阶段,我们观察到在
雪花
中,空字符串本身被视为空字符串,这在Oracle和
雪花
数据与下游
的
其他问题之间进行协调时,造成了许多数据比较问题。 我们有办法处理这个场景吗?在这种情况下
浏览 7
提问于2021-12-22
得票数 1
1
回答
雪花
-保持
表
与s3外部阶段同步
的
最佳实践
snowflake-cloud-data-platform
、
external-tables
、
data-ingestion
我们想把我们
的
源
表
从s3外部阶段摄取到
雪花
中。为此,我们必须考虑到达s3桶
中
的
新文件、现有文件
中
的
更新以及在某些情况下行删除。到目前为止,我们正在评估三种方法:
表
的
完整删除和复制(简单但较少
的
performant)copy命令,它将捕获新
的
和更新
的
文件,然后执行合并查询,根据特定
的
用例去重复甚至删除行(可以解决,但我们需要维护更复杂
的
合并和删除
浏览 10
提问于2022-05-18
得票数 1
1
回答
JSON
、AVRO、ORC和PARQUET文件格式
的
列计数不匹配错误
json
、
snowflake-cloud-data-platform
、
avro
、
parquet
、
orc
我们使用复制命令将数据加载到
雪花
中。对于CSV文件格式,如果输入CSV文件
中
的
列
与
雪花
的
目标数据库
表
不匹配,则有一个参数'ERROR_ON_COLUMN_COUNT_MISMATCH‘来获取错误。如果
列
数不匹配,
JSON
、AVRO、ORC和PARQUET文件格式是否有类似的参数来获得错误?
浏览 3
提问于2022-05-30
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
SSH框架中利用@Query注解进行联表查询
微软分析30亿个账户后发现:不少人使用已泄露的密码
【Power BI】在 Power BI 中设计数据模型创建日期表
python高级编程精讲
让您的决策模型更加个性化
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券