腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
在
Spark
中
实现
SCD
类型
2
java
、
scala
、
apache-spark
、
apache-spark-sql
尝试
在
Spark
2.4.4
中
实现
SCD
类型
2
逻辑。我有两个数据框;一个包含“现有数据”,另一个包含“新传入数据”。 输入和预期输出如下所示。需要做的是: 所有传入的行都应该追加到现有数据
中
。的行应变为非活动状态,并按如下方式填充相应的“endDate”: pk=1,amount = 20 =>行应变为'inactive‘& 'endDate’是下一行(Lead)的'startDate‘ pk=
2</
浏览 60
提问于2020-01-04
得票数 0
回答已采纳
3
回答
如何在
Spark
中
实现
渐变维度(
SCD
2
)
类型
2
apache-spark
我们希望使用SQL Join
在
Spark
中
实现
SCD
2
。我从Github那里得到了推荐信 有没有人可以提供在
spark
中
实现
SCD
2
的示例或参考 问候你,曼尼什
浏览 0
提问于2019-01-06
得票数 1
1
回答
使用
SCD
1和
SCD
2
属性+ SSIS加载混合维表
ssis
、
scd2
我正在开始一项新的任务,其中我需要使用
SCD
1和
SCD
2
加载混合维度表。这需要作为SSIS包来
实现
。有人能指导我
在
SSIS
中
处理这个问题的最好方法是什么吗?我应该使用
SCD
组件还是有其他方法?对于
SCD
2
类型
,我使用Merge语句。 谢谢
浏览 3
提问于2010-04-18
得票数 1
回答已采纳
2
回答
SCD
2
表可以有非
SCD
列吗?
database
、
etl
、
data-warehouse
、
scd
、
scd2
我们是否可以将a、b、c作为
SCD
列,而不让d成为
SCD
逻辑的一部分,这样如果d更改,它就不会创建新的
SCD
行吗?
浏览 8
提问于2022-01-20
得票数 0
2
回答
星星之火HiveContext :插入覆盖与读取表相同的表
apache-spark
、
hive
、
pyspark
、
hivecontext
我想使用
SCD
1和
SCD
2
在
HiveContext中使用PySpark。
在
我的方法
中
,我正在读取增量数据和目标表。阅读完后,我将加入他们的行列,寻找新的方法。我正在尝试将最终数据集写入目标表,并且我面临的问题是,无法在从目标表读取的表
中
插入覆盖。 请提出一些解决办法。我不想将中间数据写入物理表并再次读取它。
浏览 6
提问于2017-09-10
得票数 1
回答已采纳
2
回答
三角洲活桌.缓慢变化的尺寸
pyspark
、
databricks
、
azure-databricks
、
scd
、
delta-live-tables
我想
实现
类似这个的东西 但在DLT文档
中
,我发现“不支持从源表处理更新,例如,合并和删除。要处理更新,请参阅将更改应用到命令
中
”--但只适用于CDC,您对
SCD
有什么想法吗?
浏览 11
提问于2022-06-01
得票数 2
1
回答
在
吡火花数据帧
中
插入数据时出错
python
、
dataframe
、
pyspark
、
apache-spark-sql
headDict['name'] = "source" headDict['doc'] = "
SCD
fieldslist.append({i:temp[i]})if __name__ == "__main__":
spark
("local
浏览 5
提问于2020-08-07
得票数 0
回答已采纳
2
回答
在
SSIS维度合并
SCD
组件
中
没有
SCD
0的解决方法?
ssis
、
scd
首先,让我说,我知道,
在
金球的定义中有
SCD
0这样的东西.然而,SSIS向导为“固定属性”提供了一个条款,我有一个设计案例,其中我合理地需要被非正式地称为
SCD
0的东西。如果将“固定属性”列定义为
SCD
2
,然后由于缺乏
SCD
0功能而不将
SCD
2
输出连接起来作为解决办法,会有什么负面影响吗? 此问题专门涉及SSIS维度合并
SCD
组件。
浏览 1
提问于2012-01-04
得票数 0
回答已采纳
1
回答
我正确地
实现
了
SCD
类型
1和7吗?
sql
、
data-warehouse
、
dimensional-modeling
、
star-schema
、
scd
SCD
1型ID | CHANNEL_CODE | NAME | TYPE
2
这是
SCD
类型
1的标准
实现
吗?自然密钥可能会因为sim或信用卡的更改、复制、集成源系统、业务原因等原因而改变。从,我知道这个问题是用持久的srk解决的。它还是
SCD
1吗?据我所知,
浏览 2
提问于2020-08-31
得票数 1
回答已采纳
1
回答
在
Oracle
中
实现
2
型
SCD
sql
、
oracle
、
etl
、
bulk-operations
我正在尝试
在
Oracle
中
实现
一个
类型
2
的
SCD
。源表(customer_records)的结构如下所示。我试图跟踪客户层(rank)
中
的更改。客户层可能会在几个星期内保持不变,我们只愿意跟踪客户层的变化。Customer_Id Rank_Id
2
<em
浏览 3
提问于2019-02-16
得票数 1
回答已采纳
1
回答
GroupJoin,SelectMany,GroupBy和Sum
c#
、
entity-framework
、
linq
、
entity-framework-6
我试图使用GroupJoin和SelectMany
在
linq
中
做一个“左外部连接”,但是我也希望使用GroupBy和Sum来聚合结果。但是当我执行下面的代码时,我得到: CountField
2
= i.Sum(p => p.
scd
.Count
2
) .Ord
浏览 1
提问于2018-02-27
得票数 3
回答已采纳
2
回答
火花卡桑德拉连接器:
实现
SCD
类型
1
scala
、
apache-spark
、
cassandra
、
spark-cassandra-connector
我是卡桑德拉的新手,我想在卡桑德拉数据库
中
实现
SCD
类型
-1。数据将作为时间序列分区数据存储。.format("org.apache.
spark
.sql.cassandra") .option("table",
浏览 1
提问于2020-01-22
得票数 1
回答已采纳
1
回答
如何在红移
中
实现
SCD
类型
2
sql
、
stored-procedures
、
amazon-redshift
加工后需要维护
SCD
类型
-
2
。并维护活动列和非活动列。18:50:43.809000k1 abc 2021-09-16 18:50:44.854000 输出后,应用
SCD
类型
-
2
。输入数据的顺序是基于creation_time的,新记录只有
在
传入记录数据发生某些更改且其active_dtmz (一直到秒)为增量值时才会插入和禁用以前的记录。如果下一条记录在同一键的数据
中<
浏览 2
提问于2021-09-20
得票数 0
2
回答
使用utf-8字符编码从配置单元中选择数据
apache-spark
、
hadoop
、
hive
、
beeline
、
spark-shell
‘SS-MN-BAE – Other’¿MCCRAY,LORENZO ?Construction Mai...?MCCRAY,LORENZO ?Construction Mai...?GOVT/GS
SCD
... ?如果有人知道我做错了什么,或者如果我需要设置任何参数来读取正确的字符集,请让我知道我
浏览 19
提问于2019-01-11
得票数 0
回答已采纳
1
回答
SCD
类型
2
使用SQL Server合并,如何捕获计数?
sql-server
、
merge
、
ssis-2012
我的示例包括
类型
1和
类型
2
属性。我看到了如何使用OUTPUT捕获操作计数的示例,并且了解了如何使用OUTPUT将值传递给INSERT语句。有没有更好的方法来
实现
这一点?= src.
SCD
1Field ; tgt.NaturalKey , tgt.
SCD
2
Field,
SCD
2
Field
浏览 3
提问于2015-02-13
得票数 1
5
回答
缓慢变化的维度-配置单元
中
的
SCD
1和
SCD
2
实现
hadoop
、
hive
、
data-warehouse
我正在寻找配置单元(1.2.1)
中
的
SCD
1和
SCD
2
实现
。我知道
在
配置单元(0.14)之前加载
SCD
1和
SCD
2
表的解决方法。以下是使用变通方法加载
SCD
1和
SCD
2
的链接 现在Hive支持ACID操作,只是想知道是否有更好的或直接的方式加载它。
浏览 0
提问于2016-05-27
得票数 3
3
回答
如何将变量传递给
Spark
Dataframe
中
的where子句
scala
、
apache-spark
、
apache-spark-sql
我试图将一个变量
SCD
_filter传递给
spark
中
的dataframe
中
的where子句,我收到了一个错误,但当直接传递时,它工作正常。val
SCD
_filter = """currentDF.col("u_business_unit") <=> updatedDF.col("u_business_unit")| and(currentDF.col("u_operation_level_
2<
浏览 34
提问于2020-06-26
得票数 2
1
回答
将
Spark
处理的中间数据复制到目标S3时出现的AWS性能问题
amazon-emr
来自S3的最终处理数据将被加载到Redshift
中
,以便客户运行Analytics。
SCD
类型
1
实现
了 pySpark用于处理。数据清理
在
2
-3分钟的
中
完成。
Spark
创建了一个用于数据处理的中间文件夹,
浏览 2
提问于2020-10-04
得票数 0
1
回答
在
HANA视图中慢慢改变维度?
sap
、
hana
、
sap-data-services
到目前为止,我们已经
在
SAP BODS中使用ETL方法
实现
了
SCD
类型
。想知道是否可以通过利用HANA
中
的视图将某些
类型
的
SCD
卸载到HANA Studio上。请在这方面帮助我。
浏览 15
提问于2020-02-17
得票数 0
1
回答
如何处理
SCD
类型
的二维和重复维记录?
database
、
ssas
、
olap
、
dimensional-modeling
、
jedox
我最近已经为OLAP报告
实现
了
SCD
类型
2
-客户维度。我们以前
在
Type 1上使用过它,其中customerID是构建维度的关键,但是由于这个维度将得到重复的记录,例如C_001有两个记录,我认为使用相同的CustomerID作为键的构建维度是不切实际的。这是
SCD
类型
2
维的最佳实践吗?
浏览 2
提问于2019-11-06
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
机器人学在Python中的实现(2):UKF
数仓缓慢变化维深层讲解
深度对比Apache CarbonData、Hudi和Open Delta三大开源数据湖方案
免费在线MOOC课《大数据与城市规划》第十一章已上线
年薪50万+的大数据工程师需要具备哪些技能?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券