首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >删除数据流中数据范围之间的数据

删除数据流中数据范围之间的数据
EN

Stack Overflow用户
提问于 2022-01-03 18:16:24
回答 1查看 232关注 0票数 0

我有一个数据流,从Parquet文件中读取,进行一些过滤,然后加载到Delta中。数据流将多次运行,我不希望在我的Delta中重复数据。为了保护这一点,我想实现一个删除-插入机制-查找传入数据的最小和最大日期,并删除目标(delta)中属于此范围内的所有数据。一旦删除,所有过滤的传入数据将被插入到delta湖中。

从文档中,我看到需要在Alter中添加行级的策略,以标记该特定行以便删除。我添加了“删除-如果条件为- between(toDate(date, 'MM/dd/yyyy'), toDate("2021-12-22T01:49:57", 'MM/dd/yyyy'), toDate("2021-12-23T01:49:57", 'MM/dd/yyyy'))”,其中日期是传入数据中的列。

但是,在Alter的数据预览中,当确实存在属于该范围的记录时,所有行都被标记为插入,0标记为删除。

我怀疑删除-如果条件不符合我想要的方式。在这种情况下,如何实现以Delta为目标的数据流中的数据范围之间的删除?

EN

回答 1

Stack Overflow用户

发布于 2022-01-03 18:55:55

您需要告诉ADF如何处理时间戳的其他部分(它还不是日期类型)。试试这个:

toString(toTimestamp('2021-12-22T01:49:57',‘yyyy dd’ss:MM:ss‘),'MM/dd/yyyy')

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70573429

复制
相关文章
Redis 如何存储上亿级别的用户状态?
如何用redis存储统计1亿用户一年的登陆情况,并快速检索任意时间窗口内的活跃用户数量。
芋道源码
2021/01/25
1.4K0
Redis 如何存储上亿级别的用户状态?
Redis 如何存储上亿级别的用户状态?
如何用redis存储统计1亿用户一年的登陆情况,并快速检索任意时间窗口内的活跃用户数量。
肉眼品世界
2021/01/25
7100
Redis 如何存储上亿级别的用户状态?
Redis 如何存储上亿级别的用户状态?
如何用redis存储统计1亿用户一年的登陆情况,并快速检索任意时间窗口内的活跃用户数量。
二哥聊运营工具
2021/12/17
6730
Redis 如何存储上亿级别的用户状态?
Haskell
这门语言在数学模型上有着很深的优势,虽然它有很多特性,让人很难接受,随着学习的深入,你才会发现这会多么有趣。
icepy
2019/06/24
8900
Haskell doctest
一定要注意格式 第一行很重要,-- |这行没有就不是一个 test。 可以对比 >>> 的个数 和 terminal里的 Examples 个数确认是否自己的所有 test 都测试了
莫听穿林
2022/05/20
3210
Haskell doctest
Haskell Platform安装
不懂了,明天写
云深无际
2020/11/03
1.1K0
Haskell Platform安装
haskell 求助
findBonding :: Eq a => (a -> a -> Bool) -> [a] -> Maybe [(a,a)]
用户6797589
2019/12/02
5550
模块_Haskell笔记2
hiding语法能够缓解命名冲突问题,但不很方便,对于存在大量命名冲突的模块,可以通过qualified保留命名空间来避免冲突
ayqy贾杰
2019/06/12
1.7K0
类型_Haskell笔记3
::读作“类型为”(has type),告诉编译器变量name是String类型(即[Char]类型)的
ayqy贾杰
2019/06/12
9230
类型_Haskell笔记3
本地使用 Haskell CodeWorld Locally
下载好之后注意看下载的版本,因为在之后的 .cabal 文件中要指定 codeworld-api 的版本
莫听穿林
2022/05/20
5040
本地使用 Haskell CodeWorld Locally
ubuntu 14.04 install haskell
haskell是一种函数编程式语言,ghc是Glasgow Haskell Compiler的简称,也是Haskell Platform的基础. 下面是安装ghc的步骤:
pydata
2018/08/02
7300
learn-haskell
引言 Haskell不同于Scala,是一门纯函数式语言,它强制使用者使用函数式语法而没有妥协。 是一门强类型定义的静态类型语言。它的**类型模型基于推断理论(in-ferred)**并被公认为是函数语言中最高效的类型系统之一。你会发现该类型系统支持多态语义并有助于人们作出十分整洁清晰的设计。 支持Erlang风格的模式匹配(pattern matching)和哨兵表达式。你也能在Haskell中发现Clojure风格的惰性求值(lazyevaluation)以及与Clojure和Erlang相同的列表推导
刘笑江
2018/05/28
1.1K0
Monad_Haskell笔记10
从类型来看,Functor到Applicative再到Monad是从一般到特殊的递进过程(Monad是特殊的Applicative,Applicative是特殊的Functor)
ayqy贾杰
2019/06/12
7470
百万级类别的分类模型的拆分训练
很多人脸识别算法都是以分类的方式进行训练的,分类的训练方式中存在一个很大的问题,就是模型的最后一个全连接层的参数量太大了,以512为特征为例:
带萝卜
2020/10/26
1K0
Zipper_Haskell笔记13
数据结构不可变,所以对其进行增、删、改等操作的结果只能是重新创建一份新的数据结构,例如:
ayqy贾杰
2019/06/12
5230
Zipper_Haskell笔记13
newtype_Haskell笔记8
在List场景,xs <*> ys表示从左侧xs中取出函数作用于右侧ys中的每一项,有两种实现方式:
ayqy贾杰
2019/06/12
6270
函数curry化(Haskell Curry)
当一个函数fn有多个参数时,可以先传入一部分参数,生成一个中继函数nextFn,然后在nextFn当中再传入剩下的参数。(一步curry化)
elson
2020/01/02
1.3K0
基础语法_Haskell笔记1
Haskell是一种纯函数式语言(purely functional programming language),其函数式特性的纯度没有争议
ayqy贾杰
2019/06/12
1.9K0
EasyNVR视频云服务平台首页用户和非用户登录导航区别的实现
大家知道,TSINGSEE青犀视频云边端架构系列均有演示平台。用户在使用过程中,也可以根据需求设定演示版本或非演示版本。比如EasyNVR云服务平台,在演示版本下,用户可以通过游客登录进入EasyNVR首页并进行浏览,而管理员用户登录则可以进行配置操作。
EasyNVR
2021/05/24
7350
EasyNVR视频云服务平台首页用户和非用户登录导航区别的实现
点击加载更多

相似问题

理解Haskell类型级别的文字

22

Haskell集装箱级

30

在Haskell中生成Haskell类型的工具(“二级Haskell")?

21

Haskell中未被识别的HLINT语用

14

为指定的父级获取所有级别的子级和级级

20
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文