前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Python处理时间数据的另一种选择,在标准库之外|Arrow使用笔记

Python处理时间数据的另一种选择,在标准库之外|Arrow使用笔记

作者头像
蛰虫始航
发布于 2020-12-30 08:13:02
发布于 2020-12-30 08:13:02
1.3K00
代码可运行
举报
文章被收录于专栏:蛰虫始航蛰虫始航
运行总次数:0
代码可运行

Arrow简介

Arrow是一个优秀的Python时间处理库,比起Python内置的多个日期时间库,它简化了时间类型数据的解析和输出方法,增强了时间属性的获取能力。经过多年的发展,现在其他有追求的第三方Python时间处理库基本都会对标Arrow,足矣见其影响力。目前Arrow是0.17版,其GitHub页面[1] 上有6千多Star,而且保持着活跃的更新,可见其未来会更加强大。

Arrow概览导图

时间数据输入与转换

从各种输入解析为时间对象是经常面对的需求,Arrow库将数据的输入解析统一封装在arrow.get()函数里,不需要去记time的strptime、gmtime等方法,只要将输入数据传给get,就可以得到一个时间对象,例如dt=arrow.get('2020-12-07')。当get()不输入参数时得到的是当前的UTC时间,相当于datetime.utcnow();get(s)则解析字符串s里的日期要素;get()传入浮点数(float)或int则把输入当成时间戳进行解析;get还可以传入time或datetime的对象,转为arrow的时间对象。arrow的时间对象是封装为自己的自定义类型,要转为datetime的时间对象可以调用dt.datetime,同理要转为时间戳格式使用dt.timestamp。时间戳一般为一个浮点数,表示时间基准点至特定时间dt的总秒数(小数部分对应毫秒等更精细的时间要素),基准点是格林威治时间1970年01月01日00时00分00秒这一时刻,也就是说如果dt是1970年1月1日0时0分0秒,则时间戳的值为0,而小于1970年是负数。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import arrow #Anaconda下已经安装
arrow.get('2020-12-07 14:20:10') #内置的对象,不是datetime
#Out[]: <Arrow [2020-12-07T14:20:10+00:00]>
arrow.now() #获取当前时间
dt=arrow.get(1607334506) #get可输入Unix时间戳,也可以输入datetime对象
dt=arrow.get(datetime(2020,12,7), 'US/Pacific')
dt=arrow.get('June was born in May 1980', 'MMMM YYYY')
dt.datetime #转为dateime类型
#datetime.datetime(2020, 12,...)
dt.naive #转为当地时区的datetime类型
dt.year #dt所在的年,输出 2020
dt.floor('hour') #从小时处截断,取dt的小时,后面的分钟秒都是0
#<Arrow [2020-12-07T14:00:00+00:00]>
#对应的有 .ceil('hour')

Arrow和Python内置的time、datetime库并不割裂,arrow有dt.time、dt.datetime、 dt.timestamp将时间数据从Arrow内置对象转为time等库的时间对象,另一方面,从datetime等时间对象转为arrow对象也是容易的,不仅仅是通过get()转换。

Arrow的range、span_range也支持datetime对象作为参数输入。 arrow.now() 可以获取当前时间,另外arrow也有.utcnow()获取当前时间UTC(Coordinated Universal Time,世界协调时)时间,在now()函数中可以传入时区 例如写arrow.now('Asia/Shanghai')

要修改时间的某些部分使用replace函数,输入的参数是时间要素的那些属性,如year、month等。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
d2=d1.replace(hour=3)
d3=d1.shift(weeks=+4) #当前时间4周后
d4=d1.to('local') #换时区

replace更侧重属性的修改,而shift更多是一种时间偏移的感觉,从当前时间向前或向后偏移一个时间间隔,通常在时间序列的生成中使用到。在转换时区时,除了修改时区的值外,还有一类需求是把当前时间转换为其他时区下的时间,例如dt是北京时间9点,转换成美国东部时间是多少点,这个使用的是dt.to('US/Eastern')

Arrow库使用format进行格式化,从时间对象转为特定格式的字符串,Arrow没有使用strptime的 %Y类型的占位符,而是省略了%号。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
dt.format('YYYY-MM-DD')
#'2020-12-07'
dt.format() #不输入参数其实对应 YYYY-MM-DD HH:mm:ss ZZ
#'2020-12-07 20:42:18+08:00'

时间序列

Arrow可以方便地生成一组时间,和其他数值组合成时间序列,这是datetime等内置库的弱点。通过Arrow.range(frame, start, end)可以生成从start开始,到end结束,按frame为周期重复的一个时间序列,range还支持的参数有tz及limit[2]。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
list(arrow.Arrow.range('hour',arrow.now(),arrow.now().shift(hours=5)))
#输出:
#[<Arrow [2020-12-10T20:54:19.878759+08:00]>,<Arrow [2020-12-10T21:54:19.878759+08:00]>,  ...]

Arrow的另一大特色是可以把时间对象转为人类容易理解的自然语言形式进行输出,对应的方法为dt.humanize(),humanize还可以根据locale参数输出特定语言的自然语言,有趣的封装。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
dt=arrow.now().shift(hours=-1)
dt.humanize() #当前时间的自然语言表示
#'an hour ago'
future =dt.shift(minutes=75)
dt.humanize(future, granularity="minute")
#'in 75 minutes' #两个时间的对比自然语言表示
dt.humanize(locale='ko_kr') #在韩语里的自然语言
'2시간 전'

总结

从上文可看出,Arrow有着简洁友好的接口,get统筹各种输入的解析,replace负责各种时间要素的修改,format解决各类格式化输出的需求,range处理时间序列生成问题。通过dt.year等很自然地获取时间对象的要素,也提供了dt.time等从Arrow自定义对象转为内置的time、datetime对象。

Arrow通过收束接口增强了易用性,满足了大部分时间格式处理的需求,而类似的Pendulum、Maya等时间库在解析字符串及输出自然语言方面更进一步,在一些细节上比Arrow更强一些。

Arrow功能与方法导图

References

[1] Arrow: https://github.com/arrow-py/arrow [2] Arrow文档: https://arrow.readthedocs.io/en/stable/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-12-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 蛰虫始航 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
整数规划精确算法/近似算法/(元)启发算法/神经网络反向传播等算法的区别与关联
作者:作者:@留德华叫兽 美国克莱姆森大学数学硕士(运筹学方向)、Ph.D. Candidate,欧盟玛丽居里学者,德国海德堡大学数学博士(离散优化、图像处理方向),期间前往意大利博洛尼亚大学、IBM实习半年,巴黎综合理工访问一季。现任德国某汽车集团无人驾驶部门计算机视觉研发工程师。
Piper蛋窝
2020/12/14
2K0
整数规划精确算法/近似算法/(元)启发算法/神经网络反向传播等算法的区别与关联
一文读懂量子机器学习:量子算法基石已经奠定
【新智元导读】在计算能力增加和算法进步的推动下,机器学习技术已成为从数据中寻找模式的强大工具。量子系统能生产出一些非典型(atypical)模式,而一般认为经典系统无法高效地生产出这些模式。所以,有理由假定,量子计算机在某些机器学习任务上将优于经典计算机。量子机器学习这一研究领域探索如何设计和实现量子软件,如何使量子机器学习速度比经典计算机更快。该领域最近的工作已经建造出了可以担当机器学习程序基石的量子算法,但在硬件和软件方面仍面临巨大挑战。 在人类拥有计算机之前,人类就从数据中寻找模式。托勒密将对星系运动
新智元
2018/03/22
1.3K0
一文读懂量子机器学习:量子算法基石已经奠定
经典算法学习之-----希尔排序
本专栏为《手撕算法》栏目的子专栏:《经典算法》,会讲述一些经典算法,并进行分析。在此之前我们要先了解什么是算法,能够解决什么样的问题。
默 语
2024/11/20
860
经典算法学习之-----希尔排序
18岁华裔少年颠覆量子加速优势,推动量子算法经典化
国内量子计算专家也对此事发表了不同观点。如百度量子实验室负责人段润尧在朋友圈评论说,「这是有关经典推荐算法的非常有意思的进展。原先 Kerenidis 和 Prakash 证明了量子计算机能够比任何已知算法以指数级的速度解决推荐问题,但他们并没有证明快速的经典算法不存在。而 18 岁的 Ewin 则给出了一个快速的经典推荐算法,从而说明 KP 量子算法其实相对于经典算法并无实际优势。这是典型的因量子算法思想激发经典快速算法发现的例子,相信这样的例子还会有一些,所谓『量子快速算法的经典化』。」
机器之心
2018/08/07
3420
18岁华裔少年颠覆量子加速优势,推动量子算法经典化
前沿 | UC Berkeley提出特征选择新方法:条件协方差最小化
选自BAIR Blog 作者:Jianbo Chen、Mitchell Stern 机器之心编译 参与:Nurhachu Null、路雪 UC Berkeley 近日提出了一种新型特征选择方法 CCM,该方法基于最小化条件协方差算子的迹来进行特征选择。研究者的实验证明该方法在多个合成和现实数据集上达到了不输当前先进方法的性能。相关论文《Kernel Feature Selection via Conditional Covariance Minimization》被 NIPS 2017 接收。 论文链接:h
机器之心
2018/05/10
1.2K0
Nature Computational Science | 量子计算生物学的实际应用
生物学的许多领域,都涉及到解决复杂的计算问题,如模拟化学反应、基因组组装、药物发现、蛋白质折叠等。尽管计算生物学领域取得了巨大的进步,但许多现实生活中的问题,仍然具有挑战性,因为它们需要大量的计算资源,超出了现有设备的能力。然而,这为开发一个基于完全不同的原理,即量子物理定律的计算设备,提供了机会。例如,在量子物理学中,一个物体可能同时处于多种状态,这种现象被称为量子叠加。在计算的语言中,量子叠加意味着比特(在这种情况下,称为量子比特或量子位)可以同时是0和1,这种“并行”的计算过程。描述N个量子位元的量子状态,通常需要大量的信息,按指数尺度按2N扩展。在如此大的计算空间中操纵概率振幅的艺术是开发量子算法的核心,人们希望量子算法在解决许多不同的任务时提供显著优势。
DrugScience
2021/03/22
1.7K0
Nature Computational Science | 量子计算生物学的实际应用
AAAI 2020 | 南京大学提出高效演化算法 EAMC:可更好解决子集选择问题
近日,机器之心邀请了南京大学人工智能学院研究助理卞超通过线上分享的方式介绍他们入选 AAAI 2020 的研究论文《An Efficient Evolutionary Algorithm for Subset Selection with General Cost Constraints》。这篇论文提出了一个高效的演化算法 EAMC,来解决一般约束下的子集选择问题。本文将对这项研究成果进行介绍。
机器之心
2020/02/23
1.2K0
AAAI 2020 | 南京大学提出高效演化算法 EAMC:可更好解决子集选择问题
Qutrunk与Paddle结合实践--VQA算法示例
QuTrunk 是启科量子开发和已经开源的一款量子编程框架软件产品,它使用 Python 作为宿主语言,利用Python 的语法特性实现针对量子程序的 DSL(领域专用语言),所有支持 Python 编程的 IDE 均可安装使用 QuTrunk。QuTrunk 基于量子逻辑门、量子线路等概念提供量子编程所需的各类API。这些 API 分别由相应的模块实现,比如 QCircuit 实现量子线路功能,Qubit 实现量子比特,Qureg 实现量子寄存器,Command 对应每个量子门操作的指令, Backend 代表运行量子线路的后端模块,gate 模块实现了各类基础量子门操作。同时 QuTrunk 还可以作为其他上层量子计算应用的基础,比如:量子算法、量子可视化编程、量子机器学习等。
量子发烧友
2023/02/24
4730
Qutrunk与Paddle结合实践--VQA算法示例
量子线性系统算法及实践——以Cirq为例
求解线性方程组是科学计算中的一个基础问题,也可利用线性方程组构造复杂的算法,如数值计算中的插值与拟合、大数据中的线性回归、主成分分析等。而正是由于线性求解问题在学科中的基础性作用,其在科学、工程、金融、经济应用、计算机科学等领域也应用广泛,如常见的天气预报,需要通过建立并求解包含百万变量的线性方程组实现对大气中类似温度、气压、湿度等的模拟和预测;如销量预测,需要采用线性回归方式的时序预测方法进行预测。
量子发烧友
2023/03/08
1K0
量子线性系统算法及实践——以Cirq为例
程序员必须要掌握的十大经典算法
快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下,排序 n 个项目要Ο(n log n)次比较。在最坏状况下则需要Ο(n2)次比较,但这种状况并不常见。事实上,快速排序通常明显比其他Ο(n log n) 算法更快,因为它的内部循环(inner loop)可以在大部分的架构上很有效率地被实现出来。
程序员互动联盟
2018/03/15
6.6K0
程序员必须要掌握的十大经典算法
Google在Nature上发表的关于量子计算的最新进展的论文(Quantum supremacy using a programmable superconducting processor 译)—
Google 的研究人员于2019年10月23号发表在Nature(《自然》《科学》及《细胞》杂志都是国际顶级期刊,貌似在上面发文3篇左右,就可以评院士了)上,关于量子计算方面(基于 Sycamore芯片)的具有里程碑式进展的论文,受到国内外同行及媒体的广泛关注,包括中科大量子科学家 — 潘建伟及其团队。特朗普的女儿Ivanka Trump(左一)也发twitter表示祝贺,如下图:
NaughtyCat
2020/10/09
1.6K0
Google在Nature上发表的关于量子计算的最新进展的论文(Quantum supremacy using a programmable superconducting processor 译)—
统计学学术速递[8.31]
【1】 Dependent Bayesian nonparametric modeling of compositional data using random Bernstein polynomials 标题:基于随机Bernstein多项式的成分数据依赖贝叶斯非参数建模 链接:https://arxiv.org/abs/2108.13403
公众号-arXiv每日学术速递
2021/09/16
1K0
统计学学术速递[8.20]
【1】 Transfer learning in genome-wide association studies with knockoffs 标题:全基因组与假冒相关研究中的迁移学习 链接:https://arxiv.org/abs/2108.08813
公众号-arXiv每日学术速递
2021/08/24
5730
机器学习学术速递[7.26]
【1】 Structack: Structure-based Adversarial Attacks on Graph Neural Networks 标题:Structack:基于结构的图神经网络敌意攻击
公众号-arXiv每日学术速递
2021/07/27
1.6K0
【算法与数据结构】--算法和数据结构的进阶主题--算法的优化和性能调优
算法的关键性和优化算法的必要性是计算机科学和软件开发领域的核心概念。 算法的关键性:
喵叔
2023/11/08
3510
混合量子-经典体系对量子数据的分类问题
经典计算机中可以利用比特位和逻辑门进行二进制运算,在物理硬件方面,二进制运算主要通过半导体的特殊电性质实现。在量子计算机中,主要利用量子的纠缠和叠加特性通过量子比特位和量子逻辑门来实现运算。量子计算对算力的加速优势也在量子计算机不断发展中得到证实。但关于量子计算机与经典计算机的存在性问题,并非取而代之这么简单。目前,在物理硬件设备基础和量子技术的发展方面,依然无法制造出可以超越经典计算的通用量子计算机。
量子发烧友
2023/03/08
4320
混合量子-经典体系对量子数据的分类问题
子模最大化的FAST算法
作者:Adam Breuer,Eric Balkanski,Yaron Singer
罗大琦
2019/07/18
1.1K0
逻辑回归原理,最大化似然函数和最小化损失函数
经过一系列数学推导和证明,可知在逻辑回归模型中,最大化似然函数和最小化损失函数实际上是等价的,经典的数值优化算法,例如梯度下降和牛顿法,都可以求得其最优解。
zhangjiqun
2024/12/14
1840
逻辑回归原理,最大化似然函数和最小化损失函数
下(应用篇)| 推荐几款较流行的量子算法
量子算法是量子计算机的必要软件支撑,同时量子算法的研究也是推动量子计算发展的强大动力。以下将对各个发展阶段的典型量子算法进行比较分析。
量子发烧友
2023/02/24
2.1K0
下(应用篇)| 推荐几款较流行的量子算法
(上)基于算力加速的量子模拟问题
导读 在处理某些规模庞大和复杂的数据与计算时,量子计算独有的叠加和纠缠特性在算力方面相比于经典计算表现出强大优势。现阶段,由于量子计算机的研发受限于有效的量子比特数、相干时间长度、量子门操作精度等,对量子计算机的研究焦点进而转向量子模拟器,量子模拟器也因此成为发挥量子优越性和研究量子算法的有效途径。
量子发烧友
2023/02/24
6370
(上)基于算力加速的量子模拟问题
推荐阅读
相关推荐
整数规划精确算法/近似算法/(元)启发算法/神经网络反向传播等算法的区别与关联
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文