首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

业界 | 每天1.4亿小时观看时长,Netflix怎样存储这些时间序列数据?

大数据文摘作品 编译:丁慧、笪洁琼、蒋宝尚 网络互联设备的增长带来了大量易于访问的时间序列数据。越来越多的公司对挖掘这些数据感兴趣,从而获取了有价值的信息并做出了相应的数据决策。 近几年技术的进步提高了收集,存储和分析时间序列数据的效率,同时也刺激了人们对这些数据的消费欲望。然而,这种时间序列的爆炸式增长,可能会破坏大多数初始时间序列数据的体系结构。 Netflix作为一家以数据为驱导的公司,对这些挑战并不陌生,多年来致力于寻找如何管理日益增长的数据。我们将分享Netflix如何通过多次扩展来解决时间序列

02

Web安全工具开发

项目从12月底至今,期间因各种原因断断续续的开发,前前后后已经发布了5个版本,从最初只有框架的 V1.0 版本,到如今功能日趋完善的 V2.3 版本项目正在不断完善中,现已集成端口扫描、指纹识别、旁站探测、信息泄露扫描、安全导航等多个功能,后续将加入漏洞检测、目录识别、域名探测等功能,一起期待吧!页面我们尽可能做到简单、清新,便于用户使用。现 UI 已经适配PC端、Phone端、Pad端,使用户得到舒适的使用体验。我们致力于打造一款安全高效、操作简单、界面清爽、兼容适配的安全工具。本项目的灵感来自于国光师傅的文章Django 编写 Web 漏洞扫描器挖坑记录。就像国光师傅说的那样我们无论是开发还是安全都有很长的路要走,路漫漫其修远兮,吾将上下而求索!

02

翻译:The Log-Structured Merge-Tree (LSM-Tree)

高性能事务系统应用程序通常在提供活动跟踪的历史记录表;同时,事务系统生成$日志记录,用于系统恢复。这两种生成的信息都可以受益于有效的索引。众所周知的设置中的一个例子是TPC-a基准应用程序,该应用程序经过修改以支持对特定账户的账户活动历史记录的有效查询。这需要在快速增长的历史记录表上按帐户id进行索引。不幸的是,基于磁盘的标准索引结构(如B树)将有效地使事务的输入/输出成本翻倍,以实时维护此类索引,从而使系统总成本增加50%。显然,需要一种以低成本维护实时索引的方法。日志结构合并树(LSM树)是一种基于磁盘的数据结构,旨在为长时间内经历高记录插入(和删除)率的文件提供低成本索引。LSM树使用一种延迟和批量索引更改的算法,以一种类似于合并排序的有效方式将基于内存的组件的更改级联到一个或多个磁盘组件。在此过程中,所有索引值都可以通过内存组件或其中一个磁盘组件连续进行检索(除了非常短的锁定期)。与传统访问方法(如B-树)相比,该算法大大减少了磁盘臂的移动,并将在使用传统访问方法进行插入的磁盘臂成本超过存储介质成本的领域提高成本性能。LSM树方法还推广到插入和删除以外的操作。然而,在某些情况下,需要立即响应的索引查找将失去输入/输出效率,因此LSM树在索引插入比检索条目的查找更常见的应用程序中最有用。例如,这似乎是历史表和日志文件的常见属性。第6节的结论将LSM树访问方法中内存和磁盘组件的混合使用与混合方法在内存中缓冲磁盘页面的常见优势进行了比较。

05
领券