分布式系统监测

［编者按］“文献导读”是为大数据领域的研究生和研究人员设置的栏目，本专栏将选取大数据与数据领域的前沿论文，并附以短评，帮助读者了解大数据领域的最新进展。本期，我们选取了与分布式系统监测相关的三篇精彩论文加以导读。如果读者对文献内容有疑问或希望与导读人进一步交流，欢迎在后台留言。

1. Pivot Tracing: Dynamic Causal Monitoring for Distributed Systems

论文作者：Jonathan Mace, Ryan Roelke, RodrigoFonseca

发表会议：SOSP 2015

所属方向：分布式系统；监控框架

导读人：郭振强

［文献短评］：对分布式系统进行监视和排查的困难非常大，主要在于硬件和软件的故障、错误的配置、热斑点、黑客、甚至用户不符合实际的期望。目前，机器学习、统计学方法提高了日志的质量，能够用于故障的排除，但是在召回和开销之间存在着固有的权衡，因为记录的内容是先验的。本文提出了枢轴跟踪，即分布式系统的监控框架。该框架使得用户在运行系统时，能够定义该系统的一个点的任意度量，并能够选择、过滤、通过在该系统的其他部分的事件组，甚至穿越组件或机器边界。本文已经实施的支点跟踪是以Java为原型的，并在HDFS、HBase、Map-Reduce等框架上进行了评估。本文展示了枢轴跟踪可以有效地识别多元化软件系统的bug和错误配置。同时，证明了轴跟踪是动态的，可扩展的，并可以分层分析执行开销低的操作应用。

原文连接：http://sigops.org/sosp/sosp15/current/2015-Monterey/printable/

122-mace.pdf

2. PIE: Approximate Interleaving Event Matching over Sequences

论文作者：Zheng Li, Tingjian Ge

发表会议：ICDE 2015

所属方向：近似匹配；序列数据

导读人：于海涛

［文献短评］：目前，复杂事件语义的抽象大部分是基于正则表达式，扩展了额外的过滤器，例如窗约束。许多应用程序需要平行（交叉）事件模式。此外，这种匹配需要近似的活动订单和追踪事件。本文证明了作为一个影子的条件，并对目前的匹配算法进行了改进。本文提出了一种随机算法，该算法能够连续确定草图的形状，以达到优化的效果。利用马尔可夫链理论，本文证明了所提出的算法的执行轨迹能够形成一个马尔可夫链，且这种链有一个固定的分布，并能够收敛到最优配置。最后，本文使用不同的领域的三个真实数据集（医疗保健，业务流程的日志和Web服务器日志）和几个人工合成的数据集对所提出的算法进行了实验评估，证明了所提出方法的有效性。

7113330

3. Trajectory Simplification: On Minimizing the Direction-based Error

论文作者：Cheng Long, Raymond Chi-WingWong, H.V. Jagadish

发表会议：VLDB 2015

所属方向：轨迹数据简化；最小化问题

导读人：郭环宇

［文献短评］：轨迹数据是许多移动应用的核心。原始的轨迹数据量通常是非常大的，因此它被存储和处理之前会被简化处理。目前，有大量的轨迹简化概念被提出，其中有一种方法是保存轨迹简化（DPTS），该方法性能卓越，旨在保护数据中的方向信息。现有的DPTS需要用户指定误差，然而，用户可能不知道在某些情况下如何适当地设置误差（例如，误差只能在未来某个时间获得的，简单地设置一个误差不合适，因为简化后的轨迹数据可能会被多个应用程序使用，这些程序需要不同的误差）。在这种情况下，需要一种更好的解决方案，从而在实现预定义简化大小的同时将误差最小化。因此，本文给出了一个存储阈值来表示一个简化轨迹的最大存储大小，目标是尽量减少简化轨迹的误差。本文将这个问题称作Min-Error问题，对应于Min-Size问题。

(责任编辑：齐志鑫)

“大数据与数据科学家”公众号

主编：王宏志

特邀副主编：朱劼

副主编：丁小欧

责任编辑：齐志鑫，王雨茁，陈柯昊

编辑： 陶颖安

-精彩内容，记得分享到朋友圈-