数据仓库被认为是对结构化数据执行分析的标准，但它不能处理非结构化数据。包括诸如文本、图像、音频、视频和其他格式的信息。此外机器学习和人工智能在业务的各个方面变得越来越普遍，它们需要访问数据仓库之外的大量信息。
作者简介 张巍，携程技术中心大数据资深研发工程师。2017年加入携程，在大数据平台部门从事基础框架的研发和运维，目前主要负责 Presto，Kylin，StructedStreaming 等大数据组建的运维，优化，设计及调研工作。对资源调度，OLAP引擎，存储引擎等大数据模块有浓厚的兴趣， 对 hdfs，yarn，presto，kylin，carbondata 等大数据组建有相关优化和改造经验。 一、背景介绍 携程作为中国在线旅游的龙头，提供酒店，机票，度假等服务，这些服务的背后是基于各个部门每天对海量数
Presto是Facebook在2012年开发的，是专为Hadoop打造的一款数据仓库工具。在早期Facebook依赖Hive做数据分析，Hive底层依赖MapReduce，随着数据量越来越大，使用Hive进行数据分析，时间可能需要分钟级到小时级别，不能满足交互式查询的数据分析场景。2012年秋季，Facebook开发Presto，目前该项目在Facebook中运行超过30000个查询，每日处理数据PB以上。Presto的查询速度是Hive的5-10倍。
Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。本期内容，我会从一个初学者的角度，带着大家从 0 到 1 学习 Presto，希望大家能够有所收获！
桔妹导读：Presto在滴滴内部发展三年，已经成为滴滴内部Ad-Hoc和Hive SQL加速的首选引擎。目前服务6K+用户，每天读取2PB ~ 3PB HDFS数据，处理30万亿~35万亿条记录，为了承接业务及丰富使用场景，滴滴Presto需要解决稳定性、易用性、性能、成本等诸多问题。我们在3年多的时间里，做了大量优化和二次开发，积攒了非常丰富的经验。本文分享了滴滴对Presto引擎的改进和优化，同时也提供了大量稳定性建设经验。
在本文中我们讨论下你可能已经遇到过的关于数据大规模增长的问题，以及数据被忽略的价值。Presto 是处理所有数据并通过结构化查询语言（SQL）提供行之有效工具的关键推动力。Presto 的设计和功能能够让你获得更好的见解，而不仅仅只是访问。你可以更快地获得这些见解，并获得过去由于成本过高、时间太长而无法获得的信息。除此之外，你可以使用更少的资源，花费更少的预算来学到更多。
经过对 Presto 和 Hive 的性能做了大量的对比测试，最终结果表明： Presto 的平均查询性能是 Hive 的 10 倍！
在字节跳动内部，Presto 主要支撑了 Ad-hoc 查询、BI 可视化分析、近实时查询分析等场景，日查询量接近 100 万条。
Presto因其优秀的查询速度被我们所熟知，它本身基于MPP架构，可以快速的对Hive数据进行查询，同时支持扩展Connector，目前对Mysql、MongoDB、Cassandra、Hive等等一系列的数据库都提供了Connector进行支持。是我们常用的SQL on Hadoop的解决方案。那么我们今天就来看一下，当我们选择Presto作为我们的查询引擎之后，我们需要考虑的问题。
天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。Presto服务了腾讯内部的不同业务场景，包括微信支付、QQ、游戏等关键业
在之前的《大数据开发：OLAP开源数据分析引擎简介》一文当中，我们对主流的一些开源数据分析查询引擎做了大致的介绍，今天的大数据开发分享，我们具体来讲解其中的Presto查询引擎，是什么，为什么会出现，又能够解决什么样的数据处理需求。
很多的时候，在Presto上对数据库跨库查询，例如Mysql数据库。这个时候Presto的做法是从MySQL数据库端拉取最基本的数据，然后再去做进一步的处理，例如统计等聚合操作。
很久之前，曾经写过一篇 《Presto在大数据领域的实践和探索》 。文中详细讲解了Presto的原理和应用。
Presto 在 Facebook 的诞生最开始是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Presto 的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。但是随着近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要批处理；但是 Presto 作为一个 MPP 计算引擎，将一个 MPP 体系结构的数据库来处理海量数据集的批处理是一个非常困难的问题，所以一种比较常见的做法是前端写一个适配器，对 SQL 进行预先处理，如果是一个即时查询就走 Presto，否则走 Spark。这么处理可以在一定程度解决我们的问题，但是两个计算引擎以及加上前面的一些 SQL 预处理大大加大我们系统的复杂度。
很明显，error显示为com.hadoop.compression.lzo.LzoCodec没有找到
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节，Presto虽然具备解析SQL的能力，但它并不属于标准的数据库范畴。
所以说，当公司业务有跨库分析时（一般情况是，业务数据库分布在各个部门），一些数据需要配合其他部门的数据进行关联查询，这个时候可以考虑Presto。但是目前，对于MySQL统计查询在性能上有瓶颈。可考虑将数据按时间段归档到HDFS中，以提高统计效率。
我在实习僧App上发现一家公司非常匹配我的需求~ 城市匹配 技能匹配 福利匹配 还是一家游戏公司 （典型的钱多离家近，事估计少不了了 ） 三配下来我不得不认真研究该公司的职位要求：
如果大家正在按照笔者的教程尝试使用大数据组件还是之前有使用过相关的组件,大家会发现一个问题HIVE在负责的查询下调用Mapreduce会很慢,在这个场景下就涌现出很多查询引擎来优化,比如大家熟悉的Spark-SQL,Impala,kilin已经今天的主角Presto, Presto以速度和极强的扩展性取得了胜利,不仅能够提高对HIVE数据查询速度还能和异构数据库进行关联查询,比如HIVE和Mysql进行关联查询,那么我们就来迫不及待的揭开Presto的庐山真面目 附上: 喵了个咪的博客:w-blog.c
Uber的目标是通过让世界运转来激发机遇，而大数据是其中非常重要的一部分。 Presto® 和 Apache Kafka® 在 Uber 的大数据堆栈中发挥着关键作用。 Presto 是查询联合的事实标准，已用于交互式查询、近实时数据分析和大规模数据分析。 Kafka 是支持许多用例的数据流的骨干，例如发布/订阅、流处理等。在接下来的文章中，我们将讨论我们如何将这两个重要的服务连接在一起，以通过Uber大规模Presto集群直接在 Kafka 上的实现轻量级、交互式 SQL 查询。
城市匹配 技能匹配 福利匹配 还是一家游戏公司 （典型的钱多离家近，事估计少不了了 ） 三配下来我不得不认真研究该公司的职位要求：
本文主要介绍了 Presto 的简单原理，以及 Presto 在有赞的实践之路。
Presto Connector支持从多种数据源读取数据，例如：Hive、MySQL、Redis、Kudu、Kafka等。Presto Connector只支持从对应的Connector中查询数据，不支持建表及插入等非查询操作，这个使用Presto 主要应用于OLAP场景决定的。
Presto是由 Facebook 推出的一个基于Java开发的开源分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。
https://prestodb.io/docs/current/installation/deployment.html#installing-presto
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。Presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方案，要么使用消耗大量硬件的慢速的“免费”方案。
天穹 SuperSQL 是腾讯自研，基于统一的 SQL 语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的 Data Cloud 上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto 在腾讯天穹 SuperSQL 大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。Presto 服务了腾讯内部的不同业务场景，包括微信支
目前最流行的大数据查询引擎非hive莫属，它是基于MR的类SQL查询工具，会把输入的查询SQL解释为MapReduce，能极大的降低使用大数据查询的门槛， 让一般的业务人员也可以直接对大数据进行查询。但因其基于MR，运行速度是一个弊端，通常运行一个查询需等待很久才会有结果。对于此情况，创造了hive的facebook不负众望，创造了新神器---presto，其查询速度平均比hive快10倍，现在就来部署体验一下吧。
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。
Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。
Presto是一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。Presto的运行模型和Hive或MapReduce有着本质的区别。Hive将查询翻译成多阶段的MapReduce任务， 一个接着一个地运行。 每一个任务从磁盘上读取输入数据并且将中间结果输出到磁盘上。 然而Presto引擎没有使用MapReduce。它使用了一个定制的查询和执行引擎和响应的操作符来支持SQL的语法。除了改进的调度算法之外， 所有的数据处理都是在内存中进行的。 不同的处理端通过网络组成处理的流水线。 这样会避免不必要的磁盘读写和额外的延迟。 这种流水线式的执行模型会在同一时间运行多个数据处理段， 一旦数据可用的时候就会将数据从一个处理段传入到下一个处理段。 这样的方式会大大的减少各种查询的端到端响应时间。
在 Apache Hudi支持完整的Schema演变的方案中 硬核！Apache Hudi Schema演变深度分析与应用 读取方面，只完成了SQL on Spark的支持（Spark3以上，用于离线分析场景），Presto（用于在线OLAP场景）及Apache Hive（Hudi的bundle包）的支持，在正式发布版本中（Hudi 0.12.1, PrestoDB 0.277）还未支持。
作者 | Uber Engineering 译者 | Sambodhi 策划 | 赵钰莹 本文最初发布于 Uber 官方博客，InfoQ 经授权翻译如下 Uber 的目的就是要让全世界变得更好，而大数据是一个非常重要的部分。Presto 和 Apache Kafka 在 Uber 的大数据栈中扮演了重要角色。Presto 是查询联盟的事实标准，它已经在交互查询、近实时数据分析以及大规模数据分析中得到应用。Kafka 是一个支持很多用例的数据流中枢，比如 pub/sub、流处理等。在这篇文章中，我们
Presto 最初是由 Facebook 开发的一个分布式 SQL 执行引擎， 它被设计为用来专门进行高速、实时的数据分析，以弥补 Hive 在速度和对接多种数据源上的短板。
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。
每个 Presto 服务都会提供一个 Web 界面，通常称为 Presto Web UI。可以使用与 Presto 服务器相同地址和 HTTP 端口号来访问 Presto Web UI。默认情况下，端口为 8080。例如，http://presto.example.com:8080。Presto Web UI 可在每个 Presto 的 Coordinator 上访问，并可用于检查和监控 Presto 集群以及已处理的查询。
Presto是Facebook开源的MPP（Massive Parallel Processing）SQL引擎，其理念来源于一个叫Volcano的并行数据库，该数据库提出了一个并行执行SQL的模型，它被设计为用来专门进行高速、实时的数据分析。
一篇由Apache Hudi PMC Bhavani Sudha Saktheeswaran和AWS Presto团队工程师Brandon Scheller分享Apache Hudi和Presto集成的一篇文章。
《Presto 分布式SQL查询引擎及原理分析》详细介绍了Presto 的数据模型、技术架构，解释了Presto 对于查询分析有着较高性能。任何SQL引擎，执行过程都是比较复杂的。本篇文章来详细分析 Presto SQL的执行过程以及Presto Connector对索引条件下推良好扩展性技术原理。
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。因为工作中接触到Presto，研究它对理解SQL Parser、常见算子的实现（如SQL中table scan,join,aggregation）、资源管理与调度、查询优化（如向量化执行、动态代码生成）、大数据下各个组件为何适用不同场景等等都有帮助。我希望通过这个系列可以了解一条SQL在大数据场景下该如何高效执行。233酱准备不定时持续更新这个系列，本文主要从Presto的使用举例，Presto的应用场景、Presto的基本概念三个部分来初步介绍Presto。
上述配置项为presto-server配置信息，同时将coordinator以及worker都集中在同一台主机。
Presto设计精巧，可以处理海量数据，最大化地利用硬件性能，计算全部在内存中完成，很好的利用高速网络来进行数据调度。性能基本上是Hive的10倍。
即席查询AD-HOC ：以单独的SQL语句的形式执行的查询就是即席查询，比如说：HUE里面输入SQL语句并获得结果或者使用dbeaver连接hiveserver2自己键入的SQL代码并获取结果，这样的操作就是即席查询。
合理设置分区在读取数据时可以针对分区数据读取，可以减少Presto数据读取量，提升查询性能。
Presto 在访问 Hive 中的数据时需要得到 Hive 中的所有元数据信息，因此需要部署一个 HiveMetaStore 服务提供 Hive 的元数据信息。
http://prestodb-china.com/ PRESTO是什么？ Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 它可以做什么？ Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。 Presto以分析师的需求作为目标，
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- Presto是由Facebook开源，完全基于内存的并行计算以及分布式SQL交互式查询引擎。它可以共享Hive的元数据，然后直接访问HDFS中的数据，同时支持Hadoop中常见的文件格式比如文本，ORC和Parquet。同Impala一样，作为Hado
导读：大家好，我是来自唯品会实时平台 OLAP 团队的王玉，主要负责唯品会这边 Presto、Kylin、ClickHouse、Kudu，这些在 OLAP 比较常用组件的开源修改、组件优化还有维护的工作，并且我们还负责一些为业务指导、设计 OLAP 方案支持的工作。
线上用户反馈使用Presto查询Hudi表出现错误，而将Hudi表的文件单独创建parquet类型表时查询无任何问题，关键报错信息如下
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
