展开

关键词

Presto系列 | Presto基本介绍

233酱准备不定时持续更新这个系列,本文主要从Presto的使用举例,Presto的应用场景、Presto的基本概念三个部分来初步介绍PrestoPresto的使用举例 比如说,你想对存储在不同数据源中的数据,如HDFS、Mysql、HBase等通过一个SQL做查询分析,那么只需要把每一个数据源当成是Presto的Connector,对应实现Presto Presto跑批的限制原因: ? Presto跑批的条件: ? 所以他们提供了Presto on Spark方案,这样做的好处是可以统一用户使用的SQL方言差异,UDF差异。 ? Presto的基本概念 前面主要谈了Presto的使用场景,下面简要从 Presto的架构和基本术语上介绍PrestoPresto架构 Presto的架构图如下: ? Coordinator Presto中的Coordinator节点负责解析SQL语句,生成并优化物理执行计划,管理Presto worker节点。它是Presto运行的“大脑”。

1.7K40

presto环境搭建

-0.191.tar.gz 下载路径:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.191/presto-server 4、配置presto 在我们解压好的目录下创建一个etc文件夹,etc主要需要配置以下内容 Node Properties: environmental configuration specific ,下载链接为: https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.191/presto-cli-0.191-executable.jar (3)下载下来后改个名字为presto,放在bin目录下,然后给个执行权限:chmod +x presto ,如下图 ? /presto --server localhost:8080 --catalog hive --schema default (5)如果要关闭presto服务,执行:bin/launcher stop

81510
  • 广告
    关闭

    什么是世界上最好的编程语言?丨云托管征文活动

    代金券、腾讯视频VIP、QQ音乐VIP、QB、公仔等奖励等你来拿!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Presto统计信息

    表统计 Presto支持基于统计的查询优化。为了使查询能够利用这些优化,Presto必须具有该查询中表的统计信息。 表统计信息通过连接器提供给查询计划者。 Presto会根据查询中的过滤谓词,尝试选择由最少数量的分区组成的table layout。 可以使用SHOW STATS for命令通过Presto SQL界面显示表统计信息。 ? 每个计划片段均由单个或多个Presto节点执行。片段分离代表Presto节点之间的数据交换。片段类型指定Presto节点如何执行片段以及片段之间的数据分配方式. SINGLE 片段在单个节点上执行. 使用VERBOSE选项时,将提供更详细的信息和低级别的统计信息;要了解这些内容,需要了解Presto内部和实现细节。 可以看到每个阶段花费的CPU时间以及该阶段中每个计划节点的相对成本。

    54830

    Presto连接Hive

    -0.211/etc/cluster/core-site.xml,/opt/presto-server-0.211/etc/cluster/hdfs-site.xml 其中 hive.metastore.uri hdfs 配置文件 从 hdfs 的环境中复制 core-site.xml 和 hdfs-site.xml 文件到 presto 的 etc/cluster 目录下。 启动 Prestore 分别在两个节点上重新启动 Presto 服务。 查询数据 # 启动 presto 命令行 $ . /presto --server bd1:8080 --catalog hive --schema test # 查询数据库 presto:test> show schemas from hive;

    2K60

    Presto连接MySQL

    /presto/presto-server/0.211/presto-server-0.211.tar.gz tar zxvf presto-server-0.211.tar.gz cd /opt/presto-server 分别在两个节点上运行下面的启动命令 # 启动 Presto bin/launcher start # 停止 Presto bin/launcher stop # 前台运行 Presto,建议刚开始的时候使用这种方式 命令行工具 # 下载 wget -c https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.211/presto-cli-0.211 -executable.jar # 这个jar文件是一个自运行的jar包,因此为了使用方便,我们可以将其改名为presto mv presto-cli-0.211-executable.jar presto 通过 Presto 操作 MySQL 数据库 .

    1.3K40

    presto timestmp使用

    13420

    Presto查询引擎

    附上: 喵了个咪的博客:w-blog.cn Presto文档 — Presto 0.100 Documentation 1.安装Presto ca /app/install wget https://repo1 .maven.org/maven2/com/facebook/presto/presto-server/0.184/presto-server-0.184.tar.gz tar -zxvf presto-server -0.184.tar.gz mv presto-server-0.184 /usr/local/presto-0.184 设置环境变量 vim /etc/profile # presto export PRESTO=/usr/local/presto-0.184 export PATH=$PRESTO/bin:$PATH source /etc/profile 配置文件 先进入到presto根目录下 -executable.jar mv presto-cli-0.184-executable.jar presto-cli chmod -R 777 presto-cli presto-cli --server

    1.4K50

    快速学习-Presto优化

    第3章 Presto优化 3.1 数据存储 1)合理设置分区 与Hive类似,Presto会根据元信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。 2)使用列式存储 Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。 GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100 [BAD]: SELECT * FROM tbl ORDER BY time 5)使用近似聚合函数 Presto OR method LIKE '%POST%' OR method LIKE '%PUT%' OR method LIKE '%DELETE%' 7)使用Join语句时将大表放在左边 Presto 3.4 注意事项 ORC和Parquet都支持列式存储,但是ORC对Presto支持更好(Parquet对Impala支持更好) 对于列式存储而言,存储文件为二进制的,对于经常增删字段的表,建议不要使用列式存储

    88820

    Presto Event Listener开发

    简介 同Hive Hook一样,Presto也支持自定义实现Event Listener,用于侦听Presto引擎执行查询时发生的事件,并作出相应的处理。 部署,放到Presto指定目录,修改配置文件。 Maven Pom <dependency> <groupId>com.facebook.presto</groupId> <artifactId>presto-spi</artifactId 使用服务提供者接口(SPI)来扩展Presto。 =presto jdbc.pwd=presto123 在presto根目录下创建query-event-listener目录,名称与我们上面event listener的name一致 将我们的jar包和

    66130

    快速学习-Presto简介

    第1章 Presto简介 1.1 Presto概念 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。 1.2 Presto应用场景 Presto支持在线数据查询,包括Hive,关系数据库(MySQL、Oracle)以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析。 Presto主要用来处理响应时间小于1秒到几分钟的场景。 1.3 Presto架构 Presto是一个运行在多台服务器上的分布式系统。完整安装包括一个Coordinator和多个Worker。 1.5 Presto优缺点 Presto中SQL运行过程:MapReduce vs Presto ? 使用内存计算,减少与硬盘交互。

    67530

    Centos 6.9 配置 Presto

    配置 presto client # 把客户端jar包放置在presto-server-0.166/bin目录下 mv presto-cli-0.166-executable.jar presto-server -0.166/bin # 修改客户端jar包名为presto mv presto-cli-0.166-executable.jar presto # 修改presto客户端jar包权限 chmod +x presto 9. 把 presto 添加到环境变量中 (~/.bash_profile) export PRESTO_HOME=/opt/presto-server-0.166 export PATH=$PRESTO_HOME 验证 presto 是否启动 查看Presto Web UI http://bigdata:8080 启动 Presto 客户端 presto --server bigdata:8080 --catalog

    29530

    小姐姐都能听懂的 ​Presto 详解!揭秘 Presto 最佳实践

    - Presto 在车好多的实践 - Presto 大概在 2017 年底 2018 年初左右开始在车好多落地使用,主要是为满足集团的 Adhoc 查询和报表而服务。 这也是我们当时选择 Presto 组件的主要原因。 3、Presto 在车好多的架构升级 3.1 弹性Presto 方案(Presto on YARN) 我们调研弹性Presto方案主要基于以下2点: 中期任务治理后,排队问题依然严重,希望有更多的资源能提供给 3.2 代理层 Presto-gateway 有了 Presto on YARN 方案以后,结合 Presto 集群晚间有一些定时任务、架构演进稳定性以及后续规划的考量,考虑采用 物理和 on YARN 经过 Presto on YARN 架构升级,Presto 组件资源有了很大的灵活性,也具备了快速部署独立集群提供高 SLA 服务的能力,让 Presto 在车好多更好的发挥作用。

    80110

    Presto Web UI

    概述 每个 Presto 服务都会提供一个 Web 界面,通常称为 Presto Web UI。可以使用与 Presto 服务器相同地址和 HTTP 端口号来访问 Presto Web UI。 Presto Web UI 可在每个 Presto 的 Coordinator 上访问,并可用于检查和监控 Presto 集群以及已处理的查询。 当你第一次使用 Presto Web UI 时,你会看到如下图所示的页面。顶部展示了 Presto 的集群信息,底部展示了查询列表。 提交查询来源也可以不是 presto-cli,例如,当应用程序使用 JDBC 驱动程序连接到 Presto 时,提交查询来源会显示为 presto-jdbc。 翻译来自《Presto权威指南》

    2.7K21

    Presto SPI概述

    连接器是Presto中所有查询数据的来源:它们支持Presto可用的每个目录 SPI代码可在根目录的presto-spi目录中找到。 此类的名称是通过标准Java ServiceLoader接口提供给Presto的:类路径包含META-INF/services目录中名为com.facebook.presto.spi.Plugin的资源文件 该文件的内容是一行,列出了插件类的名称. com.facebook.presto.example.ExamplePlugin 对于Presto源代码中包含的内置插件,只要插件的pom.xml文件包含以下行 ,就会创建此资源文件 <packaging>presto-plugin</packaging> 插件 对于希望了解Presto SPI的开发人员而言,Plugin接口是一个很好的起点。 例如,getConnectorFactories()方法是一个顶层函数,当Presto准备好创建连接器实例以支持目录时,Presto会调用该函数来检索ConnectorFactory。

    60810

    为什么要使用Presto

    Presto 来解救 Presto 能够解决上面所有问题,并能够带来更多的能力:通过联邦查询查询不同的系统,并行查询,水平集群扩展等等。如下图所示是 Presto 的 logo。 即使 Presto 可以理解并有效执行 SQL,但 Presto 也不是数据库,因为它不包括自己的数据存储系统。 使用 Presto 时,存储和计算是分离的,可以独立扩展。Presto 代表计算层,而底层数据源代表存储层。 这样,Presto 可以根据对访问数据的分析需求来扩展和缩减其计算资源以进行查询处理。 Presto 使用场景 Presto 的灵活性和强大功能让户可以自己决定使用 Presto 的程度。对于一个特定的问题,只能从一个小的用途开始。大多数 Presto 用户都是这样开始的。 Presto 可以帮你解决以上所有问题。你可以在 Presto 中访问所有数据库。你可以使用 Presto 支持的标准 SQL、函数、各种操作符查询不同系统。

    85120

    Presto Hive连接器

    Presto仅使用前两个组件:数据和元数据。它不使用HiveQL或Hive执行环境的任何一部分。 HDFS 配置 一般来说,Presto会自动配置HDFS客户端,不需要任何配置文件。 配置文件必须存在于所有Presto节点上。如果要引用现有的Hadoop配置文件,请确保将它们复制到任何未运行Hadoop的Presto节点。 HDFS Username 当不使用Kerberos时,Presto将使用Presto进程所在的OS用户访问HDFS。 Presto将其自己的S3文件系统用于URI前缀s3://,s3n://和s3a://。

    47320

    快速学习-Presto安装部署

    2.3 安装Presto服务器 2.3.1 下载安装包 https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.189/presto-server 一个节点就是在一台机器上安装的Presto实例。这份配置文件一般情况下是在Presto第一次安装的时候,由部署系统创建的。 如果在一个节点上安装多个Presto实例(例如:在同一台机器上安装多个Presto节点),那么每个Presto节点必须拥有唯一的node.id。 2.4 安装Presto客户端 1)下载: https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.189/presto-cli- 4)presto连接hive schema,注意presto不能进行垮库join操作,测试结果如下: $ .

    1.9K20

    Presto 安装与部署

    Presto Presto版本:0.231.1 2.1 安装 运行如下命令将 Presto 解压到工作目录 ~/opt 下: tar -zxvf presto-server-0.231.1.tar.gz 属于同一个集群中的 Presto 节点必须拥有相同的运行环境名称。 node.id:每个 Presto 节点的唯一标示。属于同一个集群的每个 Presto 节点的 node.id 必须是不同的。 如果在一个节点上安装多个 Presto 实例(例如:在同一台机器上安装多个 Presto 节点),那么每个 Presto 节点必须拥有唯一的 node.id。 Presto 将会把日志以及其它的 Presto 数据存储在这个目录下。 2.2.3 config.properties 在 Presto 集群中,每个节点都上都会启动一个 Presto 服务进程,该配置文件的配置项会应用于每个 Presto 的服务进程。

    1.9K20

    Presto+yanagishima部署

    1 部署Presto 1.1 下载Presto Presto下载页面 https://prestodb.io/docs/current/installation/deployment.html 下载 presto-server-0.273.3.tar.gz后上传到服务器并解压 tar -zxvf presto-server-0.273.3.tar.gz -C /opt mv /opt/presto-server and catalog.[...] and schema.[...] presto.datasources=your-presto auth.your-presto=false # presto coordinator url presto.coordinator.server.your-presto=http://10.1.13.193:8080 # almost same as presto coordinator If you use reverse proxy, specify it presto.redirect.server.your-presto=http://10.1.13.193:8080 # presto

    3330

    大数据查询引擎Presto

    Presto设计精巧,可以处理海量数据,最大化地利用硬件性能,计算全部在内存中完成,很好的利用高速网络来进行数据调度。性能基本上是Hive的10倍。 支持直接使用presto-jdbc驱动完成Java应用程序开发。 Presto集群中的数据传输、节点通信、心跳感应、计算监控、计算调度和计算分布全部都是基于RESTful服务实现的,因此Presto中的RESTful服务就是Presto所有服务的基石。 Presto队列是用于控制查询并发量和可接收的SQL数量,可针对用户、提交来源、Session等信息进行个性化配置。 Presto支持众多数据源Connector,最常用的为Hive Connector。

    92830

    相关产品

    • 弹性 MapReduce

      弹性 MapReduce

      弹性MapReduce (EMR)结合云技术和  Hadoop等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或 COS 上的 PB 级海量数据……

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券