前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Presto+yanagishima部署

Presto+yanagishima部署

作者头像
范一刀
发布2022-06-29 15:03:31
9090
发布2022-06-29 15:03:31
举报
文章被收录于专栏:CSDN技术博客

1 部署Presto

1.1 下载Presto

Presto下载页面 https://prestodb.io/docs/current/installation/deployment.html

下载 presto-server-0.273.3.tar.gz后上传到服务器并解压

代码语言:javascript
复制
tar -zxvf presto-server-0.273.3.tar.gz -C /opt
mv /opt/presto-server-0.273.3 /opt/presto

1.2 修改配置

创建目录

代码语言:javascript
复制
cd /opt/presto
mkdir  etc/

创建配置文件

代码语言:javascript
复制
vi etc/node.properties
代码语言:javascript
复制
    node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
    node.data-dir=/opt/presto/data
代码语言:javascript
复制
vi etc/jvm.config
代码语言:javascript
复制
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M
代码语言:javascript
复制
vi etc/config.properties
代码语言:javascript
复制
    coordinator=true
    node-scheduler.include-coordinator=true
    http-server.http.port=8080
    query.max-memory=5GB
    query.max-memory-per-node=1GB
    query.max-total-memory-per-node=2GB
    discovery-server.enabled=true
    discovery.uri=http://10.1.13.193:8080
代码语言:javascript
复制
vi etc/log.properties
代码语言:javascript
复制
    com.facebook.presto=INFO
代码语言:javascript
复制
mkdir etc/catalog
vi etc/catalog/jmx.properties
代码语言:javascript
复制
    connector.name=jmx

1.3 创建不同的数据源

代码语言:javascript
复制
vi mysql.properties
代码语言:javascript
复制
connector.name=mysql
connection-url=jdbc:mysql://10.1.13.199:3306?useSSL=false
connection-user=root
connection-password=paaaswd
代码语言:javascript
复制
vi oracle.properties
代码语言:javascript
复制
connector.name=oracle
connection-url=jdbc:oracle:thin:test1/pass$123@//10.1.13.223:1521/orcl
代码语言:javascript
复制
vi mongodb.properties
代码语言:javascript
复制
connector.name=mongodb
mongodb.seeds=10.1.13.12:27017
mongodb.schema-collection=admin
代码语言:javascript
复制
vi sqlserver.properties
代码语言:javascript
复制
connector.name=sqlserver
connection-url=jdbc:sqlserver://10.1.13.13:1433
connection-user=sa
connection-password=passwd

vi redis.properties

代码语言:javascript
复制
connector.name=redis
redis.table-names=schema1.table1,schema1.table2
redis.nodes=10.1.13.14:6379

1.4 启动Presto

代码语言:javascript
复制
cd /opt/presto/bin
./launcher start

1.5 访问Presto页面

浏览器访问 http://PrestoIP:8080

在这里插入图片描述
在这里插入图片描述

2 部署yanagishima

2.1 下载解压yanagishima

下载yanagishima20.zip 上传服务器并解压

代码语言:javascript
复制
mkdir /opt/yanagishima
cd /opt/yanagishima
unzip yanagishima-20.zip

2.2 修改配置文件

代码语言:javascript
复制
cd /opt/yanagishima/conf
代码语言:javascript
复制
vi yanagishima.properties
代码语言:javascript
复制
# yanagishima web port.
jetty.port=7080
# 30 minutes. If presto query exceeds this time, yanagishima cancel the query.
presto.query.max-run-time-seconds=1800
# 1GB. If presto query result file size exceeds this value, yanagishima cancel the query.
presto.max-result-file-byte-size=1073741824
# you can specify freely. But you need to specify same name to presto.coordinator.server.[...] and presto.redirect.server.[...] and catalog.[...] and schema.[...]
presto.datasources=your-presto
auth.your-presto=false
# presto coordinator url
presto.coordinator.server.your-presto=http://10.1.13.193:8080
# almost same as presto coordinator url. If you use reverse proxy, specify it
presto.redirect.server.your-presto=http://10.1.13.193:8080
# presto catalog name
catalog.your-presto=hive
# presto schema name
schema.your-presto=default
# if query result exceeds this limit, to show rest of result is skipped
select.limit=500
# http header name for audit log
audit.http.header.name=some.auth.header
use.audit.http.header.name=false
# limit to convert from tsv to values query
to.values.query.limit=500
# authorization feature
check.datasource=false
sql.query.engines=presto
# 1GB. If hive query result file size exceeds this value, yanagishima cancel the query.
hive.setup.query.path.your-hive=/opt/yanagishima/conf/hive_setup_query_your-hive

创建hive_setup_query_your-hive

代码语言:javascript
复制
touch /opt/yanagishima/conf/hive_setup_query_your-hive

2.3 启动yanagishima

代码语言:javascript
复制
cd /opt/yanagishima
nohup ./yanagishima-start.sh >y.log 2>&1 &

2.4 访问yanagishima页面

浏览器访问http://yanagishimaIP:7080 在此界面可以进行多表查询

在这里插入图片描述
在这里插入图片描述
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-06-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1 部署Presto
    • 1.1 下载Presto
      • 1.2 修改配置
        • 1.3 创建不同的数据源
          • 1.4 启动Presto
            • 1.5 访问Presto页面
            • 2 部署yanagishima
              • 2.1 下载解压yanagishima
                • 2.2 修改配置文件
                  • 2.3 启动yanagishima
                    • 2.4 访问yanagishima页面
                    领券
                    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档