前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【impala】在容器里编译impala(1)

【impala】在容器里编译impala(1)

作者头像
runzhliu
发布2021-08-06 15:25:33
5900
发布2021-08-06 15:25:33
举报
文章被收录于专栏:容器计算

编译之前,我们首先简单梳理一下 impala 的编译脚本,因为一般这种大型、多语言的项目,编译起来都比较麻烦,不是一堆 bash 脚本,就是一堆 python 脚本,搞起来可能会报各种莫名其妙的问题,所以前期先梳理一下,跑一步看一步。

看脚本的首先看下有没有 help 之类的选择,但是比较蛋疼的是,大致看了脚本,help 给的信息不太足够了解整个编译的步骤和 trick。

在这里插入图片描述
在这里插入图片描述

关键脚本是 buildall.sh,一看六百多行…看一下定义了几个 function。

在这里插入图片描述
在这里插入图片描述

然后看到关于依赖的是这个 bootstrap_depenencies 的函数,大致看看,肯定是有关于 Python 的下载的。

在这里插入图片描述
在这里插入图片描述

关于 toolchain,可以跳转到这个文件。

在这里插入图片描述
在这里插入图片描述

另外还有各种条件变量会帮助跳过一些依赖的安装。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
代码语言:javascript
复制
2021-07-31 01:47:32,266 Thread-1 INFO: Downloading https://native-toolchain.s3.amazonaws.com/build/cdp_components/14842939/tarballs/apache-hive-3.1.3000.7.2.12.0-35-bin.tar.gz to /impala/toolchain/cdp_components-14842939/apache-hive-3.1.3000.7.2.12.0-35-bin.tar.gz (attempt 3)
2021-07-31 01:47:34,528 Thread-3 INFO: Downloading https://native-toolchain.s3.amazonaws.com/build/cdp_components/14842939/tarballs/ranger-2.1.0.7.2.12.0-35-admin.tar.gz to /impala/toolchain/cdp_components-14842939/ranger-2.1.0.7.2.12.0-35-admin.tar.gz (attempt 3)
2021-07-31 01:47:35,820 Thread-4 INFO: Downloading https://native-toolchain.s3.amazonaws.com/build/21-dd7509fc38/kudu/f486f0813a-gcc-7.5.0/kudu-f486f0813a-gcc-7.5.0-ec2-package-centos-7.tar.gz to /impala/toolchain/toolchain-packages-gcc7.5.0/kudu-f486f0813a-gcc-7.5.0-ec2-package-centos-7.tar.gz (attempt 3)

最后还是报错了,注意看报错信息,可能是下载解压 ranger 的时候报错了。

代码语言:javascript
复制
2021-07-31 01:48:19,138 Thread-3 INFO: Extracting ranger-2.1.0.7.2.12.0-35-admin.tar.gz
Traceback (most recent call last):
  File "/impala/bin/bootstrap_toolchain.py", line 534, in <module>
    if __name__ == "__main__": main()
  File "/impala/bin/bootstrap_toolchain.py", line 531, in main
    execute_many(download, components_needing_download)
  File "/impala/bin/bootstrap_toolchain.py", line 417, in execute_many
    return pool.map(f, args, 1)
  File "/usr/lib64/python2.7/multiprocessing/pool.py", line 250, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/usr/lib64/python2.7/multiprocessing/pool.py", line 548, in get
    self.wait(timeout)
  File "/usr/lib64/python2.7/multiprocessing/pool.py", line 543, in wait
    self._cond.wait(timeout)
  File "/usr/lib64/python2.7/threading.py", line 339, in wait
    waiter.acquire()
KeyboardInterrupt

先写到这里,后面再继续。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/07/31 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档