genrule 的 参数 分为:sources,a tool(例如一个内置命令,一个shell脚本),一条命令,outputs
之前搞 opentelemetry-cpp 的时候接触了下 bazel 构建系统。这玩意儿用起来有一点坑,特别是使用自定义编译环境的时候。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
Bazelisk Python版本已经废弃,最新的是用 Go 编写的,bazelisk 在 Bazel 外面又包装了一层。它会根据项目当前的工作目录自动选择一个配置的 Bazel 版本,从官方服务器下载它(如果需要),然后将所有命令行参数透传给真正的 Bazel 二进制文件。这样就可以像调用 Bazel 一样调用它。
Tensorflow Lite官方在移动端提供了官方编译好的库,我们直接拿来用就好。Tensorflow 在Linux平台与Mac平台下编译也非常轻松,基本不会遇到太多问题(据说Google内部只用Linux与Mac)。但是在Windows下编译真是一波三折,好在已经编译成功了,记录一下Windows 10下Tensorflow Lite编译过程,帮助一下跟我一样被Tensorflow折腾的不行的人。
Bazel 支持很多内置的规则,语言相关规则有 Shell、Objective-C、C++ 和 Java,比如 sh_binary、cc_binary、cc_import、cc_library、java_binary、java_import等。但是 Go 编译内置规则没有支持,不过好在 Bazel 支持规则扩展,可以自定义 Go 相关规则,包括可以实现如 go_binary、go_library、go_test等规则。而 `rules_go`[1] 就是 Bazel 官方维护的 Go Bazel 开源扩展规则。`gazelle`[2] 这个项目可以将 Go 项目转为 Bazel 方式构建,包括生成 BUILD.bazel 文件,根据 go.mod 文件自动生成下载依赖模块规则 go_repository。这里简单介绍下 rules_go 和 gazelle 相关内容,更多可以参考官方相关文档。
Bazel 是 Google 公司于 2015 年开源的一款构建框架,至今收获了 21k 的 star 数,远超 gradle、maven、cmake 等同类产品。近几年来,字节阿里腾讯等互联网大厂也逐步拥抱 Bazel,搭建自己的构建体系。
在当今的软件开发世界中,构建工具的选择对于提高开发效率、维护代码质量以及提升团队协作能力都至关重要。谷歌作为全球技术巨头,为了解决大规模代码构建和测试的挑战,开发了一款名为Bazel的构建工具。Bazel具有强大的功能和灵活性,已成为开源社区中的明星工具。本文将深入探讨谷歌的Bazel构建工具及其在软件开发中的应用。
原因还是以前常见的镜像服务错误:http: server gave HTTP response to HTTPS client
先用Go写个hello-world源文件。执行go mod init和go mod tidy
Bazel是一个类似于类似于 Make、Maven 和 Gradle的构建和测试工具。使用 Java、C++、Go、Android、iOS 以及许多其他语言和平台进行构建和测试。Bazel 可在 Windows、macOS 和 Linux 上运行。
本文示例可见:https://github.com/ikuokuo/start-cpp20
宏是实例化规则的函数。当 BUILD 文件过于重复或过于复杂时,它就非常有用,因为它允许您重复使用某些代码。
本篇的代码放在: https://github.com/backendcloud/example/tree/master/bazel-sample/docker WORKSPACE文件内容: 加载rules_go 加载rules_docker 加载gazelle 准备基础镜像alpine_linux_amd64和distroless_linux_amd64 (类似Dockerfile的FROM) ⚡ root@localhost ~/bazel-sample/docker main ± c
Bazel是一个类似于Make的编译工具,是Google为其内部软件开发的特点量身定制的工具,如今Google使用它来构建内部大多数的软件。(怪不得看起来很像Android.bp语法 O(∩_∩)O)
经过三年的试用,2020 年,Spotify 决定采用 Bazel 作为 Spotify iOS 应用程序的官方构建系统。按照 Spotify 工程师 Patrick Balestra 的说法,这一切换将他们的构建时间减少了四分之三。
tensorflow bazel 编译命令: (编译cpu支持的版本,限制编译的内存为2GB, 并兼容旧版本的ABI)
本文的目的是分享在TX1上安装Tensorflow Serving时遇到的主要问题,避免重复踩坑。
为了将proto文件转成编程语言代码,需要安装编译工具protoc。本篇验证使用 Bazel 构建 是否能和手动执行 protoc 和插件 的编译一样的结果。
{Fast, Correct} - Choose two Build and test software of any size, quickly and reliably
【bazel】https://github.com/sofu456/bazel 【openjdk】https://github.com/openjdk/jdk.git
本篇文章通过https://github.com/bazelbuild/examples/tree/main/cpp-tutorial里面的例子,来简单介绍下bazel构建的基础知识,方便后续查找和学习。
本文会讲述 Bazel 自定义工具链的两种方式,Platform 和 Non-Platform 方式。会存在这两种方式的原因是 Bazel 的历史问题。例如,C++ 相关规则使用 --cpu 和 --crosstool_top 来设置一个构建目标 CPU 和 C++ 工具链,这样就可以实现选择不同的工具链构建 C++ 项目。但是这都不能正确地表达出“平台”特征。使用这种方式不可避免地导致出现了笨拙且不准确的构建 APIs。这其中导致了对 Java 工具链基本没有涉及,Java 工具链就发展了他们自己的独立接口 --java_toolchain。因此非平台方式(Non-Platform)的自定义工具链实现并没有统一的 APIs 来规范不同语言的跨平台构建。而 Bazel 的目标是在大型、混合语言、多平台项目中脱颖而出。这就要求对这些概念有更原则的支持,包括清晰的 APIs,这些 API 绑定而不是分散语言和项目。这就是新平台(platform)和工具链(toolchain) APIs 所实现的内容。
上面的WORKSPACE调用下面的deps.bzl,在deps.bzl用内置的方法http_archive引入bazel基础库Skylib依赖
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/g3doc/get_started/os_setup.md
最近在 BazelCon 23 上宣布,Bazel 7 推出了多年来一直在开发中的一系列新功能,其中包括全新的模块化外部依赖管理系统 Bzlmod、全新优化的“Build without the Bytes”模式、得益于 Project Skymeld 的多目标构建性能改进等等。
这里名词只做个索引,方便理解,可能现在反而让理解变得更加复杂,不过没关系,我们主要是实现的就是自定义 build flag。更多参见这里[1]。
最近公司给我们分配了2台虚拟机服务器用于强化学习训练,我们在虚拟环境中安装好了TensorFlow环境后,在import tensorflow时发现报了下面的错误: 于是我去Google搜索了下出现这个错误的原因,发现是因为我们服务器的CPU不支持AVX指令集导致的,而使用pip安装的TensorFlow需要依赖AVX指令集,为了确认我们的CPU是否真的不支持AVX指令集,我使用cat /proc/cpuinfo 命令查看了下目前CPU指令集支持情况,发现我们的CPU果然不支持AVX指令集。 又不支持
经过一周的反复折腾,终于能顺利 debug envoy 源码,中途踩了无数坑,在此记录一下。
为了实现如标题所述的将多个静态库合并为一个动态库,内置的 Bazel 规则是没有这个功能的,Bazel C/C++ 相关的内置规则有:
本文记录在Linux服务器更换Nvidia驱动的流程。 需求 Linux 服务器上的 1080Ti 显卡驱动为387, CUDA 9,比较老旧,需要更换成可以运行pytorch 1.6的环境。 确定当前显卡型号\操作系统版本\目标环境 查看显卡信息,确定自己的显卡型号: $ nvidia-smi 或 $ lspci | grep -i vga 输出的设备信息并不是我们熟悉的型号,比如我的输出为: 02:00.0 VGA compatible controller: NVIDIA Corpo
操作系统:GUN Linux操作系统AARCH64架构。 istio-proxy版本:istio-proxy1.15.2
随着其他组织将他们的构建管道迁移到Bazel 之后,Airbnb 也发布了一个详细的说明,分享了他们弃用 Buck 并改善构建时间以及项目生成和加载时间的过程。
clone grpc-go 官方仓库, 找到 https://github.com/grpc/grpc-go/tree/master/examples/helloworld 添加bazel所需文件 修改后的源码放在:https://github.com/backendcloud/example/tree/master/bazel-sample/bazel-grpc-go 运行gazelle生成BUILD文件: ⚡ root@localhost ~/grpc-go/examples master
最近公司给我们分配了2台虚拟机服务器用于强化学习训练,我们在虚拟环境中安装好了TensorFlow环境后,在import tensorflow时发现报了下面的错误:
技术是安身立命之本,实践出真知,熟能生巧,佐以业务能力,遇上风口之时,可逆天改命!
Istio由控制面和数据面组成。其中Envoy是Istio在数据面缺省使用的转发代理,Istio利用Envoy的四层和七层代理功能对网格中微服务之间的调用流量进行转发。今天我们来分析一下Istio 使用到的Envoy构建流程。
在这里要说明一下,博主辛辛苦苦寻找解决途径,发现网上大多数博客根本没有顾及到这类离线下载配置和相关条件,反复倒腾过后总结里以下步骤:
从CDSW1.1.0开始支持GPU,具体可以参考Fayson之前的文章《如何在CDSW中使用GPU运行深度学习》,从最新的CDSW支持GPU的网站上我们可以查到相应的Nvidia Drive版本,CUDA版本以及TensorFlow版本,如下:
主要区别就下面的生成{templator}的不同,后者进入仓库的tools/manifest-templator/目录后执行go build生成可执行文件然后复制到{templator}路径。
GTX 1080+Ubuntu16.04+CUDA8.0+cuDNN5.0+TensorFlow 安装指导
ivy的使用文档 https://next.angular.io/guide/ivy
很巧的是编译安装tensorflow-gpu版成功了。 tensorflow已经更新到1.13版,官方的linux安装文件采用的是glibc2.23, 而centos只支持到glibc2.17,所以在使用pip install tensorflow-gpu安装后的使用过程中会报错:
修改KubeVirt的源码后需要重新部署,流程是:打包编译,生成docker image,push到镜像仓库,用生成的镜像部署到Kubernetes上。
bazel的编译中使用了Starlark语言,这种语言类似于python语言,详细内容可以参考 :https://docs.bazel.build/versions/4.2.1/skylark/language.html
安装环境为CENTOS6.8操作系统,pip安装tensorflow后提示GLIBC版本过低。考虑到升级GLIBC有一定的风险,所以决定使用编译安装的方式安装tensorflow。基本流程是按照这篇教程: http://www.jianshu.com/p/fdb7b54b616e/ 进行的,但是因为选择使用的版本有些不同,自己又遇到了一些坑。所以重新整理一下操作步骤。为了使安装步骤对操作系统影响最小,安装时不使用root账户以及sudo权限,而是使用了一个普通账户makeuser进行操作(少数步骤需要使用root操作)
在今天早些时候Angular团队发布了8.0.0稳定版。其实早在NgConf 2019大会上,演讲者就已经提及了从工具到差分加载的许多内容以及更多令人敬畏的功能。下面是我对8.0.0一些新功能的简单介绍,希望可以帮助大家快速了解新版本。
之前发布过一篇文章 发布一个开源小项目 rules_docker_for_insecure_registries
本篇的源码放在: https://github.com/backendcloud/example/tree/master/bazel-remote
领取专属 10元无门槛券
手把手带您无忧上云