搭建一套数据治理体系耗时耗力，但或许我们没有必要从头开始搞自己的数据血缘项目。本文分享如何用开源、现代的 DataOps、ETL、Dashboard、元数据、数据血缘管理系统构建大数据治理基础设施。
在过去的几年里，数据工程领域的重要性突飞猛进，为加速创新和进步打开了大门——从今天开始，越来越多的人开始思考数据资源以及如何更好地利用它们。这一进步反过来又导致了数据技术的“第三次浪潮”。“第一次浪潮”包括 ETL、OLAP 和关系数据仓库，它们是商业智能 (BI) 生态系统的基石，无法应对大数据的4V[1]的指数增长。由于面向 BI 的栈的潜力有限，我们随后见证了“第二次浪潮”：由于 Hadoop 生态系统（允许公司横向扩展其数据平台）和 Apache Spark（为大规模高效的内存数据处理打开了大门）。
dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。TiDB 社区在近日推出了 dbt-tidb 插件，实现了 TiDB 和 dbt 的兼容适配。本文将通过一个简单的案例介绍如何通过 dbt 实现 TiDB 中数据的简单分析。
如果你装好某款数据库产品，比如：分布式图数据库 NebulaGrpah，跃跃欲试的第一步是不是就让它干活搞数据呢？好的，现在问题来了，如何把相对原始的数据处理、建模并导入 NebulaGraph 呢？本文是一个端到端的示例演示，从多数据源聚合数据，清理、利用 dbt 转换成 NebulaGraph 建模的属性图点边记录，最后导入成图谱的全流程。
本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式 Lakehouse。我们很高兴地宣布，用户现在可以使用 Apache Hudi + dbt 来构建开放Lakehouse。
在发布的Apache Hudi 0.10.0版本中共解决了388个issue，包括众多重磅特性支持以及Bug修复。
上一篇介绍了什么是 modern data stack,这一篇继续来梳理下，在modern data stack 下面常见的产品都有哪些。
从Vivado 2018.3开始，可以通过图形界面方式使用命令report_qor_suggestions，如图1所示。从Tcl角度而言，就是多了一个-name选项。
距离上次发文已经一个多月了，有许多小伙伴都在问我是不是不更了，其实不是哈，只是调整了节奏，改成了一月一篇，大家看一下这段时间的发文频率应该就能看出来。这篇文章原来准备四月底发出的，但忙着给公司项目写一个简单、轻量的网络抽象层（后面会开源出来，大家轻喷）框架有点耽误了，遂等到了五一后，这个算是四月份的更文，五月份的更文尽量不延期了哈。
你或许听过好几种Make工具，例如GNU Make ，QT的qmake ，微软的MS nmake，BSD Make（pmake），Makepp，等等。这些Make工具遵循着不同的规范和标准，所执行的Makefile格式也千差万别。这样就带来了一个严峻的问题：如果软件想跨平台，必须要保证能够在不同平台编译。而如果使用上面的 Make 工具，就得为每一种标准写一次Makefile，这将是一件让人抓狂的工作。
至于 CLion 安装和基础设置，网上教程一大把，而且不是学习重点，根据自己需求配置即可。
CMake意为cross-platform make，可用于管理c/c++工程。CMake解析配置文件CMakeLists.txt生成Makefile，相比直接用Makefile管理工程，CMake更灵活和简单。
CMake 可能已经安装在你的 Linux 系统上。如果没有，你可以使用发行版的程序包管理器进行安装：
CMAKE_C_FLAGS：编译C文件时的选项，如-g；也可以通过add_definitions添加编译选项
在使用CMake构建项目时，经常会用到 CMAKE_CURRENT_SOURCE_DIR 这个变量，用于获取当前源代码目录的路径。然而，有时候在项目中存在多级子目录的情况下，CMAKE_CURRENT_SOURCE_DIR 变量可能无法正确解析。 本文将介绍一种解决 CMAKE_CURRENT_SOURCE_DIR 变量无法正确解析的方法。
亲人工作考试，公司给的题库好像是直接从数据库导出的表格Excel形式，在移动端上非常难看，需要不断左右上下滑动，看不了多少题眼就瞎了，遂主动请缨编写python脚本解决之。
网络设备配置管理与版本控制 摘要 2014-12-25 我的系列文档 Netkiller Architect 手札 Netkiller Developer 手札 Netkiller PHP 手札 Netkiller Python 手札 Netkiller Testing 手札 Netkiller Cryptography 手札 Netkiller Linux 手札 Netkiller Debian 手札 Netkiller CentOS 手札 Netkiller Free
CMake 详细说明参考官方文档 https://cmake.org/cmake/help/latest/index.html，其中latest为最新版本版本，不同 CMake 版本，API 有差异，请根据当前项目设置的最低版本来参考，高版本 API 在低版本无法使用。3.20之后的文档会标记该 API 的生效版本
BaseExtension 文档位置 : android-gradle-dsl/2.3/com.android.build.gradle.BaseExtension.html
1、用Gradle构建 1.1 工程结构 如图所示，这是一个不能更普通的Android的Gradle工程了。 根目录下面的settings.gradle当中主要是用来include子模块的，比如我
进入/etc/profile.d/ 新建python3.sh文件,在python3.sh文件中添加export PATH="$PATH:/usr/local/python3/bin"
当您规划出业务关键型资产时，您可以在整个堆栈中获得端到端概览，其中显示哪些数据模型或仪表板对业务至关重要、它们的使用位置以及它们的最新状态。
每个项目都必须处理依赖关系，而 CMake 使得在配置项目的系统上查找这些依赖关系变得相对容易。第三章，检测外部库和程序，展示了如何在系统上找到已安装的依赖项，并且到目前为止我们一直使用相同的模式。然而，如果依赖关系未得到满足，我们最多只能导致配置失败并告知用户失败的原因。但是，使用 CMake，我们可以组织项目，以便在系统上找不到依赖项时自动获取和构建它们。本章将介绍和分析ExternalProject.cmake和FetchContent.cmake标准模块以及它们在超级构建模式中的使用。前者允许我们在构建时间获取项目的依赖项，并且长期以来一直是 CMake 的一部分。后者模块是在 CMake 3.11 版本中添加的，允许我们在配置时间获取依赖项。通过超级构建模式，我们可以有效地利用 CMake 作为高级包管理器：在您的项目中，您将以相同的方式处理依赖项，无论它们是否已经在系统上可用，或者它们是否需要从头开始构建。接下来的五个示例将引导您了解该模式，并展示如何使用它来获取和构建几乎任何依赖项。
在Pycharm客户端上，File-Settings-Project:Python-Project Interpreter添加PyInstaller源。如图：
一、需求分析 公司需要将存在于旧系统（TFS）所有的文档迁移至新系统（SharePoint 2013）。现已经将50G以上的文档拷贝到SharePoint 2013 Server上。这些文档是一些
gitbutler 是一个基于 Git 的版本控制客户端。旨在为现代工作流程构建一个全新的 Git 分支管理工具。
在linux 下进行开发很多人选择编写makefile 文件进行项目环境搭建，而makefile 文件依赖关系复杂，工作量很大，搞的人头很大。采用自动化的项目构建工具cmake 可以将程序员从复杂的makefile 文件中解脱出来。cmake 根据内置的规则和语法来自动生成相关的makefile 文件进行编译，同时还支持静态库和动态库的构建，我把工作中用到的东东总结在此，方便忘记时随时查看，具体cmake的介绍和详细语法还是参考官方文档（http://www.cmake.org/），有一篇中文的cmake 实践 写的不错，可以google一下。
ANT的命令到此结束。他们的依赖关系，大家细细琢磨。本人目前已经不使用ANT脚本很久了。目前使用的maven，maven比ANT好多了，具体好在哪里大家可以到网上搜一搜。等以后有时间了给大家贡献maven的讲解。请大家多多关注本人的博客!!
你或许听过好几种 Make 工具，例如 GNU Make ，QT 的 qmake ，微软的 MS nmake，BSD Make（pmake），Makepp，等等。这些 Make 工具遵循着不同的规范和标准，所执行的 Makefile 格式也千差万别。这样就带来了一个严峻的问题：如果软件想跨平台，必须要保证能够在不同平台编译。而如果使用上面的 Make 工具，就得为每一种标准写一次 Makefile ，这将是一件让人抓狂的工作。
Chang Stream(变更记录流) 是指collection(数据库集合)的变更事件流，应用程序通过db.collection.watch()这样的命令可以获得被监听对象的实时变更。BigQuery是Google推出的一项Web服务，该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。
3.一些Phing的type元素（比如<property>, <fileset>, <patternset>等）
文档在所有软件项目中都是必不可少的：对于用户，解释如何获取和构建代码，并说明如何有效地使用您的代码或库，对于开发者，描述库的内部细节，并帮助其他程序员参与并贡献于您的项目。本章将展示如何使用 CMake 构建代码文档，使用两个流行的框架：Doxygen 和 Sphinx。
目前有将服务器指定文件上传的需求, 手头正好有免费的COS资源使用, 于是使用COS作为存储工具
0、讲个故事 0.1 Ant，我还真以为你是只蚂蚁 真正开始近距离接触编程其实是在2012年，年底的时候带我的大哥说，咱们这个 app 发布的时候手动构建耗时太久，研究一下 ant 脚本吧。 那个时候连 HashMap 都不知道是啥，可想开发经验几乎为零，一个小小的 ant 脚本看得我真是深深地感受到了这个世界充满的恶意。好在后来硬着头皮搞明白了什么 target 之类的鬼东西，不然就没有然后了。 0.2 Maven，你们真的会读这个单词么 Maven /`meivn/ 接触 Maven，完全是因为读陈雄华
CMake是一个跨平台的安装(编译)工具,可以用简单的语句来描述所有平台的安装(编译过程)。他能够输出各种各样的makefile或者project文件,能测试编译器所支持的C++特性,类似UNIX下的automake。
作为可交付成果，数据产品可以像报告一样简单，也可以像新的机器学习模型一样复杂。数据产品还将包含消费所需的任何元数据，例如 API 合同和文档。
http://iamin.blogdriver.com/iamin/1173623.html
理论上来说，任意一个c++程序都可以使用g++来编译，但当程序规模越来越大时，一个工程可能有许多的文件夹和源文件，这时输入的编译命令将会越来越长。因此，对于C++使用一些工程管理工具会更加高效。这里我们使用CMake。 在一个CMake工程中，我们会使用cmake命令生成一个Makefile文件，然后，用make命令根据这个 makefile文件的内容来编译整个工程。
pip是Python的软件包管理工具，可以用来安装、升级与卸载Python的软件包。从Python3.4版本开始，系统已经自带pip工具了。
linux环境下，当项目工程很大的时候，编译的过程很复杂，所以需要使用make工具，自动进行编译安装，但是手写makefile文件比较复杂，所幸在GNU的计划中，设计出了一种叫做Autoconf/Automake的工具，用来自动生成makefile文件，为编译和安装程序提供了一个方便快捷的入口。
CMake是开源、跨平台的构建工具，可以让我们通过编写简单的配置文件去生成本地的Makefile，这个配置文件是独立于运行平台和编译器的，这样就不用亲自去编写Makefile了，而且配置文件可以直接拿到其它平台上使用，无需修改，非常方便。
QT的项目工程默认使用的是qmake,这本来也没什么问题。但是由于要用到vcpkg这个工具来管理第三方库，好像这个 vcpkg工具只能在cmake的项目中才能使用。
CMake 允许为项目增加编译选项，从而可以根据用户的环境和需求选择最合适的编译方案。
在过去几年的DevOps的浪潮中，自动化、持续集成这两个概念早已深入人心(互联网技术人)。比尔盖茨先生曾经都说过：“任何技术在一个业务中使用的第一条规则就是，将自动化应用到一个高效的操作上将会放大高效。第二条就是自动化应用到一个低效操作上，则放大了低效率。”
谈到多环境，相信现在大多公司都至少有2-3个app环境了，比如Test环境，UAT(User Acceptance Test)用户验收测试环境，Release环境等等。当需要开发打多个包的时候，一般常见做法就是直接代码里面修改环境变量，改完之后Archive一下就打包了。当然这种做法很正确，只不过不是很优雅很高效。如果搭建好了Jenkins(搭建教程)，我们利用它来优雅的打包。如果利用Jenkins来打包，我们就需要来给app来配置一下多个环境变量了。之后Jenkins分别再不同环境下自动集成即可。接下来，我们来谈谈常见的2种做法。
cmake 是一个跨平台、开源的构建系统。它是一个集软件构建、测试、打包于一身的软件。它使用与平台和编译器独立的配置文件来对软件编译过程进行控制。
网站和json webservices将侦听的IP地址。默认为127.0.0.1（localhost）
CMake是一个跨平台的安装编译工具，可以用简单的语句来描述所有平台的安装编译过程。
编写高质量代码并非易事，即使对于经验非常丰富的开发者也是如此。通过向我们的解决方案中添加测试，我们可以减少在业务代码中犯明显错误的风险。但这还不足以避免更复杂的问题。每一段软件都由如此多的细节组成，跟踪它们全部成为了一份全职工作。团队维护产品达成了数十种约定和多种特殊设计实践。
CMake , NDK 相关错误 , 先去查看 SDK , NDK , JRE 版本 ;
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
