注：本文专用于2019年3月29日前的谷歌云专业数据工程师认证考试。此后我也做了一些更新，放在了Extras的部分。
在本节中，我们将介绍 Google Cloud Platform（GCP）上的无服务器计算基础。 我们还将概述 GCP 上可用的 AI 组件，并向您介绍 GCP 上的各种计算和处理选项。
Apache Spark是一个流行的执行框架，用于执行数据工程和机器学习方面的工作负载。他提供 Databricks 平台的支持，可用于内部部署的或者公有云的 Hadoop 服务，例如 Azure HDInsight、Amazon EMR、以及 Google Cloud Dataproc，也可以在 Mesos 集群上运行。
目前云驱动数据处理和分析呈上升趋势，我们在本文中来分析下，Apache Hadoop 在 2019 年是否还是一个可选方案。
自从2005年 Etsy 网站开始运营，Etsy.com 和大多数相关的服务就被部署在自托管的数据中心。今年早些时候，我们决定评估是否要把所有服务部署到云上。 当时，在我们自己的硬件上运营数据中心是一
去年9月份，谷歌为Hadoop和Spark推出了Cloud Dataproc服务的beta版本，如今半年过去了，Cloud Dataproc服务已完成测试，现在可以被广泛使用。 谷歌在旧金山的一次活
Apache Druid 适用于对实时数据提取，高性能查询和高可用要求较高的场景。因此，Druid 通常被作为一个具有丰富 GUI 的分析系统，或者作为一个需要快速聚合的高并发 API 的后台。Druid 更适合面向事件数据。
时隔半年不到，PyTorch 已经从之前的 1.0 升级到 1.1 版本了。刚刚，Facebook 在年度开发者大会 F8 上宣布正式发布 PyTorch 1.1 版本，这是对 PyTorch 1.0 的一次大的功能升级。
Druid是专用于基于大数据集的实时探索分析的开源数据存储。该系统包括列式存储，分布式的无共享架构，高级索引结构，可用于任意探索具有次秒级延迟的十亿行级的数据表。这篇文章我们主要描述Druid的架构，并且详细说明它如何支持快速聚合、灵活筛选以及低延迟数据的加载。
Druid 是多进程架构，每种进程类型都可以独立配置，独立扩展。这样可以为集群提供最大的灵活度。这种设计还提供了强失效容忍：一个失效的组件不会立即影响另外的组件。
从根本上讲，ClickHouse，Druid和Pinot都是相似的，因为它们在同一节点上存储数据并进行查询处理，这与去耦BigQuery体系结构不同。最近，我以Druid为例描述了一些固有的问题与耦合结构1，2）。目前没有与BigQuery等效的开源软件（也许是Drill吗？），我已经在本博文中探讨了构建此类开源系统的方法。
先说背景：公司采用diamond+tddl,这套技术来做web管理。本人处于好奇率先体验了下spring-boot，于是就有了spring-boot+tddl的组合。但是jar包上线后，屡屡发现一条error日志不痛不痒的出现在日志文件中，处于程序员的本能，怎么能允许error日志出现在我的系统中呢！ 于是，展开了一段tddl与spring-boot的爱恨之旅... 挣扎期 首先看错误提示： 2017-09-27 11:15:58,428 [main] ERROR com.taobao.tddl.co
Kubernetes 1.7已经发布，该版本聚焦于安全、存储和扩展性等交付特性，其中包括Network Policy API、StatefulSets自动升级策略以及可扩展的API聚合层。Kubernetes的上一个发布版1.6版侧重于解决规模化和自动化上的问题，显然最新的1.7发布版力图为Kubernetes在企业组织中的进一步采用夯实基础。需注意的是，虽然1.7版的核心集群编排功能是以稳定版提供，但是其中给出的一些头条发布特性在文档中被标为Alpha版或Beta版。
Apache Druid是一个高性能的实时分析数据库。它是为快速查询和摄取的工作流而设计的。Druid的优势在于即时数据可见性，即时查询，运营分析和处理高并发方面。
Netflix(Nasdaq NFLX)，也就是网飞公司，成立于1997年，是一家在线影片[租赁]提供商，主要提供Netflix超大数量的[DVD]并免费递送，总部位于美国加利福尼亚州洛斯盖图。1999年开始订阅服务。2009年，该公司可提供多达10万部DVD电影，并有1千万的订户。2007年2月25日，Netflix宣布已经售出第10亿份DVD。
Druid 是一个专为大型数据集上的高性能切片和 OLAP 分析而设计的数据存储系统。
Druid是实时分析型数据库(OLAP)，利用面向列的存储布局、分布式非共享体系结构和先进的索引结构，可以在秒量级的延迟内查询百亿行表。
Druid 是一个开源的，分布式的，列存储的，适用于实时数据分析的存储系统，能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。
张量处理单元（TPU）是 Google Cloud Platform（GCP）上高性能 AI 应用的基本构建块。 在本节中，我们将重点介绍 GCP 上的 TensorFlow。 本节包含三章。 我们将深入介绍 Cloud TPU，以及如何利用它们来构建重要的 AI 应用。 我们还将通过利用 Cloud TPU 构建预测应用，使用 Cloud ML Engine 实现 TensorFlow 模型。
到目前为止，向应用程序发送基本的 HTTP 请求是一种有效使用 Knative 函数的方式。然而，无服务器的松耦合特性同时也适用于事件驱动架构。也就是说，可能在文件上传到 FTP 服务器时我们需要调用一个函数；又或者，在我们进行物品销售时需要调用一个函数来处理支付和库存更新的操作。与其操心我们的应用程序或函数监听上述事件的逻辑，不如当那些被关注的事件发生时，让 Knative 去处理并通知我们。
项目地址: https://github.com/helloworlde/SpringBoot-DynamicDataSource
近日，谷歌推出了几项新的聚焦于云安全的谷歌云平台（GCP）增强。这些增强包括云安全命令中心（云SCC）、“谷歌云盔（Google Cloud Armor）”、VPC服务控制等新服务和若干供G Suite管理员使用的新特性。此外，这些增强是谷歌云平台投资的一部分，帮助客户增强他们的企业解决方案以及他们使用的GCP服务的安全性。 借助云安全命令中心，客户可以把安全相关的信息组织到一个控制面板中，谷歌云盔可以阻止DDos攻击及其他威胁。此外，VPC服务控制提供了一种把本地安全策略扩展到谷歌云服务的更好方法，而G
了解过 Apache Druid 或之前看过本系列前期文章的同学应该都知道 Druid 兼具数据仓库，全文检索和时间序列的能力。那么为什么其可以具有这些能力，Druid 在实现这些能力时做了怎样的设计和努力？
「K8S 生态周报」内容主要包含我所接触到的 K8S 生态相关的每周值得推荐的一些信息。欢迎订阅知乎专栏「k8s生态」。
现在让我们为我们的主题运行一个生成器（producer），然后向主题中发送一些数据！
虽然Druid在我们的数据平台架构中为我们提供了很好的服务，但随着我们在公司内部使用Druid的增长，存在新的挑战。
Apache Druid是一个分布式的、面向列的、实时分析数据库，旨在快速获取大量数据并将其编入索引，并对大型数据集进行快速的切片和切分分析（“OLAP查询），常用于实时摄取、快速查询和对时间依赖性很高的数据库用户。因此，Druid可以为可视化的分析应用程序提供强力的数据源支持，或用作需要快速聚合的高并发API的后端。Druid最适合面向事件的数据。
上一篇文件 Tekton介绍 介绍了Tekton、Tekton的安装教程、以及使用Tekton实现简单的HelloWorld，这篇文章通过复杂的项目实现完整的CI/CD流程来了解Tekton的使用。
Druid.io（以下简称Druid）是2013年底开源出来的， 主要解决的是对实时数据以及较近时间的历史数据的多维查询提供高并发(多用户)，低延时，高可靠性的问题。
GIthub上有两个Druid。其中一个是阿里的数据库连接池，另一个是列式存储的分布式数据存储系统。我曾经一度认为是一个东西，本文介绍后一种Druid。
作者 | Romit Mehta、Vaishali Walia 和 Bala Natarajan
近日，Hadoop 领域发生几件不太美好的事情，先是 MapR 宣布如果无法获得新的投资，就必须要裁员百余人，并关闭硅谷总部，再是 Cloudera 股价暴跌 43%，估值缩水。
当前集群部署方案是维护一个超大集群，基于物理机器部署，集群规模达 100+ 节点。Druid 集群作为相关核心业务数据项目的下游，可以通过批任务和流任务写入数据，然后相关业务方可以进行 OLAP 实时查询分析。
作者简介 张中原，2011年加入去哪儿网，先后从事交易系统、酒店数据、公司基础平台与组件、存储和监控等相关工作，曾长期担任应届生技术培训和指导。 最近几年时间，机器学习算法相关的话题异常火爆，各个具有一定规模的公司都开始成立算法组开展相应的工作，从"对大数据的分析观察"逐渐转变为"用数据和算法驱动业务的发展"。 对于机器学习技术本身互联网上有足够的学习资料和案例，甚至已经有将机器学习做成服务的AI云出现，这其实也反映出行业对实施机器学习相关配套系统的迫切需求。 我们团队在做这件事情的过程中，也遇到过一些问
1 GCP 渗透测试笔记（译文） 本文对GCP渗透测试中应用到的基础知识与渗透测试技术点进行介绍。 https://zone.huoxian.cn/d/2661-gcp 2 2023年高级威胁攻击趋势预测 本文介绍了巴斯基公司的安全研究与分析团队GReAT对2023年高级威胁（APT）攻击的发展趋势进行的展望和预测。 https://www.aqniu.com/hometop/91104.html 3 使用 Cloud Shell 在 Google Cloud Platform (GCP) 中权限维持 IB
本教程演示了如何使用 Druid 的 Kafka indexing 服务从 Kafka 流中加载数据至 Druid。
作者 | Jon Udell 译者 | 明知山 策划 | 丁晓昀 渗透测试人员、合规性审计员和其他 DevSecOps 专业人员花了大量时间编写脚本来查询云基础设施。人们喜欢用 Boto3（Python 版 AWS SDK）来查询 AWS API 并处理返回的数据。 它可以用来完成简单的工作，但如果你需要跨多个 AWS 帐户和地区查询数据，事情就变得复杂了。这还不包括访问其他主流云平台（Azure、GCP、Oracle Cloud），更不用说 GitHub、Salesforce、Shodan、Sl
http://druid.io/现在也会跳转https://druid.apache.org/
爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。比如：
在云原生安全方面，Kubernetes 在不同维度提供了很多的不同内容，例如 RBAC、Networkpolicy、SecurityContext 等等，种种措施中，像我这样基础不牢的 YAML 工程师最头大的可能就要数 SecurityContext 里面的 SELinux、Seccomp 和 AppArmor 三大块了。Security Profiles Operator 项目为此而来，希望能够降低在 Kubernetes 集群中使用这些安全技术的难度。在项目网页上转了转，发现他所说的简化，除了定义几个 CRD 封装这样的 Operator 传统技能之外；还有一个使用 CRD 在节点间传输 Security Profile 的能力；最后也是最重要的，提供了很方便的录制功能，这倒是真的戳中了痛点——手写 Profile 固然酷炫，录制生成才是生产力啊。目前支持的功能矩阵如下：
在《什么的是用户画像》一文中，我们已经知道用户画像对于企业的巨大意义，当然也有着非常大实时难度。那么在用户画像的系统架构中都有哪些难度和重点要考虑的问题呢？
自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分析，并且产生的数据量非常巨大！有效地存储数PB数据并拥有必要的工具来查询它以便使用它至关重要，只有这样对该数据的分析才能产生有意义的结果。
Druid是一个快速的列式分布式的支持实时分析的数据存储系统。它在处理PB级数据、毫秒级查询、数据实时处理方面，比传统的OLAP系统有了显著的性能改进。
最近同事发现新服务用的驱动都是 MySQL8.0，而一些老系统 MySQL 驱动版本较低，存在一些危险漏洞，于是主动的把一些老应用的 MySQL 驱动程序升级到了 8.0。然而升级后，在并发量较高时，查看监控打点，Druid 连接池拿到连接并执行 SQL 的时间大部分都超过 200ms。
一个系统的数据库的连接密码作为一个非常重要的安全数据，其安全非常重要。而在代码的配置文件中直接存放明文密码提交到代码仓库后显然有泄露的风险。
栅格数据在 Earth Engine中表示为Image对象。图像由一个或多个波段组成，每个波段都有自己的名称、数据类型、比例、遮罩和投影。每个图像都将元数据存储为一组属性。
Druid 数据源通常等效于关系数据库中的表。Druid 的lookups行为与数仓型数据库的维表相似，但是正如您将在下面看到的那样，如果可以避免，通常建议使用非规范化。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
