作者：所罗伯·斯里瓦斯塔瓦（Saurabh Shrivastava）、内拉贾利·斯里瓦斯塔夫（Neelanjali Srivastav）
最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但Apache Hadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。 在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括： Hadoop流 mrjob dumbo hadoopy pydoop 其它 最终，在我的看来，H
目前云平台逐渐火热起来，国内如：阿里云、腾讯云、华为云等平台，国外如：AWS、Azure、Google GCP等平台，都有不少用户，并在持续的增加中。
一、背景介绍 生产环境中，hadoop的版本选择是一个公司架构之时，很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见，或者指正，希望大家能交流。 Apache Hadoop：Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。称为社区版Hadoop。 第三方发行版Ha
作者：Kumar Chinnakali 译者：java达人 来源：http://dataottam.com/2016/01/10/self-learn-yourself-apache-spark-in-21-blogs-3/（点击文末阅读原文前往） 一、 Spark项目最初由加州大学伯克利分校AMP实验室的Matei在2009年发起，并在2010年根据BSD协议开源。2013年，该项目捐献给Apache软件基金会，转为Apache2.0 协议。2014年二月，Spark成为Apache重点项目。201
Kubernetes架构非常适合有一定服务规模的组织，但它对其他人来说可能过于复杂。
相信作为 Spark 的粉丝或者平时工作与 Spark 相关的同学大多知道，Spark 3.0 在 2020 年 6 月官方重磅发布，并于 9 月发布稳定线上版本，这是 Spark 有史以来最大的一次 release，共包含了 3400 多个 patches，而且恰逢 Spark 发布的第十年，具有非常重大的意义。
数据仓库的数据体系严格、治理容易，业务规模越大，ROI 越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI 越低，但胜在灵活。
Apache Spark是一个流行的执行框架，用于执行数据工程和机器学习方面的工作负载。他提供 Databricks 平台的支持，可用于内部部署的或者公有云的 Hadoop 服务，例如 Azure HDInsight、Amazon EMR、以及 Google Cloud Dataproc，也可以在 Mesos 集群上运行。
作者 | Sanket Gupta 译者 | 王强 策划 | 刘燕 本文最初发布于 Medium 网站，经原作者授权由 InfoQ 中文站翻译并分享。 当你的数据集变得越来越大，迁移到 Spark 可以提高速度并节约时间。 多数数据科学工作流程都是从 Pandas 开始的。 Pandas 是一个很棒的库，你可以用它做各种变换，可以处理各种类型的数据，例如 CSV 或 JSON 等。我喜欢 Pandas — 我还为它做了一个名为“为什么 Pandas 是新时代的 Excel”的播客。 我仍然认为 Pandas
在先前有关CDW性能的博客文章中，我们将Azure HDInsight与CDW进行了比较。在此博客文章中，我们使用TPC-DS 2.9基准测试比较了使用Cloudera数据平台（CDP ）上的Cloudera数据仓库（CDW）的Apache Hive-LLAP与Amazon上的EMR 6.0（也由Apache Hive-LLAP支持）。亚马逊最近宣布了其最新的EMR版本6.1.0，支持ACID事务。该基准测试是在EMR 6.0版上运行的，因为我们无法使查询在6.1.0版本上成功运行。稍后在博客中对此有更多的了解。
随着云计算的快速发展，越来越多的企业希望从顶层框架入手，探索整体数据架构中的更多可能性，DBaaS(亦称泛数据库类服务)就是PaaS 层的一个重要分支。那么，DBaaS到底是什么?适用于哪些应用场景?
最近几周，人们对比较 Hudi、Delta 和 Iceberg 的表现越来越感兴趣[1]。我们认为社区应该得到更透明和可重复的分析。我们想就如何执行和呈现这些基准、它们带来什么价值以及我们应该如何解释它们添加我们的观点。
哈喽，各位小伙伴早你们肯定还在睡懒觉，橙C早已经坐上了地铁去上班的路上，真羡慕你萌。
李阳良，一面数据大数据部门负责人，九年互联网工作经验，对后台开发、大数据技术接触比较多。
Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发。Hive 的 HiveServer2 就是基于 Thrift 的，所以能让不同的语言如 Java、Python 来调用 Hive 的接口。对于 Java，Hive 提供了 jdbc 驱动，用户可以使用 Java 代码来连接 Hive 并进行一系列操作。 本节将演示如何使用 Java 代码来连接 HiveServer2
集群成员变更一直是 etcd 最棘手的问题之一，在变更过程中会遇到各种各样的挑战，我们稍后一一来看。为了把问题描述清楚，首先需要了解 etcd 内部的 raft 实现。
本文介绍了大数据计算引擎在数据平台中的重要性，重点讲解了Hadoop、Spark、Flink和ClickHouse这四种引擎的特点和适用场景。通过对比分析，总结了各引擎在性能、易用性、功能丰富度、适用业务场景等方面的差异。同时，分享了在金融、互联网、运营商、公共服务等行业中，各引擎在实时分析、离线批处理、海量数据存储等方面的实践案例。此外，还探讨了各引擎在数据开发、数据治理、数据服务等方面的挑战和机遇。
最近工作中一直和 SWF（Amazon 的 Simple Work Flow）打交道，在一个基于 SWF 的工作流框架上面开发和修 bug。SWF 的 activity 超时时间是 5 分钟，在 activity task 开始执行以后，activity worker 需要主动发送心跳请求告知 service 端：“我还活着，我还在干活”，如果出现超过 5 分钟（可以配置）没有心跳，SWF 的 service 端就认为，你已经挂了，我需要把这个 activity 安排到别的 activity worker 上来执行了。借用 AWS 官网的一张图：
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。
Apache Sqoop是一种用于在Apache Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。http://sqoop.apache.org/
在构建本地数据中心的时候，出于Apache Kudu良好的性能和兼备OLTP和OLAP的特性，以及对Impala SQL和Spark的支持，很多用户会选择Impala / Spark + Kudu的技术栈。但是由于Kudu对本地存储的依赖，导致无法支持的数据高可用和弹性扩缩容，以及社区的逐渐不活跃，越来越多的用户，开始迁移到云上的Trino / Spark + Hudi 技术栈，本文通过一个实际的例子，来看一下迁移过程中发生的代码的重构和数据的迁移。
2006年，AWS发布了其第一个Serverless存储服务S3和第一个Serverful计算服务EC2，这也是AWS正式发布的前两个服务，开启了云计算波澜壮阔的旅程。2014年，AWS发布了业界第一个Serverless计算服务AWS Lambda。在今年（2021年）的AWS re:Invent大会上，AWS又发布三个Serverless新品：Redshift Serverless、EMR Serverless和MSK Serverless。AWS的15年发展史（2006到2021年），也是一部AWS创造和深耕Serverless的历史，一部从Serverful不断向Serverless演进的历史。
文| 张涵诚、陆骥 本文为作者投稿，转载请联系作者 背景 当前大家都知道： 1.数据交易市场的繁荣为时过早，数据加工和处理太过于分散化； 2.数据金字塔顶部的数据成为重要的资产，然后拥有者并不知道如何释放； 3.互联网数据聚合及释放数据价值的经验值得所有企业参考。 笔者团队经历对于DAAS的几个阶段，艰辛万苦，若有所思，现在把研究成果分享出来，以求大家反馈，研究研究再改进。 DAAS是什么 基本定义 Users can access vendor provided databases 用户可直接获取由BD公
近来全国疫情出现反弹，众多企业被迫开启居家办公模式。对于非常依赖内网办公的企业而言，这种远程的办公模式会将大量的身份验证信息、操作权限暴露于并不安全的外部互联网络中。
鱼皮你好，我想问一下关于软件开发的，现在我知道的软件开发都是前端三件套然后 vue 或 react 框架，后端 springboot springmvc、Javaweb 这些技术。前端页面需要调用后端接口来调用函数，这个接口应该是通过网络实现的吧？
很多时候我们会面临一个问题，即外网的带宽是有限的，虽然未来有扩容的可能，但是短时间内也不能直接扩容，而测试本身是无限的。因此，如果不能够在内网下直接发包进行测试，那由于带宽限制打不到较大的压力，对于一些容器的测试很可能就达不到效果。
咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我，
DynamoDB 是Amazon最新发布的NoSQL产品，那什么是DynamoDB呢？
大家在日常运维当中，如果Windows服务器的服务挂掉了怎么办，比如数据库、Tomcat、Redis等等。再比如赶上周末放假的话，是不是还需要紧急处理问题，然后一整天的好心情也就没有了，有没有什么好办法来解决这个问题呢。这里给大家介绍通过Bat脚本的方式，实现异常Windows服务的重启，这样再也不用担心服务器因为应用服务挂掉，还需要火急火燎的处理问题了。当然前提是你的应用服务应该配置为Windows服务的方式启动。大家一起来看看吧！
网上很多关于Redis的安装教程都是基于Linux的，有一部分是基于是windows的，但都是在线的，这在生产环境有时候是不适用的，因为生产环境一般都是离线的，那么有没有办法在离线的情况下再windows上装一个Redis集群呢？
此前Apache Hudi社区一直有小伙伴询问能否使用Amazon Redshift（数仓）查询Hudi表，现在它终于来了。
在【rainbowzhou 面试8/101】技术提问--如何进行大数据基准测试？中，我介绍了如何进行大数据基准测试。本篇来说说常见的一些大数据基准测试工具，希望对大家有所帮助。
作者 ｜ Tina 亚马逊云科技已经将数据分析产品全面Serverless化，并拓展到全栈，率先完成了包括计算、存储、数据库、数据分析等领域服务的Serverless 化。 Serverless 已经不再是一个未来概念了。多年来，我们目睹了各种技术的兴起和普及。20 世纪 90 年代后期，Linux 受到了空前的关注，并最终成为业界领先的服务器操作系统。在 2000 年代初期，虚拟化提高了服务器利用率，为云计算铺平了道路。如今，Linux 和虚拟化作为云计算的基础已经无处不在。而现在，最热的技术话题都是围
通过日志我们了解到上面的问题就是 Jenkins 没有办法调用 Docker 的构建命令。
通过将 BFF 构建于 serverless 之上，将人工智能实验室（天猫精灵）数十个中后台应用整合到了一个统一入口。用云函数的方式取代了传统基于 NodeJS 的 BFF 层，提供了在一个站点下不同应用以及不同环境的快速切换能力。从而极大程度的降低了开发成本和运维成本，使机器数量从 200 余台缩减为 10 台，同时有效减少了业务方的学习和理解成本。
2021 年初，在 InfoQ 全年技术趋势展望中，数据湖与数据仓库的融合，成为大数据领域的趋势重点。直至年末，关于二者的讨论依然热烈，行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控；行业内的主要共识点则是二者结合必能降低大数据分析的成本，提高易用性。
亚马逊Web服务的弹性MapReduce是一项基于Hadoop的实施，它可允许你运行大型的预处理工作，如格式转换和数据聚合等。虽然我们可以选择很多的编程语言来对这些任务进行编码，但是时间紧张的开发人员更需要一个能够最大限度减少编码开销的编程框架。Mrjob、 Dumbo 以及 PyDoop 是三个基于Python可满足以上需求的弹性MapReduce框架。 那么，为什么诸如Java或Apache Pig之类的流行编程语言无法胜任这项任务呢？亚马逊的弹性MapReduce（EMR）任务一般都是采用Java语言
允中 假装发自 7th Ave 量子位 出品 | 公众号 QbitAI 51秒。 亚马逊无人店Amazon Go开放首日，第一位顾客从进店到购物离开，用时总共不到一分钟。那是西雅图周一早上7点，天还没
Hadoop 目前是数据处理的标准工具，其核心组件包含了HDFS（分布式文件系统）、YARN(资源调度平台)、
Druid是目前非常流行的一款高性能的、分布式列存储的实时OLAP框架，有比较多的用户需要部署该框架解决他们的业务问题。
整个EMR的集群调度工具是YARN,那我们就继续学习下去吧。首先了解yarn的功能。
下载地址： https://dev.mysql.com/downloads/mysql/ 根据自己需要下载对应的版本，我下载的是mysql-5.7.31
CDC(Change Data Capture)从广义上讲所有能够捕获变更数据的技术都可以称为CDC，但本篇文章中对CDC的定义限定为以非侵入的方式实时捕获数据库的变更数据。例如：通过解析MySQL数据库的Binlog日志捕获变更数据，而不是通过SQL Query源表捕获变更数据。Hudi 作为最热的数据湖技术框架之一, 用于构建具有增量数据处理管道的流式数据湖。其核心的能力包括对象存储上数据行级别的快速更新和删除，增量查询(Incremental queries,Time Travel)，小文件管理和查询优化(Clustering,Compactions,Built-in metadata)，ACID和并发写支持。Hudi不是一个Server，它本身不存储数据，也不是计算引擎，不提供计算能力。其数据存储在S3(也支持其它对象存储和HDFS)，Hudi来决定数据以什么格式存储在S3(Parquet,Avro,…), 什么方式组织数据能让实时摄入的同时支持更新，删除，ACID等特性。Hudi通过Spark，Flink计算引擎提供数据写入, 计算能力，同时也提供与OLAP引擎集成的能力，使OLAP引擎能够查询Hudi表。从使用上看Hudi就是一个JAR包，启动Spark, Flink作业的时候带上这个JAR包即可。Amazon EMR 上的Spark，Flink，Presto ，Trino原生集成Hudi, 且EMR的Runtime在Spark，Presto引擎上相比开源有2倍以上的性能提升。在多库多表的场景下(比如：百级别库表)，当我们需要将数据库(mysql,postgres,sqlserver,oracle,mongodb等)中的数据通过CDC的方式以分钟级别(1minute+)延迟写入Hudi，并以增量查询的方式构建数仓层次，对数据进行实时高效的查询分析时。我们要解决三个问题，第一，如何使用统一的代码完成百级别库表CDC数据并行写入Hudi，降低开发维护成本。第二，源端Schema变更如何同步到Hudi表。第三，使用Hudi增量查询构建数仓层次比如ODS->DWD->DWS(各层均是Hudi表)，DWS层的增量聚合如何实现。本篇文章推荐的方案是: 使用Flink CDC DataStream API(非SQL)先将CDC数据写入Kafka，而不是直接通过Flink SQL写入到Hudi表，主要原因如下，第一，在多库表且Schema不同的场景下，使用SQL的方式会在源端建立多个CDC同步线程，对源端造成压力，影响同步性能。第二，没有MSK做CDC数据上下游的解耦和数据缓冲层，下游的多端消费和数据回溯比较困难。CDC数据写入到MSK后，推荐使用Spark Structured Streaming DataFrame API或者Flink StatementSet 封装多库表的写入逻辑，但如果需要源端Schema变更自动同步到Hudi表，使用Spark Structured Streaming DataFrame API实现更为简单，使用Flink则需要基于HoodieFlinkStreamer做额外的开发。Hudi增量ETL在DWS层需要数据聚合的场景的下，可以通过Flink Streaming Read将Hudi作为一个无界流，通过Flink计算引擎完成数据实时聚合计算写入到Hudi表。
Apache RocketMQ是一个分布式、队列模型的消息中间件，具有低延迟、高性能和高可靠、万亿级容量和灵活的可扩展性。核心组件由四部分组成：Name Servers，Brokers，Producer 和 Consumer；它们中的每一个都可以水平扩展，而没有单一的故障节点。
导语：Spark 为结构化数据处理引入了一个称为 Spark SQL 的编程模块。它提供了一个称为 DataFrame 的编程抽象，并且可以充当分布式 SQL 查询引擎。
微服务架构的出现和应用大幅度的提升了大型程序的开发效率，降低了程序故障率，但其复杂的架构设计也引来了治理、运维难度飙升，观测难度大，安全性较低等劣势。
一、业务背景： 业务方需要搭建一套hbase集群，数据来源是hive表。 集群数据规模：每天4.5kw个key，420亿条左右数据，平均每个key每天1000个记录。每天总数据量1.2T左右，3备份需要存储2年约2.5P。 为响应公司业务上云，通过腾讯云上EMR搭建hbase集群。hive集群是在IDC机房，和普通集群迁移相比，这涉及到跨机房、跨集群的数据迁移，以及hive表数据到hbase集群数据的转换。 二、技术方案步骤 1、IDC机房与EMR网络的联通性验证
本文以Cluster-A跨域去访问Cluster-B中的服务为例。配置完成后，Cluster-A在获取到本集群KDC授予的TGT（Ticket Granting Ticket）后，能够跨域访问Cluster-B中的服务。本文配置的跨域互信是单向的，即Cluster-B无法跨域访问Cluster-A上的服务，如果需要实现双向跨域互信，按照同样的方法交换配置即可。 在两个集群在emr-header-1节点上，执行 hostname 命令获取hostname。在emr-header-1节点的/etc/krb5.conf文件中获取realm。本文使用的两个集群信息示例如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
