首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    InfoWorld Bossie Awards公布

    AI 前线导读: 一年一度由世界知名科技媒体 InfoWorld 评选的 Bossie Awards 于 9 月 26 日公布,本次 Bossie Awards 评选出了最佳数据库与数据分析平台奖、最佳软件开发工具奖、最佳机器学习项目奖等多个奖项。在最佳开源数据库与数据分析平台奖中,Spark 和 Beam 再次入选,连续两年入选的 Kafka 这次意外滑铁卢,取而代之的是新兴项目 Pulsar;这次开源数据库入选的还有 PingCAP 的 TiDB;另外Neo4依然是图数据库领域的老大,但其开源版本只能单机无法部署分布式,企业版又费用昂贵的硬伤,使很多初入图库领域的企业望而却步,一直走低调务实作风的OrientDB已经慢慢成为更多用户的首选。附:30分钟入门图数据库(精编版) Bossie Awards 是知名英文科技媒体 InfoWorld 针对开源软件颁发的年度奖项,根据这些软件对开源界的贡献,以及在业界的影响力评判获奖对象,由 InfoWorld 编辑独立评选,目前已经持续超过十年,是 IT 届最具影响力和含金量奖项之一。 一起来看看接下来你需要了解和学习的数据库和数据分析工具有哪些。

    04

    基于Apache Hudi和Debezium构建CDC入湖管道

    当想要对来自事务数据库(如 Postgres 或 MySQL)的数据执行分析时,通常需要通过称为更改数据捕获[4] CDC的过程将此数据引入数据仓库或数据湖等 OLAP 系统。Debezium 是一种流行的工具,它使 CDC 变得简单,其提供了一种通过读取更改日志[5]来捕获数据库中行级更改的方法,通过这种方式 Debezium 可以避免增加数据库上的 CPU 负载,并确保捕获包括删除在内的所有变更。现在 Apache Hudi[6] 提供了 Debezium 源连接器,CDC 引入数据湖比以往任何时候都更容易,因为它具有一些独特的差异化功能[7]。Hudi 可在数据湖上实现高效的更新、合并和删除事务。Hudi 独特地提供了 Merge-On-Read[8] 写入器,与使用 Spark 或 Flink 的典型数据湖写入器相比,该写入器可以显着降低摄取延迟[9]。最后,Apache Hudi 提供增量查询[10],因此在从数据库中捕获更改后可以在所有后续 ETL 管道中以增量方式处理这些更改下游。

    02

    赢在 Apache - 创客法则

    我在 1990 年代开始工作于一系列 Web 应用程序,其中第一个在我当时的工作场所内部,它为卫星图像数据的日常处理、存档和分发提供操作员界面;第二个是现在称为社交媒体的应用程序的前身,这也是我第一次使用 Apache 服务器。Apache HTTPD 2.0 的发布使我从服务器使用者变成开发者:部分原因是我需要重新实现一些现有功能,但更令人兴奋的是因为我看到服务器本身成为应用程序的强大平台的巨大潜力。这使我开始研究核心软件,并与 Apache 社区进行互动,同时发布我自己的模块和文档。2003年,我首次在 ApacheCon 做了演讲,之后的某个时间作为提交者首次被邀请进入基金会,并于2005年成为会员。从那时起,我的兴趣不仅包括 Web 服务器和相关项目,还包括 Apache 社区的发展以及其动态。我通过孵化器参与了几个项目的指导。如果你今天要问我最想实现的一个目标,那么它就是一个身份管理框架,它不仅在加密方面很强大,而且对于世界来说足够方便使用,并且可以抵御网络钓鱼等社会工程攻击。同时,它不涉及任何动机不纯的中心化权力机构(如政府)。它会终结身份欺诈和密码管理的噩梦。

    02
    领券