首页
学习
活动
专区
工具
TVP
发布

大数据和云计算技术

专栏成员
298
文章
455980
阅读量
101
订阅数
Modern Data Stack 下 Data Integration 生态(下)
上一篇介绍了什么是 modern data stack,这一篇继续来梳理下,在modern data stack 下面常见的产品都有哪些。
大数据和云计算技术
2021-12-30
9520
Modern Data Stack 下 Data Integration 生态(上)
业界流行 modern data stack 的说法,本质上就是将传统的一些工具用 SaaS 化的思路在云上重新再做一遍,从来显著提升客户的使用难度。modern data stack 几大核心是:cloud 、open-source 、SaaS business models。
大数据和云计算技术
2021-12-28
9540
大数据与云计算技术周报(第139期)
ANTLR是一款功能强大的语法分析器生成器,可用来读取、处理、执行和转换结构化文本或二进制文件。它被广泛应用于学术界和工业界构建各种语言、工具和框架。Antlr在Hadoop整个生态系统应用较为广泛,如Hive 词法文件是Antlr3写的
大数据和云计算技术
2020-02-19
6550
大数据与云计算技术周报(第128期)
分布式数据仓库(TDW)是一个以hive + hadoop为基础的大规模分布式系统,它提供了一种类SQL语言(称为HQL)让用户可以方便在其上进行编程开发。
大数据和云计算技术
2019-11-19
6390
JAVA&大数据架构方向 同与异?
架构不是一个职业而是一种能力,每一种架构师只不过是在不同的领域里面使用不同的技术,没有什么可对比,就好比如你问一个篮球明星和一个足球明星有什么区别一样!
大数据和云计算技术
2019-09-24
6220
大数据和云计算技术周报(第95期)
物联网应用层协议主要有CoAP, MQTT, XMPP, HTTP等,本文主要从XMPP的架构,协议栈、协议的原理等方面介绍了XMPP协议。
大数据和云计算技术
2019-09-24
4390
大数据和云计算技术周报(第91期)
文章首先回顾了 HBase 的数据模型和数据层级结构,对数据的每个层级的作用和构架均进行了详细阐述;随后介绍了数据写入和读取的详细流程;最后介绍了老版本到新版本 Region 查找的演进。
大数据和云计算技术
2019-09-24
4850
算法系列 图数据结构探索(无向图搜索)
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第10篇《无向图搜索》,非常赞!希望对大家有帮助,大家会喜欢!
大数据和云计算技术
2018-07-26
8160
算法基础9:散列表
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第9篇《散列表》,非常赞!希望对大家有帮助,大家会喜欢!
大数据和云计算技术
2018-07-26
6340
算法基础8:平衡树之红黑树
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第8篇《平衡查找树概述》,非常赞!希望对大家有帮助,大家会喜欢! 前面系列文章: 归并排序 #算法基础#选择和插入排序 由快速排序到分治思想 算法基础:优先队列 二分查找 二叉树查找 平衡查找树概述 我们在上一节写了平衡树的一些理念和具体的实现名(算法基础7:平衡查找树概述),为了解决其查找成本较高的这个问题,我们采取了扩大节点来减少层级的方式来达到这个目标。根据这个理念,我们找到了平衡查找树树。 一、 下面我们来一起聊一聊平衡树的具体实现红黑
大数据和云计算技术
2018-03-30
1.1K0
算法基础7:平衡查找树概述
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第7篇《平衡查找树概述》,非常赞!希望对大家有帮助,大家会喜欢! 前面系列文章: 归并排序 #算法基础#选择和插入排序 由快速排序到分治思想 算法基础:优先队列 二分查找 二叉树查找 在上面一篇分享中我们了解了二叉查找树,他有着 最多2 节点,在这个基础上我们去了解下二三数和红黑树。 在二叉查找树上基础上,噩梦改如何去优化来解决其查找成本较高的这个问题呢?(二叉查找树的查找平均速率 1.39LgN 二分查找平均速率在 LgN)。于是就想到能
大数据和云计算技术
2018-03-30
7070
算法基础6:二叉树查找
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第6篇《二叉树查找》,非常赞!希望对大家有帮助,大家会喜欢! 前面系列文章: 归并排序 #算法基础#选择和插入排序 由快速排序到分治思想
大数据和云计算技术
2018-03-08
9200
二分查找
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第5篇《二分查找》,非常赞!希望对大家有帮助,大家会喜欢! 前面系列文章: 归并排序 #算法基础#选择和插入排序 由快速排序到分治思想 算法基础:优先队列 二分查找,就和他的名字一样,把一个数组找到他的中间的值和我想要找的值,进行对比,这个时候可以分为三种情况 1、比中间值大,我就到中间值到最大值的范围内去找。 2、比中间值小,那就去最小值和中间值之间去寻找。 如果正好相等那恭喜你找到了。然后照这个思路不断的递归迭代就可以确定是否有对应的值了。
大数据和云计算技术
2018-03-08
7900
算法基础:优先队列
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第四篇《优先队列》,非常赞!希望对大家有帮助,大家会喜欢! 前面系列文章: 归并排序 #算法基础#选择和插入排序 由快速排序到分治思想 当外面处理一些数据时,外面不一定要求他是整个都是有序的,很多时候我们值需要其中一部分元素就ok了,列如最大值,最小值。这些值就是你希望他们先出来的数值,所有我们下面要说的排序方法就是优先队列啦。 优先队列是一种基于堆有序的排序方式,所有在介绍优先队列之前我们可以先聊聊堆有序。堆有序 就是堆中所有的节点的根节点都大
大数据和云计算技术
2018-03-08
7350
归并排序
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第三篇《归并排序》,非常赞!希望对大家有帮助,大家会喜欢! 前面系列文章: #算法基础#选择和插入排序 由快速排序到分治思想 归并排序也是分治
大数据和云计算技术
2018-03-08
1K0
#算法基础#选择和插入排序
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第二篇《选择和插入排序》,非常赞!希望对大家有帮助,大家会喜欢! 系列文章: 由快速排序到分治思想 一、选择排序 这是一种最简单的排序算法 第一步他先找到数组中最小的元素,然后将它和本数组中第一个元素交换位置。然后把剩下的n-1个数算为一个数组。继续找到其中最小的 放到第二个位置。以此往复。于是恭喜你得到了大奖,一个有序的数组。哈哈 话不多说 看代码 : public static void sort(Comparable[] a)
大数据和云计算技术
2018-03-08
7140
由快速排序到分治思想
算法是基础,小蓝同学准备些总结一系列算法分享给大家,这是第一篇《由快速排序到分治思想》,非常赞!希望对大家有帮助,大家会喜欢! 快速排序是一种基于分治思想的排序算法 它主要分为以下几步 1、一个
大数据和云计算技术
2018-03-08
7030
CEP 概念
5.5.1 CEP是什么 CEP是流式处理的核心技术。 不管是单独的应用系统,还是数据仓库,都是先将数据存储到数据库/数据仓库,然后再处理或查询。而CEP与常见的Message Queue系统类似,都将数据看作数据流,在连续数据的快速移动过程中进行分析处理。这样的方式不需要很大的数据加载,完全可以在内存中进行,从而能够快速产生结果,如图5.29所示。 业务事件可能很复杂,在各种不同的数据流中源源不断地产生各种类型的事件。不仅需要对这些业务事件进行复杂的计算,如过滤、关联、聚合等,同时还需要考虑这些业务事件
大数据和云计算技术
2018-03-08
2.4K0
智能调度:Stanford的Quasar
智能、自动化是对系统孜孜不倦的追求,尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法,如DRF,capacity scheduler,fair scheduler。这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路,要求应用提出资源的需求,而在现实中往往是不现实的。不现实在两个方面: job需要的资源和需要处理的数据量,过程的复杂度强相关。而这两者在实际的生产系统中都不是一成不变的,所以往往预留的资源要么多大,要么过小。 单个job实际上本身也是一个复杂的过程,
大数据和云计算技术
2018-03-08
1.5K0
智能调度 与 蚁群算法
我在前面的一篇文章《浅谈资源管理技术的未来发展之路》之中谈到,资源管理还需要完善三个方面的能力分别是: 1、完善资源使用收集反馈机制,资源分配出去之后,使用率怎么样?效果怎么样?应该有一个收集反馈机制。 2、资源分配策略智能学习能力,结合收集反馈的信息,可以动态调整资源分配调度策略,具有自主学习决策的能力。 3、异构集群的管理能力,当前资源管理平台,主要聚焦在同构平台,异构平台在工业界是一个非常现实的问题,老机器还要发挥余热,新机器要充分挖掘性能潜力,就同时存在新老并存的场面。资源管理框架应该要能抽象异构平
大数据和云计算技术
2018-03-08
3.6K0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档