腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

xingoo, 一个梦想做发明家的程序员

专栏作者

805

文章

898924

阅读量

80

订阅数

Flink源码剖析：Jar包任务提交流程

flink 大数据 jar linux 打包

Flink基于用户程序生成JobGraph，提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3)

2021-01-20

2.2K0

Flink基础：时间和水印

flink 大数据 windows unix 编程算法

本篇终于到了Flink的核心内容：时间与水印。最初接触这个概念是在Spark Structured Streaming中，一直无法理解水印的作用。直到使用了一段时间Flink之后，对实时流处理有了一定的理解，才想清楚其中的缘由。接下来就来介绍下Flink中的时间和水印，以及基于时间特性支持的窗口处理。

2020-11-24

9180

Flink基础：实时处理管道与ETL

flink 大数据

Flink的经典使用场景是ETL，即Extract抽取、Transform转换、Load加载，可以从一个或多个数据源读取数据，经过处理转换后，存储到另一个地方，本篇将会介绍如何使用DataStream API来实现这种应用。注意Flink Table和SQL api 会很适合来做ETL，但是不妨碍从底层的DataStream API来了解其中的细节。

2020-11-13

1.4K0

Flink深入浅出: 资源管理(v1.11)

flink 大数据数据结构

Flink在资源管理上可以分为两层：集群资源和自身资源。集群资源支持主流的资源管理系统，如yarn、mesos、k8s等，也支持独立启动的standalone集群。自身资源涉及到每个子task的资源使用，由Flink自身维护。

2020-10-26

1K0

Flink深入浅出: 应用部署与原理图解(v1.11)

数据结构 flink 大数据打包 yarn

Flink在1.11版本新增了一种部署模式，目前支持三种：Session 模式、Per job 模式、Application 模式，这三种模式主要在集群管理、资源隔离、用户main方法执行位置几个方面有所不同。

2020-10-26

1.1K0

Structured Streaming教程(1) —— 基本概念与使用

大数据 spark

在有过1.6的streaming和2.x的streaming开发体验之后，再来使用Structured Streaming会有一种完全不同的体验，尤其是在代码设计上。

2018-07-31

1.3K0

Spark MLlib 之大规模数据集的相似度计算原理探索

spark 大数据

在spark中RowMatrix提供了一种并行计算相似度的思路，下面就来看看其中的奥妙吧！

2018-07-31

2.2K0

HBase官方文档之 Region的相关知识

hbase 存储大数据

一般来说对于每个Region Server，官方推荐最好是控制Region的数量在20-200个、大小在5-20Gb左右。

2018-07-31

7330

分布式理论——从ACID到CAP再到BASE

分布式大数据数据库

在传统的数据中，有ACID四大原则，在分布式中也有对应的CAP理论和BASE理论，这些都是分布式理论的基础。更多内容参考：大数据学习之路 ACID ACID分别是Atomicity 原子性、Consistency 一致性、Isolation 隔离性、Durability 持久性，有了这几个特性，就保证了数据库的可靠。原子性原子性代表一系列的操作要么全做，要么全不做。比如，在银行转账，从一个账号扣钱，另一个账号加钱，这两个操作必须同时进行。否则就会出现账目对不上的情况。一致性一致性官方的描述是，

2018-04-18

7200

大数据时代下的生活

　最近几年IT都成长在一个大数据的环境下，大家动不动就要分布式，想想就搞大数据。有的网站明明访问量几台普通的服务器就可以搞定，非要弄分布式，挂着云计算的名字，却做着屌丝的事情。　　虽然，大环境如

2018-01-18

6730

白话推荐系统——从原理到实践，还有福利赠送！

机器学习 spark 大数据深度学习

之前流水账似的介绍过一篇机器学习入门的文章，大致介绍了如何学习以及机器学习的入门方法并提供了一些博主自己整理的比较有用的资源。这篇就尽量以白话解释并介绍机器学习在推荐系统中的实践以及遇到的问题... 也许很多点在行家的眼里都是小菜一碟，但是对于刚刚接触机器学习来说，还有很多未知等待挑战。所以读者可以把本篇当做是机器学习的玩具即可，如果文中有任何问题，还请不吝指教。本篇将会以下面的步骤描述机器学习是如何在实践中应用的： 1 什么是推荐系统？ 2 机器学习的作用 3 机器学习是如何使用的？ 4 基于S

2018-01-17

7070

《Spark MLlib 机器学习实战》1——读后总结

spark 大数据

1 概念 2 安装 3 RDD RDD包含两种基本的类型：Transformation和Action。RDD的执行是延迟执行，只有Action算子才会触发任务的执行。宽依赖和窄依赖用于切分任务，如果

2018-01-17

7090

大数据学习之路（持续更新中...）

大数据云数据库 SQL Server 运维 spark

在16年8月份至今，一直在努力学习大数据大数据相关的技术，很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多，会让很多新手望而却步。所以，我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑，希望得到老司机的指点和新手的借鉴。前言在学习大数据之前，先要了解他解决了什么问题，能给我们带来什么价值。一方面，以前IT行业发展没有那么快，系统的应用也不完善，数据库足够支撑业务系统。但是随着行业的发展，系统运行的时间越来越长，搜集到的数据也越来越多，传统的数据库已经不能支撑全量数

2018-01-17

1.4K0

[大数据之Yarn]——资源调度浅学

大数据 hadoop

在hadoop生态越来越完善的背景下，集群多用户租用的场景变得越来越普遍，多用户任务下的资源调度就显得十分关键了。比如，一个公司拥有一个几十个节点的hadoop集群，a项目组要进行一个计算任务，b项目组要计算一个任务，集群到底先执行哪个任务？如果你需要提交1000个任务呢？这些任务又是如何执行的？为了解决上面的问题，就需要在hadoop集群中引入资源管理和任务调度的框架。这就是——Yarn。 YARN的发展 Yarn在第一代的时候，框架跟hdfs差不多。一个主节点jobtracker，用来分配任务和

2018-01-17

9720

[大数据之Sqoop] —— Sqoop初探

Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具，当然也支持把数据从hdfs或者hive导入到关系型数据库中。 Sqoop也是基于Mapreduce来做的数据导入。关于sqoop的原理 sqoop的原理比较简单，就是根据用户指定的sql或者字段参数，从数据库中读取数据导入到hive或者hdfs中。也支持基于数据库导出工具导出，不过受限于数据库的版本。在导出的过程中，sqoop会自动切分mapreduce任务。比如某个字段的主键是从1到1000，那么当设置num-map

2018-01-17

6700

大数据之Oozie——源码分析（一）程序入口

工作中发现在oozie中使用sqoop与在shell中直接调度sqoop性能上有很大的差异。为了更深入的探索其中的缘由，开始了oozie的源码分析之路。今天第一天阅读源码，由于没有编译成功，不能运行测

2018-01-17

1.2K0

Spark源码分析之 Driver和Excutor是怎么跑起来的?(2.2.0版本)

spark 大数据 android

今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。更多内容参考：我的大数据之路 Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。由于目前工作使用的是2.2.0，所以这次的分析也就从2.2.0版本入手了。涉及的内容主要有： Standalone模式中的Master与Worker client、dr

2018-01-17

5020

Spark SQL 用户自定义函数UDF、用户自定义聚合函数UDAF 教程（Java踩坑教学版）

spark 大数据

在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在group by之后使用的sum,avg等 UDTF(User-Defined Table-Generating Functions),用户自定义生成函数，有点像stream里面的flatMap 本篇就手把

2018-01-17

3.7K0

[大数据之Spark]——Transformations转换入门经典实例

spark 大数据

Spark相比于Mapreduce的一大优势就是提供了很多的方法，可以直接使用；另一个优势就是执行速度快，这要得益于DAG的调度，想要理解这个调度规则，还要理解函数之间的依赖关系。本篇就着重描述

2018-01-17

1.1K0

[大数据之Spark]——Actions算子操作入门实例

大数据 spark

Actions reduce(func) Aggregate the elements of the dataset using a function func (which takes two arguments and returns one). The function should be commutative and associative so that it can be computed correctly in parallel. 这个方法会传入两个参数，计算这两个参数返回一个结果。

2018-01-17

6610

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态