码的一手好代码-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

码的一手好代码

专栏成员

68

文章

96373

阅读量

18

订阅数

Flink DataStream —— 端到端的Exactly-Once保障

flink 大数据 kafka 数据库 sql

一个一直运行的Flink Stream程序不出错那肯定时很好的，但是在现实世界中，系统难免会出现各种意外，一旦故障发生，Flink作业就会重启，读取最近Checkpoint的数据，恢复状态，并继续接着执行任务。

俺也想起舞

2021-05-10

8800

Flink DataStream—— 状态(State)&检查点(Checkpoint)&保存点(Savepoint)原理

flink 大数据编程算法数据结构

最近一次项目当中需要将大量数据保存再Flink程序当中用作缓存数据一共后续数据使用，隧对最近使用到的状态、检查点、保存点等原理和使用进行一个总结

俺也想起舞

2021-04-25

3.4K0

Flink学习——时间概念与Watermark

flink 大数据 unix javascript 编程算法

对于流式处理，最大的特点是数据上具有时间的属性特征，Flink根据时间产生的不同位置分为三个时间概念：

俺也想起舞

2021-03-18

2.5K0

Flink学习——Flink概述

Flink程序需要提交给Client。然后，Client将作业提交给Job Manager。 Job Manager负责协调资源分配和作业执行。它首先要做的是分配所需的资源。资源分配完成后，任务将提交给相应的Task Manager。在接收任务时，Task Manager启动一个线程以开始执行。执行到位时，Task Manager会继续向Job Manager报告状态更改。可以有各种状态，例如开始执行，正在进行或已完成。作业执行完成后，结果将发送回Client。

俺也想起舞

2020-02-13

1.5K0

Flink学习——Flink编程结构

大数据 java windows api

Flink 执行模式分为两种，一个是流处理、另一个是批处理。再选择好执行模式后，为了开始编写Flink程序，需要根据需求创建一个执行环境。Flink目前支持三种环境的创建方式：

俺也想起舞

2020-02-13

1.1K0

HDFS系统详解

node.js 大数据

每个文件都是由一个一个的Block组成（Block默认大小128M），例如一个300M的文件会被保存成3个Block，而一个3K的文件也统一会占用一个Block，只不过这个Block只会占用3K

俺也想起舞

2019-07-24

3900

Hadoop集群配置

node.js bash bash 指令大数据 zookeeper

hadoop集群配置 1.多台机器ssh免密配置修改用户名 # 1.更改hostname hostnamectl --static set-hostname <主机名> scp传输文件 scp <文件路径> <目标账号@地址>: 目标路径 scp /etc/hosts root@hadoop2: /etc/ ssh免密登录 # 配置公钥 ssh-keygen # 配置免密登录 ssh-copy-id <目标ip> 2. 多台主机时间核对所有机器安装ntp yum -y

俺也想起舞

2019-07-24

1.3K0

Hive概念以及架构介绍

大数据 hive mapreduce 文件存储 jdbc

Hive架构包括如下组件：CLI（command line interface）、JDBC/ODBC、Thrift Server、Hive WEB Interface（HWI）、Metastore和Driver（Complier、Optimizer和Executor）

俺也想起舞

2019-07-24

7120

Hadoop协同框架-Flume

日志服务 linux 大数据 http

Flume 结构以及使用 Flume结构 Source : 用户配置采集数据的方式（Http、LocalFileSystem、Tcp） Channel ——中间件 Memory

俺也想起舞

2019-07-24

4750

Hive与Hbase之间的区别与关系

hive 大数据数据库 sql hbase

梳理了Hbase与Hive之间的区别和关系 1. 区别 Hbase：Hadoop database，也就是基于Hadoop的数据库，是一种NoSQL的数据库，主要用于海量数据的实时随机查询，例如：日志明细，交易清单等。 Hive： Hive是hadoop的数据仓库，跟数据库有点差，主要是通过SQL语句对HDFS上结构化的数据进行计算和处理，适用于离线批量数据处理通过元数据对HDFS上的数据文件进行描述，也就是通过定义一张表来描述HDFS上的结构化文本，包括各列的数

俺也想起舞

2019-07-24

2.3K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态