首页
学习
活动
专区
工具
TVP
发布

码的一手好代码

专栏成员
68
文章
96373
阅读量
18
订阅数
Flink DataStream —— 端到端的Exactly-Once保障
​ 一个一直运行的Flink Stream程序不出错那肯定时很好的,但是在现实世界中,系统难免会出现各种意外,一旦故障发生,Flink作业就会重启,读取最近Checkpoint的数据,恢复状态,并继续接着执行任务。
俺也想起舞
2021-05-10
8800
Flink DataStream—— 状态(State)&检查点(Checkpoint)&保存点(Savepoint)原理
​ 最近一次项目当中需要将大量数据保存再Flink程序当中用作缓存数据一共后续数据使用,隧对最近使用到的状态、检查点、保存点等原理和使用进行一个总结
俺也想起舞
2021-04-25
3.4K0
Flink学习——时间概念与Watermark
对于流式处理,最大的特点是数据上具有时间的属性特征,Flink根据时间产生的不同位置分为三个时间概念:
俺也想起舞
2021-03-18
2.5K0
Flink学习——Flink概述
Flink程序需要提交给Client。 然后,Client将作业提交给Job Manager。 Job Manager负责协调资源分配和作业执行。 它首先要做的是分配所需的资源。 资源分配完成后,任务将提交给相应的Task Manager。 在接收任务时,Task Manager启动一个线程以开始执行。 执行到位时,Task Manager会继续向Job Manager报告状态更改。 可以有各种状态,例如开始执行,正在进行或已完成。 作业执行完成后,结果将发送回Client。
俺也想起舞
2020-02-13
1.5K0
Flink学习——Flink编程结构
Flink 执行模式分为两种,一个是流处理、另一个是批处理。再选择好执行模式后,为了开始编写Flink程序,需要根据需求创建一个执行环境。Flink目前支持三种环境的创建方式:
俺也想起舞
2020-02-13
1.1K0
HDFS系统详解
每个文件都是由一个一个的Block组成(Block默认大小128M),例如一个300M的文件会被保存成3个Block,而一个3K的文件也统一会占用一个Block,只不过这个Block只会占用3K
俺也想起舞
2019-07-24
3900
Hadoop集群配置
hadoop集群配置 1.多台机器ssh免密配置 修改用户名 # 1.更改hostname hostnamectl --static set-hostname <主机名> scp传输文件 scp <文件路径> <目标账号@地址>: 目标路径 scp /etc/hosts root@hadoop2: /etc/ ssh免密登录 # 配置公钥 ssh-keygen # 配置免密登录 ssh-copy-id <目标ip> 2. 多台主机时间核对 所有机器安装ntp yum -y
俺也想起舞
2019-07-24
1.3K0
Hive概念以及架构介绍
Hive架构包括如下组件:CLI(command line interface)、JDBC/ODBC、Thrift Server、Hive WEB Interface(HWI)、Metastore和Driver(Complier、Optimizer和Executor)
俺也想起舞
2019-07-24
7120
Hadoop协同框架-Flume
Flume 结构以及使用 Flume结构 Source : 用户配置采集数据的方式(Http、LocalFileSystem、Tcp) Channel ——中间件 Memory
俺也想起舞
2019-07-24
4750
Hive与Hbase之间的区别与关系
梳理了Hbase与Hive之间的区别和关系 1. 区别 Hbase:Hadoop database,也就是基于Hadoop的数据库,是一种NoSQL的数据库,主要用于海量数据的实时随机查询,例如:日志明细,交易清单等。 Hive: Hive是hadoop的数据仓库,跟数据库有点差,主要是通过SQL语句对HDFS上结构化的数据进行计算和处理,适用于离线批量数据处理 通过元数据对HDFS上的数据文件进行描述,也就是通过定义一张表来描述HDFS上的结构化文本,包括各列的数
俺也想起舞
2019-07-24
2.3K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档