大数据技术与应用实战

LV0
发表了文章

Flink集成数据湖之实时数据写入iceberg

随着大数据处理结果的实时性要求越来越高,越来越多的大数据处理从离线转到了实时,其中以flink为主的实时计算在大数据处理中占有重要地位。

大数据技术与应用实战
发表了文章

flink sql实时计算当天pv写入mysql

今天我们主要来讲一个很简单但是很常见的需求,实时计算出网站当天的pv值,然后将结果实时更新到mysql数据库,以供前端查询显示。

大数据技术与应用实战
发表了文章

深入解读flink sql cdc的使用以及源码分析

CDC,Change Data Capture,变更数据获取的简称,使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游,供下游使用。这些变更可以...

大数据技术与应用实战
发表了文章

flink实战教程-使用set实时计算当天网站uv

对于web网站,我们一般会有这样的需求,实时的计算出来当天网站的uv,尽可能快的展示出来。今天我们就讲一下基于java的set集合做一下实时uv的统计。

大数据技术与应用实战
发表了文章

​flink实战-flink streaming sql 初体验

SQL,Structured Query Language:结构化查询语言,作为一个通用、流行的查询语言,不仅仅是在传统的数据库,在大数据领域也变得越来越流行,...

大数据技术与应用实战
发表了文章

flink实战-实时计算平台通过api停止流任务

今天我们主要讲一下如何通过api的方式来停止一个通过per job模式部署在yarn集群上的任务。

大数据技术与应用实战
发表了文章

放弃fastjson,拥抱Jackson

最近由于阿里的fastjson频繁爆出安全漏洞,为了避免后续升级上线的烦恼,决定弃用fastjson,使用Jackson,把现有项目中的fastjson都换成了...

大数据技术与应用实战
发表了文章

Flink实战-定时器实现已完成订单自动五星好评

在电商领域会有这么一个场景,如果用户买了商品,在订单完成之后,24小时之内没有做出评价,系统自动给与五星好评,我们今天主要使用flink的定时器来简单实现这一功...

大数据技术与应用实战
发表了文章

聊聊AWK命令的那些事

对于下面的nginx日志access.log,用脚本分析出访问ip的Top 10。 其实这个题不难,但是考察了几个常用的shell 命令,awk、uniq、so...

大数据技术与应用实战
发表了文章

flink实战-模拟简易双11实时统计大屏

在大数据的实时处理中,实时的大屏展示已经成了一个很重要的展示项,比如最有名的双十一大屏实时销售总价展示。除了这个,还有一些其他场景的应用,比如我们在我们的后台系...

大数据技术与应用实战
发表了文章

大数据流处理-我为什么选择Apache Flink

随着这几年大数据技术的迅猛发展,人们对于处理数据的要求也越来越高,由最早的MapReduce,到后来的hive、再到后来的spark,为了获取更快、更及时的结果...

大数据技术与应用实战
发表了文章

flink实战-聊一聊flink中的聚合算子

今天我们主要聊聊flink中的一个接口org.apache.flink.api.common.functions.AggregateFunction,这个类可以...

大数据技术与应用实战
发表了文章

flink实战-使用广播实现报警阈值动态更新

紧接着上一篇文章【FLINK实战-使用CEP进行网站监控报警和报警恢复】,上一篇主要讲了怎么对数据流做监控报警,但是实际生产环境中,可能我们对这个报警的阈值设置...

大数据技术与应用实战
发表了文章

flink教程-flink 1.11 使用sql将流式数据写入hive

上一篇介绍了使用sql将流式数据写入文件系统,这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表,则至少需要添加以下两个属性. ...

大数据技术与应用实战
发表了文章

如何在Apache Flink中管理RocksDB内存大小

原文:https://www.ververica.com/blog/manage-rocksdb-memory-size-apache-flink 翻译:zha...

大数据技术与应用实战
发表了文章

FLINK实战-使用CEP进行网站监控报警和报警恢复

flink CEP(Complex event processing),是在Flink之上实现的复杂事件处理库,可以允许我们在不断的流式数据中通过我们自己定义的...

大数据技术与应用实战
发表了文章

flink开发过程中遇到的问题集锦

cannot be cast to com.google.protobuf.Message

大数据技术与应用实战
发表了文章

hadoop2.7.3源码解析之hdfs删除文件全流程分析h

客户端通过ClientProtocol.delete(String, boolean)方法来删除文件,最终实现是NameNodeRpcServer.delete...

大数据技术与应用实战
发表了文章

flink教程-在IntelliJ IDEA 中玩转 checkstyle

当我们想给flink贡献自己的代码的时候,就需要把代码下载下来,然后导入自己的IDE,其中有一个很重要的环节就是对代码规范的检查,也就是flink的checks...

大数据技术与应用实战
发表了文章

hadoop源码解析之hdfs内部结构分析

hdfs的内部的文件和目录是如何以树的结构存储的,每个文件对应的块是如何存储的,每个块对应的怎么对应到每一个datanode的,这些结构在hdfs的内部源码是用...

大数据技术与应用实战

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券