action的经验之路-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

action的经验之路

专栏成员

27

文章

12680

阅读量

13

订阅数

Flink 基本工作原理

flink 大数据

Flink是新的stream计算引擎，用java实现。既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。Flink在运行中主要有三个组件组成，JobClient，JobManager 和 TaskManager。主要工作原理如下图

2022-11-30

5850

Flink之Watermark实践

编程算法 flink 大数据

我们知道实时计算中，数据时间比较敏感，有eventTime和processTime区分，一般来说eventTime是从原始的消息中提取过来的，processTime是Flink自己提供的，Flink中一个亮点就是可以基于eventTime计算，这个功能很有用，因为实时数据可能会经过比较长的链路，多少会有延时，并且有很大的不确定性，对于一些需要精确体现事件变化趋势的场景中，单纯使用processTime显然是不合理的。

2022-11-30

4180

Druid和ES查询结果通用解析方法

做数据的同学相信大家对Druid和Es都不陌生，Druid可以说是一款基于时序的查询引擎，支持数据实时摄入，在数据摄入前指定维度和指标，提供基于时间层面的预聚合，Druid会把一个数据点当做一个实际发生的事实，在数据摄入后就不能修改。常被应用于一些实时的场景，比如对数据实时分时间段分组聚合。ES同样是一款高效的查询引擎，支持数据的批量导入，同样支持数据实时的摄入，也支持数据批量导入，相比于Druid不仅对聚合高度支持，同时兼顾强大的搜索能力，ES主要是基于对摄入数据进行分词，同时构建索引增加查询聚合的速度。通常我一般将ES用作一些离线的场景，对离线场景支持指标的快速查询和聚合。

2022-11-30

9100

Yarn资源调度工作原理

由于Yarn良好的兼容性和扩展性，目前可以支持大部分数据引擎，所以了解Yarn的资源调度原理很有必要，Yarn主要由四个重要角色组成：

2022-11-30

7420

简单实时计算方案（kafka+flink+druid/es）

数据处理 flink kafka 大数据 unix

最近在从事实时方面的工作，主要涉及到数据处理、加工及可视化，在采坑的过程中总结出一套比较简单的实时计算方案，供大家参考。主要涉及到几个组件，kafka，flink，redis，druid和es。相信大家对以上几个组件都比较熟悉了，这里就不细说了。我们从一个简单的需求，来说明各个组件是怎么协作的。

2022-11-30

5460

Spark核心数据模型RDD及操作

spark shell javascript

如今spark特别火，相信作为程序员的你也难以抵挡spark的魅力，俗话说万事开头难，学习spark需要一些准备工作，首先就是要搭建学习测试环境，spark非常人性化，一个简单的测试环境，只需要下载安装包，解压之后，运行spark_shell脚本就可以学习测试了，spark测试的经典页面如下图：

2022-11-30

2720

分布式如何实现session共享

云数据库 Redis http 网络安全

最近，在工作中遇到一个问题，问题描述：一个用户在登录成功以后会把用户信息存储在session当中，这时session所在服务器为server1，那么用户在session失效之前如果再次使用app，那么可能会被路由到server2，这时问题来了，server没有该用户的session，所以需要用户重新登录，这时的用户体验会非常不好，所以我们想如何实现多台server之间共享session，让用户状态得以保存。

2022-11-30

4340

Spring AOP 介绍与应用

Spring的AOP想必大家都是比较清楚的，从spring 3.x版本出现之后，AOP的概念更加清晰，使用也更加方便。我看过很多书，讲解spring的aop，里面都有太多的概念，看到最后，还是不懂，有些云里雾里的，但是在使用了这么长时间以来，我觉得有些书上讲的太过繁琐了，或者说一下讲的太深入，太抽象让人难以理解。下面我会尽自己的可能让大家弄懂什么是AOP，并解释一个实际当中的应用实例，让大家真正理解AOP的灵活，有什么错误的地方欢迎大家私信（评论）我。

2022-11-30

2870

React+Reflux 实现组件间通信

react github html git 开源

写这篇文章，不是把官方的例子或者github的例子给大家敲一遍，而是想把自己学习遇到的问题重点突出，让大家少走弯路。

2022-11-30

4400

websocket+webrtc+tomcat 实现视频监考功能

html api 编程算法

最近几天笔试，发现好多的线上笔试都会有视频监考的功能，个人对其挺感兴趣，所以花了一天时间，研究了一下，写了一个小demo，下面说的有任何纰漏希望大家多多指正，下面开说了，大多数的视频监考就是通过浏览器，获取你电脑上的摄像头，来实现视频监考的功能的，所以相当于你的电脑是客户端，而公司那边是服务器，所以这大体上是一个客户端服务器模式，但是要通过浏览器来做客户端，通过浏览器来做服务端，这时候就要涉及到浏览器和浏览器之间的通信了，但是浏览器和浏览器之间直接通信比较困难，所以还是要用一个中间服务器来做转发，通过中间服务器做好连接后，那么在通信过程中，就是浏览器之间端到端的交互了，就不需要服务器的干预了。

2022-11-30

5140

悲观锁和乐观锁

前几天有人问了我一个问题，说如果数据库某些操作不用事务，那么又需要保持数据的一致性，那么该用什么方法替代事务。我就想到了悲观锁和乐观锁的思想，下面我解释一下在数据库中的悲观锁和乐观锁

2022-11-30

3260

母函数法解决整数划分

问题描述：把一个整数n划分成1到n的划分，例如3可以划分为1+1+1,1+2,3这三种划分，那么求n的划分数。

2022-11-30

3460

求一个数组的最大k个数（java）

问题描述：求一个数组的最大k个数，如，{1,5,8,9,11,2,3}的最大三个数应该是，8,9,11

2022-11-30

8170

字符串的全排列（java）

编程算法数据分析

字符串全排列相信大家都不陌生，对于我来说真的是写了又忘，忘了又写，所以决定写成一篇博客，废话不多说下面我来分析问题：

2022-11-30

6360

java NIO原理和应用

自动驾驶 bash java tcp/ip

之前做的一个项目，先开始用的是BIO（即阻塞式IO），然后因为一些性能问题，然后用NIO（即非阻塞式IO）替换了BIO。

2022-11-30

2390

动态代理工具类

jar jdk glib null 动态代理

我刚刚想着每次写动态代理的时候都会写很多的代码，有点不值得，所以我写了一个实现动态代理的工具类，用户可以用JDK动态代理也可以使用CGLIB动态代理，我的ProxyUtils中提供了三种开发动态代理的方式，在实际用的过程中，可以继承Intercepter这个抽象类实现在逻辑代码前后添加控制代码，如果控制代码返回true那么证明可以通过，如果控制代码返回false说明验证不通过，如果不通过那么就返回你逻辑代码中返回的“0”值，如果你逻辑代码返回对象，那么会返回null，如果是其他类型则返回各种类型的零值，用的时候可以实现Intercepter类，也可以用匿名内部类，随你喜欢，下面是我的代码，一段代码代表一个文件，过后我会将代码再好好，封装然后打成一个jar包：

2022-11-30

1880

TCP连接的TIME-WAIT状态

TIME-WAIT状态是TCP的11个状态其中之一，是发生在正常关闭TCP连接的时候发生的。如下图所示：

2022-11-30

4250

jdk动态代理（动态生成字节码与反射机制的结合）

网络安全 aop java 打包 spring

java jdk动态代理其实是动态生成字节码与反射机制的一个结合，说到反射机制很多人都用到过反射，只要得到对应类的Class对象即可，调用方法，获取成员变量等等，那么jdk的动态代理就是在程序运行的过程中，动态的将我们维护的检查性的代码，放在正常的业务代码之前，那么怎么调用我正常的业务代码呢，因为业务可能有很多种，也就是说可能会有不同的类，但是都要执行相同的检查性代码，如我们要取钱，或者是修改身份证，都必须验证通过才可以，这显然是两个类，一个是Money，一个是ID，所以我们在调用正常业务代码的时候，其实不知道我们调用的是谁的代码，这时候就用到反射，通过反射，动态的识别类型，然后再调用方法，如我们要取钱，那么传入的应该是一个Money的实例，通过这个实例的getDeclaredMethod，或者是getMethod就可以，获取对应实例的方法，然后即可动态调用方法，只要在用反射前，加入我们验证的代码即可，这时反射在动态代理中的应用。这部分代码需要我们自己实现InvocationHandler接口，实现其中的invoke方法，在这个方法中，就是我们上述反射的实现。当然为了调用到对应类的方法，我们实现的invocationHandler类中，需要保存我们要代理类的实例。

2022-11-30

4520

java与c++内存泄露的问题

java c++jvm 编程算法

以前用c++，现在用java我发现两种语言用法上区别不太大，但是在编程思路上却又区别，c++什么都要自己做，但是如果做的很严谨是不会出现内存泄露的问题，但是c++太灵活以至于可用性确实降低了，什么都需要自己考虑，而java在内存回收上有垃圾回收机制，在可用性上比c++要好一点，但是java的内存泄露却更加的隐蔽，今天我来谈谈java与c++内存泄露的区别：

2022-11-30

6790

关于一个数组中两个数的和等于给定数的问题

给出一个数组，再给定一个数target，如果数组中有两个数的和等于target，那么返回这两个数的索引，如果说有多对数都符合条件则返回第一对，返回的结果用一个长度为2的数组保存，并且返回的数组按升序排列：

2022-11-30

7360

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态