后台开发

action的经验之路

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

 Flink是新的stream计算引擎，用java实现。既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。Flink在运行中主要有三个组件组成，JobClient，JobManager 和 TaskManager。主要工作原理如下图   

Flink 基本工作原理

我们知道实时计算中，数据时间比较敏感，有eventTime和processTime区分，一般来说eventTime是从原始的消息中提取过来的，processTime是Flink自己提供的，Flink中一个亮点就是可以基于eventTime计算，这个功能很有用，因为实时数据可能会经过比较长的链路，多少会有延时，并且有很大的不确定性，对于一些需要精确体现事件变化趋势的场景中，单纯使用processTime显然是不合理的。

Flink之Watermark实践

做数据的同学相信大家对Druid和Es都不陌生，Druid可以说是一款基于时序的查询引擎，支持数据实时摄入，在数据摄入前指定维度和指标，提供基于时间层面的预聚合，Druid会把一个数据点当做一个实际发生的事实，在数据摄入后就不能修改。常被应用于一些实时的场景，比如对数据实时分时间段分组聚合。ES同样是一款高效的查询引擎，支持数据的批量导入，同样支持数据实时的摄入，也支持数据批量导入，相比于Druid不仅对聚合高度支持，同时兼顾强大的搜索能力，ES主要是基于对摄入数据进行分词，同时构建索引增加查询聚合的速度。通常我一般将ES用作一些离线的场景，对离线场景支持指标的快速查询和聚合。

Druid和ES查询结果通用解析方法

由于Yarn良好的兼容性和扩展性，目前可以支持大部分数据引擎，所以了解Yarn的资源调度原理很有必要，Yarn主要由四个重要角色组成：

Yarn资源调度工作原理

    最近在从事实时方面的工作，主要涉及到数据处理、加工及可视化，在采坑的过程中总结出一套比较简单的实时计算方案，供大家参考。主要涉及到几个组件，kafka，flink，redis，druid和es。相信大家对以上几个组件都比较熟悉了，这里就不细说了。我们从一个简单的需求，来说明各个组件是怎么协作的。

简单实时计算方案（kafka+flink+druid/es）

如今spark特别火，相信作为程序员的你也难以抵挡spark的魅力，俗话说万事开头难，学习spark需要一些准备工作，首先就是要搭建学习测试环境，spark非常人性化，一个简单的测试环境，只需要下载安装包，解压之后，运行spark_shell脚本就可以学习测试了，spark测试的经典页面如下图：

Spark核心数据模型RDD及操作

         最近，在工作中遇到一个问题，问题描述：一个用户在登录成功以后会把用户信息存储在session当中，这时session所在服务器为server1，那么用户在session失效之前如果再次使用app，那么可能会被路由到server2，这时问题来了，server没有该用户的session，所以需要用户重新登录，这时的用户体验会非常不好，所以我们想如何实现多台server之间共享session，让用户状态得以保存。

分布式如何实现session共享

        Spring的AOP想必大家都是比较清楚的，从spring 3.x版本出现之后，AOP的概念更加清晰，使用也更加方便。我看过很多书，讲解spring的aop，里面都有太多的概念，看到最后，还是不懂，有些云里雾里的，但是在使用了这么长时间以来，我觉得有些书上讲的太过繁琐了，或者说一下讲的太深入，太抽象让人难以理解。下面我会尽自己的可能让大家弄懂什么是AOP，并解释一个实际当中的应用实例，让大家真正理解AOP的灵活，有什么错误的地方欢迎大家私信（评论）我。

Spring AOP 介绍与应用

       写这篇文章，不是把官方的例子或者github的例子给大家敲一遍，而是想把自己学习遇到的问题重点突出，让大家少走弯路。

React+Reflux 实现组件间通信


          最近几天笔试，发现好多的线上笔试都会有视频监考的功能，个人对其挺感兴趣，所以花了一天时间，研究了一下，写了一个小demo，下面说的有任何纰漏希望大家多多指正，下面开说了，大多数的视频监考就是通过浏览器，获取你电脑上的摄像头，来实现视频监考的功能的，所以相当于你的电脑是客户端，而公司那边是服务器，所以这大体上是一个客户端服务器模式，但是要通过浏览器来做客户端，通过浏览器来做服务端，这时候就要涉及到浏览器和浏览器之间的通信了，但是浏览器和浏览器之间直接通信比较困难，所以还是要用一个中间服务器来做转发，通过中间服务器做好连接后，那么在通信过程中，就是浏览器之间端到端的交互了，就不需要服务器的干预了。  

websocket+webrtc+tomcat 实现视频监考功能

          前几天有人问了我一个问题，说如果数据库某些操作不用事务，那么又需要保持数据的一致性，那么该用什么方法替代事务。我就想到了悲观锁和乐观锁的思想，下面我解释一下在数据库中的悲观锁和乐观锁

悲观锁和乐观锁

问题描述：把一个整数n划分成1到n的划分，例如3可以划分为1+1+1,1+2,3这三种划分，那么求n的划分数。

母函数法解决整数划分

问题描述：求一个数组的最大k个数，如，{1,5,8,9,11,2,3}的最大三个数应该是，8,9,11

求一个数组的最大k个数（java）

       字符串全排列相信大家都不陌生，对于我来说真的是写了又忘，忘了又写，所以决定写成一篇博客，废话不多说下面我来分析问题：

字符串的全排列（java）

之前做的一个项目，先开始用的是BIO（即阻塞式IO），然后因为一些性能问题，然后用NIO（即非阻塞式IO）替换了BIO。

java NIO原理和应用

我刚刚想着每次写动态代理的时候都会写很多的代码，有点不值得，所以我写了一个实现动态代理的工具类，用户可以用JDK动态代理也可以使用CGLIB动态代理，我的ProxyUtils中提供了三种开发动态代理的方式，在实际用的过程中，可以继承Intercepter这个抽象类实现在逻辑代码前后添加控制代码，如果控制代码返回true那么证明可以通过，如果控制代码返回false说明验证不通过，如果不通过那么就返回你逻辑代码中返回的“0”值，如果你逻辑代码返回对象，那么会返回null，如果是其他类型则返回各种类型的零值，用的时候可以实现Intercepter类，也可以用匿名内部类，随你喜欢，下面是我的代码，一段代码代表一个文件，过后我会将代码再好好，封装然后打成一个jar包：
 

动态代理工具类

TIME-WAIT状态是TCP的11个状态其中之一，是发生在正常关闭TCP连接的时候发生的。如下图所示：

TCP连接的TIME-WAIT状态

       java jdk动态代理其实是动态生成字节码与反射机制的一个结合，说到反射机制很多人都用到过反射，只要得到对应类的Class对象即可，调用方法，获取成员变量等等，那么jdk的动态代理就是在程序运行的过程中，动态的将我们维护的检查性的代码，放在正常的业务代码之前，那么怎么调用我正常的业务代码呢，因为业务可能有很多种，也就是说可能会有不同的类，但是都要执行相同的检查性代码，如我们要取钱，或者是修改身份证，都必须验证通过才可以，这显然是两个类，一个是Money，一个是ID，所以我们在调用正常业务代码的时候，其实不知道我们调用的是谁的代码，这时候就用到反射，通过反射，动态的识别类型，然后再调用方法，如我们要取钱，那么传入的应该是一个Money的实例，通过这个实例的getDeclaredMethod，或者是getMethod就可以，获取对应实例的方法，然后即可动态调用方法，只要在用反射前，加入我们验证的代码即可，这时反射在动态代理中的应用。这部分代码需要我们自己实现InvocationHandler接口，实现其中的invoke方法，在这个方法中，就是我们上述反射的实现。当然为了调用到对应类的方法，我们实现的invocationHandler类中，需要保存我们要代理类的实例。

jdk动态代理（动态生成字节码与反射机制的结合）

        以前用c++，现在用java我发现两种语言用法上区别不太大，但是在编程思路上却又区别，c++什么都要自己做，但是如果做的很严谨是不会出现内存泄露的问题，但是c++太灵活以至于可用性确实降低了，什么都需要自己考虑，而java在内存回收上有垃圾回收机制，在可用性上比c++要好一点，但是java的内存泄露却更加的隐蔽，今天我来谈谈java与c++内存泄露的区别：

java与c++内存泄露的问题

        给出一个数组，再给定一个数target，如果数组中有两个数的和等于target，那么返回这两个数的索引，如果说有多对数都符合条件则返回第一对，返回的结果用一个长度为2的数组保存，并且返回的数组按升序排列：

关于一个数组中两个数的和等于给定数的问题

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了action的经验之路专栏，为你提供了action的经验之路的相关文章，致力于帮助开发者快速成长与发展。

action的经验之路

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐