前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >图形与短信验证码多线程优化接口(第九/十/十一章)海量数据处理-商用短链

图形与短信验证码多线程优化接口(第九/十/十一章)海量数据处理-商用短链

作者头像
高大北
发布2022-09-22 11:57:55
1K0
发布2022-09-22 11:57:55
举报

第九章 架构核心技术-池化思想-异步结合 性能优化最佳实践《上》

第1集 接口压测和常用压力测试工具对比

简介:目前用的常用测试工具对比

  • LoadRunner
    • 性能稳定,压测结果及细粒度大,可以自定义脚本进行压测,但是太过于重大,功能比较繁多
  • Apache AB(单接口压测最方便)
    • 模拟多线程并发请求,ab命令对发出负载的计算机要求很低,既不会占用很多CPU,也不会占用太多的内存,但却会给目标服务器造成巨大的负载, 简单DDOS攻击等
  • Webbench
    • webbench首先fork出多个子进程,每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程,父进程做最终的统计结果。
  • Jmeter (GUI )
    • 开源免费,功能强大,在互联网公司普遍使用
    • 压测不同的协议和应用
        1. Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …)
        1. SOAP / REST Webservices
        1. FTP
        1. Database via JDBC
        1. LDAP 轻量目录访问协议
        1. Message-oriented middleware (MOM) via JMS
        1. Mail - SMTP(S), POP3(S) and IMAP(S)
        1. TCP等等
    • 使用场景及优点
      • 1)功能测试
      • 2)压力测试
      • 3)分布式压力测试
      • 4)纯java开发
      • 5)上手容易,高性能
      • 4)提供测试数据分析
      • 5)各种报表数据图形展示
  • 压测工具本地快速安装Jmeter5.x

目录

代码语言:javascript
复制
bin:核心可执行文件,包含配置
        jmeter.bat: windows启动文件(window系统一定要配置显示文件拓展名)
        jmeter: mac或者linux启动文件
        jmeter-server:mac或者Liunx分布式压测使用的启动文件
        jmeter-server.bat:window分布式压测使用的启动文件
        jmeter.properties: 核心配置文件   
extras:插件拓展的包

lib:核心的依赖包

Jmeter语言版本中英文切换

  • 控制台修改 menu -> options -> choose language

配置文件修改

  • bin目录 -> jmeter.properties
  • 默认 #language=en
  • 改为 language=zh_CN
第2集 Jmeter5.X基础功能组件介绍+线程组和Sampler

简介:讲解Jmeter里面GUI菜单栏主要组件

添加->threads->线程组(控制总体并发)

代码语言:javascript
复制
线程数:虚拟用户数。一个虚拟用户占用一个进程或线程

准备时长(Ramp-Up Period(in seconds)):全部线程启动的时长,比如100个线程,20秒,则表示20秒内 100个线程都要启动完成,每秒启动5个线程

循环次数:每个线程发送的次数,假如值为5,100个线程,则会发送500次请求,可以勾选永远循环

线程组->添加-> Sampler(采样器) -> Http (一个线程组下面可以增加几个Sampler)

代码语言:javascript
复制
名称:采样器名称
注释:对这个采样器的描述
web服务器:
  默认协议是http
  默认端口是80
  服务器名称或IP :请求的目标服务器名称或IP地址

路径:服务器URL

查看测试结果

代码语言:javascript
复制
线程组->添加->监听器->察看结果树
线程组->添加->监听器->聚合报告

常规压测流程

  • 内网环境
  • 非GUI下压测
  • 停止其他无关资源进程
  • 压测机和被压测机器隔离
第3集 调用第三方服务组件改造+Jmeter5.x性能压测实践

简介:调用第三方服务组件改造+Jmeter5.x性能压测实践

  • 埋点http请求得出请求响应耗时【粗略统计,非线上大量数据测试得出】
  • 增加代码NotifyController、NotifyService
    • test方法测试
  • 压测参数配置
    • 200并发
    • 2秒启动
    • 循环500次
  • 同步发送+resttemplate未池化
    • 错误:Connection timed out
    • 400到500 qps
第4集 高并发下异步请求解决方案- @Async注解应用实战

简介:高并发下异步请求解决方案一- @Async组件应用实战

  • 问题
    • 由于发送短信涉及到网络通信, 因此sendMessage方法可能会有一些延迟. 为了改善用户体验, 我们可以使用异步发送短信的方法
  • 什么是异步任务
    • 异步调用是相对于同步调用而言的,同步调用是指程序按预定顺序一步步执行,每一步必须等到上一步执行完后才能执行,异步调用则无需等待上一步程序执行完即可执行
    • 多线程就是一种实现异步调用的方式
    • MQ也是一种宏观上的异步
  • 使用场景
    • 适用于处理log、发送邮件、短信……等
    • 涉及到网络IO调用等操作
  • 使用方式
    • 启动类里面使用@EnableAsync注解开启功能,自动扫描
    • 定义异步任务类并使用@Component标记组件被容器扫描,异步方法加上@Async
  • 注意:@Async失效情况
    • 注解@Async的方法不是public方法
    • 注解@Async的返回值只能为void或者Future
    • 注解@Async方法使用static修饰也会失效
    • spring无法扫描到异步类,没加注解@Async 或 @EnableAsync注解
    • 调用方与被调方不能在同一个类
      • Spring 在扫描bean的时候会扫描方法上是否包含@Async注解,动态地生成一个子类(即proxy代理类),当这个有注解的方法被调用的时候,实际上是由代理类来调用的,代理类在调用时增加异步作用
      • 如果这个有注解的方法是被同一个类中的其他方法调用的,那么该方法的调用并没有通过代理类,而是直接通过原来的那个 bean,所以就失效了
      • 所以调用方与被调方不能在同一个类,主要是使用了动态代理,同一个类的时候直接调用,不是通过生成的动态代理类调用
      • 一般将要异步执行的方法单独抽取成一个类
    • 类中需要使用@Autowired或@Resource等注解自动注入,不能自己手动new对象
    • 在Async 方法上标注@Transactional是没用的,但在Async 方法调用的方法上标注@Transactional 是有效的
  • 编码实践
代码语言:javascript
复制
		//启动类增加 @EnableAsync
	
	  // @Override
    @Async
    public void testSend() {

//        try {
//            TimeUnit.MILLISECONDS.sleep(2000);
//        } catch (InterruptedException e) {
//            e.printStackTrace();
//        }

        long beginTime = CommonUtil.getCurrentTimestamp();
        ResponseEntity<String> forEntity = restTemplate.getForEntity("http://old.xdclass.net", String.class);
        String body = forEntity.getBody();
        long endTime = CommonUtil.getCurrentTimestamp();
        log.info("耗时={},body={}",endTime-beginTime,body);

    }
第5集 异步调用-压测高QPS后的背后原因和问题拆解

简介:异步调用-压测高QPS后的背后原因和问题拆解

image-1660545646575
image-1660545646575
  • 现象:压测后很快跑完全部内容,是因为都在线程池内部的阻塞队列里面
    • 极容易出现OOM,或者消息丢失
    • 默认8个核心线程数占用满了之后, 新的调用就会进入队列, 最大值是Integer.MAX_VALUE,表现为没有执行
      • task-XXX 日志里面会出现递增
    • 设置下idea启动进程的jvm参数: -Xms50M -Xmx50M
image-1660545657971
image-1660545657971
  • 代码位置
    • TaskExecutionProperties
    • TaskExecutionAutoConfiguration
  • 说明:
    • 直接使用 @Async 注解没指定线程池的话,即未设置TaskExecutor时
    • 默认使用Spring创建ThreadPoolTaskExecutor
    • 核心线程数:8
    • 最大线程数:Integer.MAX_VALUE ( 21亿多)
    • 队列使用LinkedBlockingQueue
    • 容量是:Integer.MAX_VALUE
    • 空闲线程保留时间:60s
    • 线程池拒绝策略:AbortPolicy
  • 如何解决上面说的问题?
第6集 【底层原理】Async+ThreadPoolTaskExecutor自定义线程池进阶实战

简介:高并发下异步请求 @Async+ThreadPoolTaskExecutor自定义线程池实战

  • 自定义线程池可以解决上述的问题
image-1660545682620
image-1660545682620
  • 大家的疑惑 使用线程池的时候搞混淆ThreadPoolTaskExecutor和ThreadPoolExecutor
    • ThreadPoolExecutor,这个类是JDK中的线程池类,继承自Executor,里面有一个execute()方法,用来执行线程,线程池主要提供一个线程队列,队列中保存着所有等待状态的线程,避免了创建与销毁的额外开销
    • ThreadPoolTaskExecutor,是spring包下的,是Spring为我们提供的线程池类
      • Spring异步线程池的接口类是TaskExecutor,本质还是java.util.concurrent.Executor
  • 解决方式
    • spring会先搜索TaskExecutor类型的bean或者名字为taskExecutor的Executor类型的bean,
    • 所以我们最好来自定义一个线程池,加入Spring IOC容器里面,即可覆盖
  • 自定义线程池
代码语言:javascript
复制
@Configuration
@EnableAsync
public class ThreadPoolTaskConfig {

    @Bean("threadPoolTaskExecutor")
    public ThreadPoolTaskExecutor threadPoolTaskExecutor(){

        ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();
        //线程池创建的核心线程数,线程池维护线程的最少数量,即使没有任务需要执行,也会一直存活
        //如果设置allowCoreThreadTimeout=true(默认false)时,核心线程会超时关闭
        threadPoolTaskExecutor.setCorePoolSize(4);

			//最大线程池数量,当线程数>=corePoolSize,且任务队列已满时。线程池会创建新线程来处理任务
			//当线程数=maxPoolSize,且任务队列已满时,线程池会拒绝处理任务而抛出异常
				threadPoolTaskExecutor.setMaxPoolSize(8);

			//缓存队列(阻塞队列)当核心线程数达到最大时,新任务会放在队列中排队等待执行
				threadPoolTaskExecutor.setQueueCapacity(124);
			
      //当线程空闲时间达到keepAliveTime时,线程会退出,直到线程数量=corePoolSize
        //允许线程空闲时间60秒,当maxPoolSize的线程在空闲时间到达的时候销毁
        //如果allowCoreThreadTimeout=true,则会直到线程数量=0
        threadPoolTaskExecutor.setKeepAliveSeconds(30);
        
        //spring 提供的 ThreadPoolTaskExecutor 线程池,是有setThreadNamePrefix() 方法的。 
        //jdk 提供的ThreadPoolExecutor 线程池是没有 setThreadNamePrefix() 方法的
        threadPoolTaskExecutor.setThreadNamePrefix("小滴课堂Spring自带Async前缀:");
        threadPoolTaskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        
        // rejection-policy:当pool已经达到max size的时候,如何处理新任务
        // CallerRunsPolicy():交由调用方线程运行,比如 main 线程;如果添加到线程池失败,那么主线程会自己去执行该任务,不会等待线程池中的线程去执行
//AbortPolicy():该策略是线程池的默认策略,如果线程池队列满了丢掉这个任务并且抛出RejectedExecutionException异常。
//DiscardPolicy():如果线程池队列满了,会直接丢掉这个任务并且不会有任何异常
//DiscardOldestPolicy():丢弃队列中最老的任务,队列满了,会将最早进入队列的任务删掉腾出空间,再尝试加入队列
        
        threadPoolTaskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        threadPoolTaskExecutor.initialize();
        return threadPoolTaskExecutor;
    }

}



//使用实战, 启动类可以不加@EnableAsync,改上面加
@Async("threadPoolTaskExecutor")
  • 总结【方便记忆】
    • 先是CorePoolSize是否满足,然后是Queue阻塞队列是否满,最后才是MaxPoolSize是否满足
第7集 ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

简介:ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

  • 请你说下 ThreadPoolTaskExecutor线程池 有哪几个重要参数,什么时候会创建线程
    • 查看核心线程池是否已满,不满就创建一条线程执行任务,否则执行第二步。
    • 查看阻塞队列是否已满,不满就将任务存储在阻塞队列中,否则执行第三步。
    • 查看线程池是否已满,即是否达到最大线程池数,不满就创建一条线程执行任务,否则就按照策略处理无法执行的任务。
  • 高并发下核心线程怎么设置?
    • 分IO密集还是CPU密集
      • CPU密集设置为跟核心数一样大小
      • IO密集型设置为2倍CPU核心数
    • 非固定,根据实际情况压测进行调整,俗称【调参程序员】【调参算法工程师】
第8集 实践出真知-线程池多参数调整-性能压测+现象对比分析

简介:实践出真知-线程池多参数调整-现象报告对比分析

异步发送 + resttemplate未池化

  • 线程池参数
代码语言:javascript
复制
threadPoolTaskExecutor.setCorePoolSize(4);
threadPoolTaskExecutor.setMaxPoolSize(16);
threadPoolTaskExecutor.setQueueCapacity(32);
  • qps少,等待队列小

异步发送+resttemplate未池化

  • 线程池参数
代码语言:javascript
复制
threadPoolTaskExecutor.setCorePoolSize(32);
threadPoolTaskExecutor.setMaxPoolSize(64);
threadPoolTaskExecutor.setQueueCapacity(10000);
//如果等待队列长度为10万,则qps瞬间很高8k+,可能oom
  • qps,等待队列大(瞬间高)

问题

  • 采用异步发送用户体验变好了,但是存在丢失的可能,阻塞队列存储内存中,如果队列长度过多则重启容易出现丢失数据情况
  • 采用了异步发送了+阻塞队列存缓冲,刚开始瞬间QPS高,但是后续也降低很多
  • 问题是在哪里?消费方角度,提高消费能力
image-1660545711783
image-1660545711783

第十章 架构核心技术-池化思想-异步结合 性能优化最佳实践《下》

第1集 RestTemplate里面的存在的问题你知道多少- Broken pipe错误

简介: RestTemplate里面的存在的问题你知道多少

  • 还原代码(暂时不用异步)
    • 异步-里面是用线程池-是池化思想的一种应用
  • 同步发送+resttemplate未池化
    • 压测结果 几百吞吐量
    • 错误Caused by: java.io.IOException: Broken pipe
      • 服务端向前端socket连接管道写返回数据时 链接(pipe)却断开了
      • 从应用角度分析,这是因为客户端等待返回超时了,主动断开了与服务端链接
      • 连接数设置太小,并发量增加后,造成大量请求排队等待
      • 网络延迟,是否有丢包
      • 内存是否足够多支持对应的并发量
      image-1660545726000
      image-1660545726000
  • 问题分析
    • resttemplate底层是怎样的?
    • 基于之前的认知-池化思想,联想到是否使用了http连接池?
  • 重新认识RestTemplate
    • RestTemplate是Spring提供的用于访问Rest服务的客户端
    • 底层通过使用java.net包下的实现创建HTTP 请求
    • 通过使用ClientHttpRequestFactory指定不同的HTTP请求方式,主要提供了两种实现方式
      • SimpleClientHttpRequestFactory(默认)
        • 底层使用J2SE提供的方式,既java.net包提供的方式,创建底层的Http请求连接
        • 主要createRequest 方法( 断点调试),每次都会创建一个新的连接,每次都创建连接会造成极大的资源浪费,而且若连接不能及时释放,会因为无法建立新的连接导致后面的请求阻塞
      • HttpComponentsClientHttpRequestFactory
        • 底层使用HttpClient访问远程的Http服务
  • 问题解决
    • 客户端每次请求都要和服务端建立新的连接,即三次握手将会非常耗时
    • 通过http连接池可以减少连接建立与释放的时间,提升http请求的性能
    • Spring的restTemplate是对httpclient进行了封装, 而httpclient是支持池化机制
    • 拓展
      • 对httpclient进行封装的有:Apache的Fluent、es的restHighLevelClient、spring的restTemplate等
第2集 高性能RestTemplate连接池封装配置实战

简介: 高性能RestTemplate封装配置实战

  • 配置RestTemplate连接池实战
代码语言:javascript
复制
  @Bean
    public RestTemplate restTemplate(ClientHttpRequestFactory factory) {
        return new RestTemplate(factory);
    }

    @Bean
    public ClientHttpRequestFactory httpRequestFactory() {
        return new HttpComponentsClientHttpRequestFactory(httpClient());
    }


    /**
     * @return
     */
    @Bean
    public HttpClient httpClient() {
        Registry<ConnectionSocketFactory> registry = RegistryBuilder.<ConnectionSocketFactory>create()
                .register("http", PlainConnectionSocketFactory.getSocketFactory())
                .register("https", SSLConnectionSocketFactory.getSocketFactory())
                .build();

        PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager(registry);

        //设置整个连接池最大连接数
        connectionManager.setMaxTotal(500);

        //MaxPerRoute路由是对maxTotal的细分,每个主机的并发,这里route指的是域名
        connectionManager.setDefaultMaxPerRoute(200);
        RequestConfig requestConfig = RequestConfig.custom()
                //返回数据的超时时间
                .setSocketTimeout(20000)
                //连接上服务器的超时时间
                .setConnectTimeout(10000)

                //从连接池中获取连接的超时时间
                .setConnectionRequestTimeout(1000)
                .build();

        return HttpClientBuilder.create()
                .setDefaultRequestConfig(requestConfig)
                .setConnectionManager(connectionManager)
                .build();
    }
第3集 【10倍+QPS提升】Jmeter5.x压测 优化后RestTemplate前后性能对比

简介: 【10倍+提升】Jmeter5.x压测 优化后RestTemplate前后性能对比

  • 同步发送+resttemplate未池化
    • 压测结果 几百 吞吐量
  • 同步发送+resttemplate池化
    • 压测结果
    image-1660545750964
    image-1660545750964
  • 检查你自己公司的项目,是否存在对应的问题
image-1660545764068
image-1660545764068
  • 这些都是面试跳槽里面-项目的亮点
    • 发现问题
    • 找出原因
    • 解决问题

第十一章 账号微服务-发送短信验证码-池化+异步结合最佳实践

第1集 调用第三方短信验证码组件性能优化实战

简介:调用第三方短信验证码组件性能优化实战

  • 调整代码
  • 采用异步调用方式
  • 采用 resttemplate池化方式
  • 对比第一个高并发项目大课
    • 海量数据项目大课更加偏底层+性能优化
    • 两个大课有部分接口是重复的,但是虽然是同个接口-大家可以压测对比下两个接口的性能
第2集 说说小滴课堂之前的被薅羊毛的事情+防范解决方案

简介: 说说小滴课堂前不久的被薅羊毛的事情+防范解决方案

请大家先看一个自动化脚本技术视频

短信邮箱轰炸机

  • 什么是短信-邮箱轰炸机:
代码语言:javascript
复制
手机短信轰炸机是批量、循环给手机无限发送各种网站的注册验证码短信的方法。
  • 美好的初衷-发明的由来
代码语言:javascript
复制
最早发明是用来整治街头广告电话号泛滥的一种手段,采用“手机短信轰炸机”软件可无限发送垃圾短信到牛皮癣小广告的手机号码上,使对方的手机快速消耗电量,变成高频率振动棒,且无法正常使用。

“短信轰炸机”可严厉打击城市“牛皮癣”,还城市明净容颜。
  • 灰色产业的目光-也就是部分不法分子利用
代码语言:javascript
复制
某次大型程序员相亲现场-老王得罪了小王, 小王不爽,就道听途说知道了”短信轰炸机“,1天50元,轰炸了5天还打折300元。

一天内接到来自全国各地数千个陌生电话短信的轰炸骚扰,导致个人通讯中断,被工作生活受到严重影响,连刚相亲到的女友没没法联系上了。

原理

代码语言:javascript
复制
很多人都用手机注册一些网站的验证了,比如手机验证码。先填手机号,然后发一条验证码过去,输入验证码,完成验证,注册成功。

* 寻找大量肉鸡网站,寻找发送验证码的请求接口

* 如果找不到接口,也可以使用自动化UI工具触发

* 编写程序和调度任务,相关脚本录入数据库

* 输入目标手机号或者邮箱,触发攻击

公司带来的损失

  • 短信一条5分钱,如果被大量盗刷大家自己计算
  • 邮箱通知不用钱,但被大量盗刷,带宽、连接等都被占用,导致无法正常使用

如何避免自己的网站成为”肉鸡“或者被刷呢

  • 增加图形验证码(开发人员)
  • 单IP请求次数限制(开发人员)
  • 限制号码发送(一般短信提供商会做)

是否可以一劳永逸???

  • 没有百分百的安全,验证码是可以破解的,ip也是可以租用代理ip的
  • 攻防永远是有的,只过加大了攻击者的成本,ROI划不过来自然就放弃了

小滴课堂注册页面-短信验证码没加防范,被刷了,也不知道意图如何,反正就亏了几万块吧

第3集 图形验证码开发之谷歌kaptcha引入

简介:谷歌开源kaptcha图形验证码开发

  • Kaptcha 框架介绍 谷歌开源的一个可高度配置的实用验证码生成工具
    • 验证码的字体/大小/颜色
    • 验证码内容的范围(数字,字母,中文汉字!)
    • 验证码图片的大小,边框,边框粗细,边框颜色
    • 验证码的干扰线
    • 验证码的样式(鱼眼样式、3D、普通模糊)
  • 聚合工程依赖添加(使用国内baomidou二次封装的springboot整合starter)
代码语言:javascript
复制
            <!--kaptcha依赖包-->
            <dependency>
                <groupId>com.baomidou</groupId>
                <artifactId>kaptcha-spring-boot-starter</artifactId>
                <version>1.1.0</version>
            </dependency>
  • 账号微服务添加
代码语言:javascript
复制
            <dependency>
                <groupId>com.baomidou</groupId>
                <artifactId>kaptcha-spring-boot-starter</artifactId>
            </dependency>
  • 开发配置(任何框架和springboot整合基本都是)
代码语言:javascript
复制
@Configuration
public class CaptchaConfig {

    /**
     * 验证码配置
     * Kaptcha配置类名
     * 
     * @return
     */
    @Bean
    @Qualifier("captchaProducer")
    public DefaultKaptcha kaptcha() {
        DefaultKaptcha kaptcha = new DefaultKaptcha();
        Properties properties = new Properties();
//    properties.setProperty(Constants.KAPTCHA_BORDER, "yes");
//    properties.setProperty(Constants.KAPTCHA_BORDER_COLOR, "220,220,220");
//    //properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_FONT_COLOR, "38,29,12");
//    properties.setProperty(Constants.KAPTCHA_IMAGE_WIDTH, "147");
//    properties.setProperty(Constants.KAPTCHA_IMAGE_HEIGHT, "34");
//    properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_FONT_SIZE, "25");
//    //properties.setProperty(Constants.KAPTCHA_SESSION_KEY, "code");
        //验证码个数
        properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_CHAR_LENGTH, "4");
//    properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_FONT_NAMES, "Courier");
        //字体间隔
        properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_CHAR_SPACE,"8");
        //干扰线颜色
//    properties.setProperty(Constants.KAPTCHA_NOISE_COLOR, "white");
        //干扰实现类
        properties.setProperty(Constants.KAPTCHA_NOISE_IMPL, "com.google.code.kaptcha.impl.NoNoise");
        //图片样式
        properties.setProperty(Constants.KAPTCHA_OBSCURIFICATOR_IMPL, "com.google.code.kaptcha.impl.WaterRipple");
        //文字来源
        properties.setProperty(Constants.KAPTCHA_TEXTPRODUCER_CHAR_STRING, "0123456789");
        Config config = new Config(properties);
        kaptcha.setConfig(config);
        return kaptcha;
    }
}
  • 开发一个Controller使用测试
第4集 池化思想应用-Redis6.X配置连接池实战

简介:池化思想应用-Redis6.X配置连接池实战

连接池好处

  • 使用连接池不用每次都走三次握手、每次都关闭Jedis
  • 相对于直连,使用相对麻烦,在资源管理上需要很多参数来保证,规划不合理也会出现问题
  • 如果pool已经分配了maxActive个jedis实例,则此时pool的状态就成exhausted了

连接池配置 common项目

代码语言:javascript
复制
 <!--redis客户端-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>io.lettuce</groupId>
                    <artifactId>lettuce-core</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-pool2</artifactId>
        </dependency>

配置Redis连接

代码语言:javascript
复制
  redis:
    client-type: jedis
    host: 120.79.150.146
    password: xdclass.net
    port: 6379
    jedis:
      pool:
        # 连接池最大连接数(使用负值表示没有限制)
        max-active: 100
        # 连接池中的最大空闲连接
        max-idle: 100
        # 连接池中的最小空闲连接
        min-idle: 100
        # 连接池最大阻塞等待时间(使用负值表示没有限制)
        max-wait: 60000

序列化配置

代码语言:javascript
复制
@Configuration
public class RedisTemplateConfiguration {
    /**
     * @param redisConnectionFactory
     * @return
     */
    @Bean
    public RedisTemplate<Object, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
        RedisTemplate<Object, Object> redisTemplate = new RedisTemplate<>();
        redisTemplate.setConnectionFactory(redisConnectionFactory);
        // 使用Jackson2JsonRedisSerialize 替换默认序列化
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper objectMapper = new ObjectMapper();
        objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        jackson2JsonRedisSerializer.setObjectMapper(objectMapper);
        // 设置key和value的序列化规则
        redisTemplate.setKeySerializer(new StringRedisSerializer());
        redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);
        // 设置hashKey和hashValue的序列化规则
        redisTemplate.setHashKeySerializer(new StringRedisSerializer());
        redisTemplate.setHashValueSerializer(jackson2JsonRedisSerializer);
        return redisTemplate;
    }
}
第5集 账号微服务开发图形验证码加入缓存+Try-with-resource知识巩固

简介:账号微服务开发图形验证码接口+Try-with-resource知识巩固

  • redis做隔离, 多集群:核心集群和非核心集群,高并发集群和非高并发集群
    • 资源隔离
    • 数据保护
    • 提高性能
    • key规范:业务划分,冒号隔离
      • account-service:captcha:xxxx
      • 长度不能过长
  • 验证码接口开发
代码语言:javascript
复制
/**
     *临时使用10分钟有效,方便测试
     */
    private static final long CAPTCHA_CODE_EXPIRED = 60 * 1000 * 10;

    /**
     * 获取图形验证码
     * @param request
     * @param response
     */
    @GetMapping("captcha")
    public void getCaptcha(HttpServletRequest request, HttpServletResponse response) {

        String captchaText = captchaProducer.createText();
        log.info("图形验证码:{}", captchaText);

        //存储
        redisTemplate.opsForValue().set(getCaptchaKey(request),
                captchaText, CAPTCHA_CODE_EXPIRED, TimeUnit.MILLISECONDS);

        BufferedImage bufferedImage = captchaProducer.createImage(captchaText);
        try (ServletOutputStream outputStream = response.getOutputStream()){
            ImageIO.write(bufferedImage, "jpg", outputStream);
            outputStream.flush();
        } catch (IOException e) {
            log.error("获取图形验证码异常:{}", e);
        }

    }
  • 什么是try-with-resources
    • 资源的关闭很多⼈停留在旧的流程上,jdk7新特性就有, 但是很多⼈以为是jdk8的
    • 在try( …)⾥声 明的资源,会在try-catch代码块结束后⾃动关闭掉
    • 注意点
      • 实现了AutoCloseable接⼝的类,在try()⾥声明该类实例的时候,try结束后⾃动调⽤的 close⽅法,这个动作会早于finally⾥调⽤的⽅法
      • 不管是否出现异常,try()⾥的实例都会被调⽤close⽅法
      • try⾥⾯可以声明多个⾃动关闭的对象,越早声明的对象,会越晚被close掉
第6集 账号微服务之注册短信验证码接口开发

简介:注册短信验证码接口开发

  • 接口开发
代码语言:javascript
复制
  • service层
代码语言:javascript
复制
  @Override
    public JsonData sendCode(SendCodeEnum sendCodeType, String to) {
      
        if(CheckUtil.isEmail(to)){
            //邮箱验证码
           

        }else if(CheckUtil.isPhone(to)){
            //短信验证码
        }

        return JsonData.buildResult(BizCodeEnum.CODE_TO_ERROR);
    }
  • 邮箱工具类正则
代码语言:javascript
复制
public class CheckUtil {


    /**
     * 邮箱正则
     */
    private static final Pattern MAIL_PATTERN = Pattern.compile("^([a-z0-9A-Z]+[-|\\.]?)+[a-z0-9A-Z]@([a-z0-9A-Z]+(-[a-z0-9A-Z]+)?\\.)+[a-zA-Z]{2,}$");

    /**
     * 手机号正则
     */
    private static final Pattern PHONE_PATTERN = Pattern.compile("^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\\d{8}$");

    /**
     * @param email
     * @return
     */
    public static  boolean isEmail(String email) {
        if (null == email || "".equals(email)) {
            return false;
        }
        Matcher m = MAIL_PATTERN.matcher(email);
        return m.matches();
    }

    /**
     * 
     * @param phone
     * @return
     */
    public static boolean isPhone(String phone) {
        if (null == phone || "".equals(phone)) {
            return false;
        }
        Matcher m = PHONE_PATTERN.matcher(phone);
        boolean result = m.matches();
        return result;

    }
}
第7集 关于注册短信验证码防刷设计方案你能想到几个

简介:注册短信验证码防刷方案你能想到几个

需求:一定时间内禁止重复发送短信,大家想下有哪几种实现方式

  • 两个时间要求
    • 60秒后才可以重新发送短信验证码
    • 发送的短信验证码10分钟内有效
    image-1660545866250
    image-1660545866250

方式一:前端增加校验倒计时,不到60秒按钮不给点击

简单

不安全,存在绕过的情况

方式二:增加Redis存储,发送的时候设置下额外的key,并且60秒后过期

非原子操作,存在不一致性

增加的额外的key - value存储,浪费空间

代码语言:javascript
复制
/**
 * 前置:判断是否重复发送
 *
 * 1、存储验证码到缓存
 *
 * 2、发送短信验证码
 *
 * 后置:存储发送记录
 **/

方式三:基于原先的key拼装时间戳

  • 好处:满足了当前节点内的原子性,也满足业务需求
第8集 【重要】注册邮箱验证码防刷代码落地+整体测试

简介:注册邮箱验证码防刷落地和整体测试

代码语言:javascript
复制
    @Override
    public JsonData sendCode(SendCodeEnum sendCodeEnum, String to) {

        String cacheKey = String.format(RedisKey.CHECK_CODE_KEY,sendCodeEnum.name(),to);

        String cacheValue = redisTemplate.opsForValue().get(cacheKey);

        //如果不为空,再判断是否是60秒内重复发送 0122_232131321314132
        if(StringUtils.isNotBlank(cacheValue)){
            long ttl = Long.parseLong(cacheKey.split("_")[1]);
            //当前时间戳-验证码发送的时间戳,如果小于60秒,则不给重复发送
            long leftTime = CommonUtil.getCurrentTimestamp() - ttl;
            if( leftTime < (1000*60)){
                log.info("重复发送短信验证码,时间间隔:{}秒",leftTime);
                return JsonData.buildResult(BizCodeEnum.CODE_LIMITED);
            }
        }

        String code = CommonUtil.getRandomCode(6);
        //生成拼接好验证码
        String value = code+"_"+CommonUtil.getCurrentTimestamp();
        redisTemplate.opsForValue().set(cacheKey,value,CODE_EXPIRED,TimeUnit.MILLISECONDS);

        if(CheckUtil.isEmail(to)){
            //发送邮箱验证码  TODO

        }else if(CheckUtil.isPhone(to)){

            //发送手机验证码
            smsComponent.send(to,smsConfig.getTemplateId(),code);
        }
        return JsonData.buildSuccess();
    }
  • 整体测试和总结
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2022-08-15 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 第九章 架构核心技术-池化思想-异步结合 性能优化最佳实践《上》
    • 第1集 接口压测和常用压力测试工具对比
      • 第2集 Jmeter5.X基础功能组件介绍+线程组和Sampler
        • 第3集 调用第三方服务组件改造+Jmeter5.x性能压测实践
          • 第4集 高并发下异步请求解决方案- @Async注解应用实战
            • 第5集 异步调用-压测高QPS后的背后原因和问题拆解
              • 第6集 【底层原理】Async+ThreadPoolTaskExecutor自定义线程池进阶实战
                • 第7集 ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不
                  • 第8集 实践出真知-线程池多参数调整-性能压测+现象对比分析
                  • 第十章 架构核心技术-池化思想-异步结合 性能优化最佳实践《下》
                    • 第1集 RestTemplate里面的存在的问题你知道多少- Broken pipe错误
                      • 第2集 高性能RestTemplate连接池封装配置实战
                        • 第3集 【10倍+QPS提升】Jmeter5.x压测 优化后RestTemplate前后性能对比
                        • 第十一章 账号微服务-发送短信验证码-池化+异步结合最佳实践
                          • 第1集 调用第三方短信验证码组件性能优化实战
                            • 第2集 说说小滴课堂之前的被薅羊毛的事情+防范解决方案
                              • 第3集 图形验证码开发之谷歌kaptcha引入
                                • 第4集 池化思想应用-Redis6.X配置连接池实战
                                  • 第5集 账号微服务开发图形验证码加入缓存+Try-with-resource知识巩固
                                    • 第6集 账号微服务之注册短信验证码接口开发
                                      • 第7集 关于注册短信验证码防刷设计方案你能想到几个
                                        • 第8集 【重要】注册邮箱验证码防刷代码落地+整体测试
                                        相关产品与服务
                                        验证码
                                        腾讯云新一代行为验证码(Captcha),基于十道安全栅栏, 为网页、App、小程序开发者打造立体、全面的人机验证。最大程度保护注册登录、活动秒杀、点赞发帖、数据保护等各大场景下业务安全的同时,提供更精细化的用户体验。
                                        领券
                                        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档