首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

搭建百万连接服务,使用netty完成websocke的推送

(一)使用websocket

介绍

webSocket协议是基于TCP的一种新的网络协议。他的出现实现了网络和浏览器全双工通信,允许服务器主动发送信息给客户端。客户端 给 服务器发消息是半双工,服务器给客户端也发送消息就是全双工。

多客户端多语言多浏览器支持:浏览器,php,Java,ruby,nginx,python,Tomcat,erlang,.net等等。

websocket实现

服务端和客户端交流,通过的是websocket这种协议,内部传输的协议,通过websocket这种方式和普通的socket没有什么区别,唯一一点就是协议不同。

websocket示例

绑定9001,这是浏览器js方式完成的,可以发送消息和接收消息,生成一个随机数userId,在设计这个功能的时候,考虑到消息推送是否需要先登录。登录过跳转到登录成功,成功之后拿到userId,在建立websocket连接的时候就可以携带userId,最终知道是那个用户。

java代码示例server端

server端的 channel类。绑定完成相关的业务逻辑处理,

1.解析http协议编解码

2.最大的解析数据包拦截

3.自己的业务处理,得到msg对象,变成了一个request的对象。

TestCenter 类

server handler 服务

解析 handler,http解码失败,如果不是websocket协议升级的请求,现在开发的是一个websocket服务器,对于一切不符合我要求的请求,可以不管理它,这跟开发springmvc,要接触的东西,不是url,http协议底层,请求的头部协议,如果不符合就返回400,如果是就返回当前处理我可以接收。正常开始通信了,握手,返回响应的状态码。先处理websocket的握手,后处理websocket的消息。握手就是你同意给我交往了,

上边是通过html的客户端,这里用java的netty写一个websocket的客户端

对应客户端的handler,先http获取消息,然后服务端给客户端发送消息,客户端收到了,如果是http消息,可能不能解析,如果是websocket消息,进行消息的打印。客户端收到了消息,把消息的内容给打印出来。

源码的pom文件

(二)说说netty如何实现百万连接

介绍

100w连接需要多少台机器才能构建起来,这肯定是很多的,在测试的过程中,不需要几百个服务器完成百万连接。需要注意服务器支持端口的数量是可以支持很多的,但是如何2台服务器要实现百万连接,需要考虑一个TCP层次的一种限制,两台服务器之间建立的连接数量是有限的。网络四元组(客户端IP,客户端端口,服务端IP,服务端端口)。

同一个IP的端口数不超过65535个,这是个限制,每一个连接不仅仅在服务器上开启一个端口,在客户端也会开启一个端口,每一个TCP连接涉及到端口数量的限制,客户端只有6万多个端口。(不可能搞那么多机器,所以让一个客户端发起100万的连接请求,如果是生产环境就不用考虑这个问题)

服务器只有一个端口的情况下,同一个客户端只能对他发起6万多个连接。客户端每发起一个请求,就需要开启一个端口。客户端没有端口就说明它没办法发起请求。

解决方案

服务器开启多个端口,网络上区别机器是通过网络四元组来标记的。客户端的端口虽然有限,但是可以复用里面的端口。

举个例子:客户端端口20000,已经连接了服务端9001 这个端口。20000端口在去连接服务端另一个端口9002这个端口。对于客户端指定端口复用,操作系统会自动处理的。

netty里面开启了 地址的复用。客户端也开启复用。参数都是TCP参数。ChannelOption.SO_REUSEADDR

client 和server端通过循环的方式,增加多个端口的绑定。

client端 和 server端需要修改的代码

WebSocketClient

WebSocketServer

(三)linux下的百万配置

环境配置

测试环境:两台 centos7 jdk8 4核8G

centos服务器配置

进程最大文件打开添加参数最大限制

全局限制 cat /proc/sys/fs/file-nr

服务设置

问题汇总

centos服务器配置

启动

(四)百万连接配置说明

一台机器为什么能支持百万的连接感觉有点科幻,感觉不可能,首先需要理解NIO的概念,NIO如果没有做任何处理的情况下,网络是不需要java程序处理的,java程序在连接没有产生动静的时候,java是不产生事件的时候,只有真正产生事件的时候,selector会通知,在一个海量连接的过程中,只要没有消息的推送,消息传到服务器来,不管有几百万个请求,都可以去接受,这是NIO的特性,不像BIO一个请求要开启一个连接,并非是无限的增长,对于连接这么多,内存资源首先被消耗,占用最大的是内存,操作系统底层有TCP的关联,java的netty里面也有channel,需要保留连接,一个连接产生一个对应的对象,虽然这个对象没有处理但是会占用内存,跟cpu没有太大管理,只是java程序要处理占用了cpu和内存。

有很多连接有一个误解,百万连接需要很多机器,百万连接的关键是NIO网络的机制,对NIO没有直观认识的时候,不知道NIO能带来什么。在真实的生产环境的情况下,服务端不需要这么多端口,开100个端口,为了让测试服务器可以连接,上边有个命令是发送消息服务器启动,一旦涉及到百万连接和发送消息的话肯定设计到大量的资源消耗,netty调用handler,channel,这些都是消耗资源的,服务器cpu资源会挂掉,4核 linux top的方式来查看cpu最大是400%。

PS:最好是通过代码,自己试一下,了解下百万连接的思路,按照正常是分布式的架构,单机始终是有瓶颈的,100万用户的连接的话单机8g4核轻轻松松,分布式系统就要设计到分布式消息队列,负载均衡,注册中心的概念,推送使用netty方便系统的开发,沾包和拆包的问题方法去解决,而不是自己写一个socket程序很复杂,netty是通过责任链的方式,通过pipline控制之后的步骤。netty的底层是基于NIO,NIO的底层是基于多路复用的机制,多路复用机制是依托于操作系统的,百万连接这个是拼操作系统参数的,java代码是使用的NIO,如果不是使用的NIO,不好意思你达不到,设置到一些系统操作的配置。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20201228A0CXXU00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券