专栏首页陶士涵的菜地[Go]TCP服务中增加消息队列与工作池

[Go]TCP服务中增加消息队列与工作池

之前的处理中每一个连接都会创建一个主groutine , 每个连接中的主groutine中创建出读groutine 和写groutine

每个连接处理业务再单独开出一个groutine ,这样如果有10万并发的连接 , 将会出现30万groutine ,其中读写占20万阻塞住的 , 不占用资源。处理业务的有10万groutine ,会不停的切换 , 比较占有CPU资源 , 现在把处理业务的groutine限制住 ,创建出一个工作池,里面存的是每个worker ,每个worker groutine去读取自己对应的channel ,这个channel是个有缓存的channel作为消息队列使用

package snet

import (
    "bufio"
    "fmt"
    "log"
    "math/rand"
    "net"
    "time"
)

type Conn struct {
    IP             string
    Port           uint32
    TCPConn        *net.TCPConn
    MsgChan        chan []byte
    ExitChan       chan bool
    Closed         bool
    WorkerPool     []chan []byte
    WorkerPoolSize uint32
    PreWorkerQueue uint32
}

func NewConn(IP string, Port uint32, WorkerPoolSize uint32) *Conn {
    s := &Conn{
        IP:             IP,
        Port:           Port,
        MsgChan:        make(chan []byte),
        ExitChan:       make(chan bool),
        WorkerPool:     make([]chan []byte, WorkerPoolSize),
        WorkerPoolSize: WorkerPoolSize,
        PreWorkerQueue: 1024,
    }
    return s
}

func (c *Conn) Start() {
    log.Printf("%s:%d start...\n", c.IP, c.Port)
    go func() {
        c.StartWorkerPool()
        addr, err := net.ResolveTCPAddr("tcp4", fmt.Sprintf("%s:%d", c.IP, c.Port))
        if err != nil {
            log.Println("resolve tcp addr err ", err)
            return
        }
        listener, err := net.ListenTCP("tcp4", addr)
        if err != nil {
            log.Println("listen tcp err ", err)
            return
        }
        var connid uint32
        connid = 0
        for {
            conn, err := listener.AcceptTCP()
            if err != nil {
                log.Println("accept tcp err ", err)
                continue
            }
            c.TCPConn = conn
            go c.StartRead()
            go c.StartWrite()
            connid++
        }
    }()
    select {}
}
func (c *Conn) StartRead() {
    log.Println("read groutine is waiting")
    defer c.Stop()
    defer log.Println("read groutine exit")
    reader := bufio.NewReader(c.TCPConn)
    for {
        lineBytes, err := reader.ReadBytes('\n')
        if err != nil {
            log.Println("startread read bytes error ", err)
            break
        }
        len := len(lineBytes)
        line := lineBytes[:len-1]
        log.Println("start read from client ", string(line))
        if c.WorkerPoolSize>0{
            c.SendMsgToWorker(line)
        }else{
            go c.HandleMsg(line)
        }
    }
}
func (c *Conn) StartWrite() {
    log.Println("write groutine is waiting")
    defer log.Println("write groutine exit")
    for {
        select {
        case data := <-c.MsgChan:
            if _, err := c.TCPConn.Write(data); err != nil {
                log.Println("startwrite conn write error ", err)
                return
            }
            log.Println("start write from server ", string(data))
        case <-c.ExitChan:
            return
        }
    }
}
func (c *Conn) HandleMsg(data []byte) {
    res := fmt.Sprintf("res:%s", string(data))
    c.MsgChan <- []byte(res)
}
func (c *Conn) SendMsgToWorker(data []byte) {
    rand.Seed(time.Now().UnixNano())
    workerId := rand.Intn(int(c.WorkerPoolSize))
    c.WorkerPool[workerId] <- data
}
func (c *Conn) StartWorkerPool() {
    for i := 0; i < int(c.WorkerPoolSize); i++ {
        c.WorkerPool[i] = make(chan []byte, c.PreWorkerQueue)
        go c.StartOneWorker(i, c.WorkerPool[i])
    }
}
func (c *Conn) StartOneWorker(workerId int, queue chan []byte) {
    log.Println("start one worker groutine is waiting:", workerId)
    for {
        select {
        case data := <-queue:
            c.HandleMsg(data)
            log.Println("one worker groutine is finshed:", workerId)
        }
    }
}
func (c *Conn) Stop() {
    if c.Closed {
        return
    }
    c.Closed = true
    c.ExitChan <- true

    c.TCPConn.Close()
    close(c.ExitChan)
    close(c.MsgChan)
}

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • [Go]TCP服务中读写进行协程分离

    读写两部分进行一下分离,中间通过chan进行传递数据 ,这样可以方便的在write中进行一些业务处理

    陶士涵
  • [日常] nginx记录post数据

    server { access_log /var/log/nginx/default.access.log 日志名; }

    陶士涵
  • [Go] 使用net包作为tcp客户端读取http

    1.tcp的客户端,并且直接读取http协议的全部内容,每次读取4096字节,直到最后一个字节是\n并且读取的长度小于4096

    陶士涵
  • [Go]TCP服务中读写进行协程分离

    读写两部分进行一下分离,中间通过chan进行传递数据 ,这样可以方便的在write中进行一些业务处理

    陶士涵
  • Go 每日一库之 plot

    本文介绍 Go 语言的一个非常强大、好用的绘图库——plot。plot内置了很多常用的组件,基本满足日常需求。同时,它也提供了定制化的接口,可以实现我们的个性化...

    用户7731323
  • [ASP.NET] 如果将缓存“滑动过期时间”设置为1秒会怎样?

    今天编写了一个采用ASP.NET Caching的组件,在为它编写Unit Test的过程中发现了一个有趣的问题,接下来我通过一个简单的实例说明这个问题。我们在...

    蒋金楠
  • ESXI5.5 升级至 ESXI5.5 Update 1解决SSO与Win2008蓝屏问题

    https://www.vmware.com/patchmgr/findPatch.portal

    木子-Lee
  • PL/SQL 下SQL结果集以html形式发送邮件

          在运维的过程中,有时候需要定时将SQL查询的数据结果集以html表格形式发送邮件,因此需要将SQL查询得到的结果集拼接成html代码。对于这种情形通...

    Leshami
  • [Go] 轻量服务器框架基础TCP服务模块

    陶士涵
  • 机器学习概念总结笔记(四)

    KMeans聚类分析是一种静态数据分析方法,常被用于机器学习,模式识别,数据挖掘等领域。通常认为,聚类是一种无监督式的机器学习方法,它的过程是这样的:在未知样本...

    serena

扫码关注云+社区

领取腾讯云代金券