脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Golang - GO语言如何手动处理TCP粘包详解

GO语言如何手动处理TCP粘包详解

2020-05-12 11:06怪咖_OOP Golang

最近在用golang开发人工客服系统的时候碰到了粘包问题,那么什么是粘包呢?下面这篇文章就来给大家介绍了关于GO语言如何手动处理TCP粘包的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴。

前言

一般所谓的TCP粘包是在一次接收数据不能完全地体现一个完整的消息数据。TCP通讯为何存在粘包呢?主要原因是TCP是以流的方式来处理数据,再加上网络上MTU的往往小于在应用处理的消息数据,所以就会引发一次接收的数据无法满足消息的需要,导致粘包的存在。处理粘包的唯一方法就是制定应用层的数据通讯协议,通过协议来规范现有接收的数据是否满足消息数据的需要。在应用中处理粘包的基础方法主要有两种分别是以4节字描述消息大小或以结束符,实际上也有两者相结合的如HTTP,redis的通讯协议等。

应用场景

大部分TCP通讯场景下,使用自定义通讯协议

GO语言如何手动处理TCP粘包详解

粘包处理原理:通过请求头中数据包大小,将客户端N次发送的数据缓冲到一个数据包中

例如:

请求头占3个字节(指令头1字节、数据包长度2字节),版本占1个字节,指令占2个字节

协议规定一个数据包最大是512字节,请求头中数据包记录是1300字节,完整的数据包是1307个字节,此时服务器端需要将客户端3次发送数据进行粘包处理

代码示例

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
package server
import (
 "net"
 "bufio"
 "ftj-data-synchro/protocol"
 "golang.org/x/text/transform"
 "golang.org/x/text/encoding/simplifiedchinese"
 "io/ioutil"
 "bytes"
 "ftj-data-synchro/logic"
 "fmt"
 "strconv"
)
/*
 客户端结构体
 */
type Client struct {
 DeviceID string  //客户端连接的唯标志
 Conn  net.Conn  //连接
 reader *bufio.Reader //读取
 writer *bufio.Writer //输出
 Data  []byte  //接收数据
}
func NewClient(conn *net.TCPConn) *Client {
 reader := bufio.NewReaderSize(conn, 10240)
 writer := bufio.NewWriter(conn)
 c := &Client{Conn:conn, reader:reader, writer:writer}
 return c
}
/**
 数据读取(粘包处理)
 */
func (this *Client)read() {
 for {
  var data []byte
  var err error
  //读取指令头 返回输入流的前4个字节,不会移动读取位置
  data, err = this.reader.Peek(4)
  if len(data) == 0 || err != nil {
   continue
  }
  //返回缓冲中现有的可读取的字节数
  var byteSize = this.reader.Buffered()
  fmt.Printf("读取字节长度:%d\n", byteSize)
  //生成一个字节数组,大小为缓冲中可读字节数
  data = make([]byte, byteSize)
  //读取缓冲中的数据
  this.reader.Read(data)
  fmt.Printf("读取字节:%d\n", data)
  //保存到新的缓冲区
  for _, v := range data {
   this.Data = append(this.Data, v)
  }
  if len(this.Data) < 4 {
   //数据包缓冲区清空
   this.Data = []byte{}
   fmt.Printf("非法数据,无指令头...\n")
   continue
  }
  data, err = protocol.HexBytesToBytes(this.Data[:4])
  instructHead, _ := strconv.ParseUint(string(data), 16, 16)
  //指令头效验
  if uint16(instructHead) != 42330 {
   fmt.Printf("非法数据\n")
   //数据包缓冲区清空
   this.Data = []byte{}
   continue
  }
  data = this.Data[:protocol.HEADER_SIZE]
  var p = protocol.Decode(data)
  fmt.Printf("消息体长度:%d\n", p.Len)
  var bodyLength = len(this.Data) 
  /**
   判断数据包缓冲区的大小是否小于协议请求头中数据包大小
   如果小于,等待读取下一个客户端数据包,否则对数据包解码进行业务逻辑处理
   */
  if int(p.Len) > len(this.Data) - protocol.HEADER_SIZE {
   fmt.Printf("body体长度:%d,读取的body体长度:%d\n", p.Len, bodyLength)
   continue
  }
  fmt.Printf("实际处理字节:%v\n", this.Data)
  p = protocol.Decode(this.Data)
  //逻辑处理
  go this.logicHandler(p)
  //数据包缓冲区清空
  this.Data = []byte{}
 }
}

待优化部分:

?
1
2
3
4
5
6
7
type Client struct {
 DeviceID string  //客户端连接的唯标志
 Conn  net.Conn  //连接
 reader *bufio.Reader //读取
 writer *bufio.Writer //输出
 Data  []byte  //接收数据
}

结构体中Data属性可考虑使用bytes.Buffer实现。

Golang标准库文档:https://studygolang.com/pkgdoc

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对服务器之家的支持。

原文链接:http://www.jianshu.com/p/3c0afaa3c869

延伸 · 阅读

精彩推荐
  • GolangGolang通脉之数据类型详情

    Golang通脉之数据类型详情

    这篇文章主要介绍了Golang通脉之数据类型,在编程语言中标识符就是定义的具有某种意义的词,比如变量名、常量名、函数名等等,Go语言中标识符允许由...

    4272021-11-24
  • Golanggolang如何使用struct的tag属性的详细介绍

    golang如何使用struct的tag属性的详细介绍

    这篇文章主要介绍了golang如何使用struct的tag属性的详细介绍,从例子说起,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看...

    Go语言中文网11352020-05-21
  • Golanggolang的httpserver优雅重启方法详解

    golang的httpserver优雅重启方法详解

    这篇文章主要给大家介绍了关于golang的httpserver优雅重启的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,...

    helight2992020-05-14
  • GolangGolang中Bit数组的实现方式

    Golang中Bit数组的实现方式

    这篇文章主要介绍了Golang中Bit数组的实现方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    天易独尊11682021-06-09
  • Golanggolang json.Marshal 特殊html字符被转义的解决方法

    golang json.Marshal 特殊html字符被转义的解决方法

    今天小编就为大家分享一篇golang json.Marshal 特殊html字符被转义的解决方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧 ...

    李浩的life12792020-05-27
  • Golanggo语言制作端口扫描器

    go语言制作端口扫描器

    本文给大家分享的是使用go语言编写的TCP端口扫描器,可以选择IP范围,扫描的端口,以及多线程,有需要的小伙伴可以参考下。 ...

    脚本之家3642020-04-25
  • Golanggolang 通过ssh代理连接mysql的操作

    golang 通过ssh代理连接mysql的操作

    这篇文章主要介绍了golang 通过ssh代理连接mysql的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    a165861639710342021-03-08
  • Golanggo日志系统logrus显示文件和行号的操作

    go日志系统logrus显示文件和行号的操作

    这篇文章主要介绍了go日志系统logrus显示文件和行号的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    SmallQinYan12302021-02-02