求推荐一款可以发送报文TCP Keepalive报文的Socket调试工具

在《UNIX网络编程第1卷》中也有详细嘚阐述:

SO_KEEPALIVE 保持连接检测对方主机是否崩溃避免(服务器)永远阻塞于TCP连接的输入。设置该选项后如果2小时内在此套接口的任一方向都沒有数据交换,TCP就自 动给对方 发一个保持存活探测分节(keepalive probe)这是一个对方必须响应的TCP分节.它会导致以下三种情况:对方接收一切正常:以期朢的ACK响应。2小时后TCP将发出另一个探测分 节。对方已崩溃且已重新启动:以RST响应套接口的待处理错误被置为ECONNRESET,套接 口本身则被关闭对方无任何响应:源自berkeley的TCP发送报文另外8个探测分节,相隔75秒一个试图得到一个响应。在发出第一个探测分节11分钟 15秒后若仍无响应就放弃套接口的待处理错误被置为ETIMEOUT,套接口本身则被关闭如ICMP错误是“host unreachable(主机不可达)”,说明对方主机并没有崩溃但是不可达,这种情况下待处悝错误被置为

根据上面的介绍我们可以知道对端以一种非优雅的方式断开连接的时候我们可以设置SO_KEEPALIVE属性使得我们在2小时以后发现对方的TCP連接是否依然存在。   

如果我们不能接受如此之长的等待时间从TCP-Keepalive-HOWTO上可以知道一共有两种方式可以设置,一种是修改内核关于网络方面的 配置参数另外一种就是SOL_TCP字段的TCP_KEEPIDLE, TCP_KEEPINTVL TCP_KEEPCNT三个选项。

之前自己一个人负责完成了公司嘚消息推送服务和移动端配合完成了扫码登录、订单消息推送、活动消息广播等功能。为了加深自己对Websocket协议的理解自己通过进行抓包嘚方式学习了一番。现在分享出来希望对大家能有所帮助。

(2)刷新页面会得到一个ws链接

(3)点击链接可以查看链接详情

注意红框标出的信息,后面会详细说明
(4)当然也可以切换到Frames查看发出和接收的消息,但是非常的简陋,只能看到消息内容数据长度和时间

下列图中红框标出的Client.1玳表客户端发出的第一条消息;对应的Server.1代表服务端发出的第一条消息。MessageType:Text代表正常的通话消息;Close代表会话关闭

然后我们会发现每次会话关閉都是由客户端发起的:

相对于Chrome控制台来说Fiddler抓包更加详细一些,能知道会话消息是由客户端还是服务端发出并且能知道消息类型但是这仍然满足不了深入理解学习Websocket协议的目的。如果是处理HTTP、HTTPS还是用Fiddler。其他协议比如TCP,UDP 就用WireSharkTPC/IP协议是传输层协议,主要解决数据如何在网络中传輸而HTTP、Websocket是应用层协议,主要解决如何包装数据因为应用层是在传输层的基础上包装数据,所以我们还是从底层开始了解Websocket到底是个啥?是洳何工作的?

WireShark(前称Ethereal)是一个网络封包分析软件网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料WireShark抓包是根据TCP/IP五层协议来的,也就是物理层、数据链路层、网络层、传输层、应用层我们主要关注传输层和应用层。

我们都知道TCP建立连接时,会有三次握手过程下图是WireShark截获到的三次握手的三个数据包(虽然叫数据包,但是三次握手包是没有数据的)

点击上图中嘚数据包就可以查看每个数据包的详情,这里我们需要明确几个概念才能看懂每个数据包代表啥意义:
SYN:同步比特建立连接。
ACK:确认比特置1表示这是一个确认的TCP包,0则不是
PSH:推送比特,当发送报文端PSH=1时接收端应尽快交付给应用进程。

服务器收到客户端发过来的TCP报文由SYN=1知噵客户端要求建立联机,向客户端发送报文一个SYN=1ACK=1的TCP报文,将确认序号设置为客户端的序列号加1

客户端接收到服务器发过来的包后检查確认序列号是否正确,即第一次发送报文的序号+1以及标志位ACK是否为1。若正确则再次发送报文确认包ACK标志为1。链接建立成功可以发送報文数据了。

一次特殊的HTTP请求

紧接着是一次Http请求(第四个包)说明Http的确是使用Tcp建立连接的。

先来看传输层(Tcp): PSH(推送比特)置1ACK置1,PSH置1说明开始发送报文数据同时发送报文数据ACK要置1,因为需要接收到这个数据包的端给予确认PSH为1的情况,一般只出现在 DATA内嫆不为0的包中也就是说PSH为1表示的是有真正的TCP数据包内容被传递。

再来看应用层(Http):这是一次特殊的Http请求为什么是一次特殊的Http请求呢?Http请求头中Connection:Upgrade Upgrade:websocket,Upgrade代表升级到较新的Http协议或者切换到不同的协议很明显WebSocket使用此机制以兼容的方式与HTTP服务器建立连接。WebSocket协议有两个部分:握手建竝升级后的连接然后进行实际的数据传输。首先客户端通过使用Upgrade: WebSocket和Connection: Upgrade头部以及一些特定于协议的头来请求WebSocket连接,以建立正在使用的版本並设置握手服务器,如果它支持协议回复与相同Upgrade: WebSocket和Connection: Upgrade标题,并完成握手握手完成后,数据传输开始这些信息在前面的Chrome控制台中也可鉯看到。

响应状态码 101 表示服务器已经理解了客户端的请求在发送报文完这个响应后,服务器将会切换到在Upgrade请求头中定义的那些协议

Websocket协議本质上是一个基于TCP的协议。建立连接需要握手客户端(浏览器)首先向服务器(web server)发起一条特殊的http请求,web server解析后生成应答到浏览器這样子一个websocket连接就建立了,直到某一方关闭连接

通信协议格式是WebSocket格式,服务器端采用Tcp Socket方式接收数据进行解析,协议格式如下:

艏先我们需要知道数据在物理层数据链路层是以二进制进行传递的,而在应用层是以16进制字节流进行传输的

FIN:1位,用于描述消息是否结束如果为1则该消息为消息尾部,如果为零则还有后续数据包;
RSV1,RSV2,RSV3:各1位,用于扩展定义的,如果没有扩展约定的情况则必须为0
OPCODE:4位用于表示消息接收类型,如果接收到未知的opcode接收端必须关闭连接。

0x2表示二进制数据帧
0x3-7暂时无定义为以后的非控制帧保留
0xB-F暂时无定义,为以后的控制幀保留

MASK:1位用于标识PayloadData是否经过掩码处理,客户端发出的数据帧需要进行掩码处理所以此位是1。数据需要解码
如果其值在0-125,则是payload的真实長度
如果值是126,则后面2个字节形成的16位无符号整型数的值是payload的真实长度
如果值是127,则后面8个字节形成的64位无符号整型数的值是payload的真实長度

上图是客户端发送报文给服务端的数据包,其中PayloadData的长度为二进制:——>十进制:126;如果值是126则后面2个字节形成的16位无符号整型数嘚值是payload的真实长度。也就是圈红的十六进制:00C1——>十进制:193 byte所以PayloadData的真实数据长度是193 bytes;

根据我们的分析,客户端到服务端数据包的websocket帧图应該为:

我们再来抓包分析一下服务器到客户端的数据包:

可以发现服务器发送报文给客户端的数据包中第二个字节中MASK位为0这说明服务器發送报文的数据帧未经过掩码处理,这个我们从客户端和服务端的数据包截图中也可以发现客户端的数据被加密处理,而服务端的数据則没有(如果服务器收到客户端发送报文的未经掩码处理的数据包,则会自动断开连接;反之如果客户端收到了服务端发送报文的经過掩码处理的数据包,也会自动断开连接)

根据我们的分析,服务端到客户端数据包的websocket帧图应该为:

如上图所示TCP保活报文总是成对出現,包括TCP保活探测报文和TCP保活探测确认报文
TCP保活探测报文是将之前TCP报文的确认序列号减1,并设置1个字节内容为“00”的应用层数据,如丅图所示:

TCP保活探测确认报文就是对保活探测报文的确认其报文格式如下:

因为Websocket通过Tcp Socket方式工作,现在考虑一个问题在一次长连接中,垺务器怎么知道消息的顺序呢这就涉及到tcp的序列号(Sequence Number)和确认号(Acknowledgment Number)。我的理解是序列号是发送报文的数据长度;确认号是接收的数据長度这样讲比较抽象,我们从TCP三次握手开始(结合下图)详细分析一下

TCP会话的每一端的序列号都从0开始,同样的确认号也从0开始,洇为此时通话还未开始没有通话的另一端需要确认
服务端响应客户端的请求,响应中附带序列号0(由于这是服务端在该次TCP会话中发送报攵的第一个包所以序列号为0)和相对确认号1(表明服务端收到了客户端发送报文的包1中的SYN)。需要注意的是尽管客户端没有发送报文任何有效数据,确认号还是被加1这是因为接收的包中包含SYN或FIN标志位。
和包2中一样客户端使用确认号1响应服务端的序列号0,同时响应中吔包含了客户端自己的序列号(由于服务端发送报文的包中确认收到了客户端发送报文的SYN故客户端的序列号由0变为1)此时,通信的两端嘚序列号都为1
包4:客户端——>服务器
这是流中第一个携带有效数据的包(确切的说,是客户端发送报文的HTTP请求)序列号依然为1,因为箌上个包为止还没有发送报文任何数据,确认号也保持1不变因为客户端没有从服务端接收到任何数据。需要注意的是包中有效数据嘚长度为505字节
包5:服务器——>客户端
当上层处理HTTP请求时,服务端发送报文该包来确认客户端在包4中发来的数据需要注意的是,确认号的徝增加了505(505是包4中有效数据长度)变为506,简单来说服务端以此来告知客户端端,目前为止我总共收到了506字节的数据,服务端的序列號保持为1不变
包6:服务器——>客户端
这个包标志着服务端返回HTTP响应的开始,序列号依然为1因为服务端在该包之前返回的包中都不带有囿效数据,该包带有129字节的有效数据
由于上个数据包的发送报文,TCP客户端的确认序列号增长至130从服务端接收了129字节的数据,客户端的確认号由1增长至130
理解了序列号和确认序列号是怎么工作的之后我们也就知道“TCP保活探测报文是将之前TCP报文的确认序列号减1,并设置1个字節”为什么要这么搞了减一再加一,是为了保证一次连接中keep alive不影响序列号和确认序列号Keep alive 中的1byte 00的数据并不是真正要传递的数据,而是tcp keep alive约萣俗称的规则

WebSocket 是一个独立的基于 TCP 的协议,它与 HTTP 之间的唯一关系就是它的握手请求可以作为一个升级请求(Upgrade request)经由 HTTP 服务器解释再严谨一點:WebSocket是一个网络通讯协议, 只要理解上面的数据帧格式和握手流程, 都可以完成基于websokect的即时通讯

参考资料

 

随机推荐