黏包

黏包

最近一直再看python的网络编程,黏包问题是TCP协议所独有的一种问题,自己平时也有些理解方面的不清晰,所以我的第一篇笔记就从它开始吧。
首先是为什么会出现黏包现象?
只有TCP协议中才会出现黏包现象,因为TCP协议是面向流的协议,在发送的数据传输过程中还有缓存机制来避免数据丢失,因此在连续发送小数据时或者接收数据的大小大于规定数值的时候会出现黏包现象。而黏包最本质的原因就是接收方不知道接收的数据包的大小。

服务端的代码

import socket
read = socket.socket()
read.bind(('127.0.0.1',8090))
read.listen()
conn,addr=read.accept()
conn.send(b'ipconfig')
ret=conn.recv(1024).decode('gbk')
print(ret)
conn.close()
read.close()

服务器端代码

import socket
import subprocess
sk=socket.socket()
sk.connect(('127.0.0.1',8090))
cmd=sk.recv(1024).decode('gbk')
ret=subprocess.Popen(cmd,shell=True,
                     stdout=subprocess.PIPE,
                     stderr=subprocess.PIPE)
sk.send(ret.stdout.read())
sk.send(ret.stderr.read())

上面代码用pycharm执行之后,和命令行比较之后就明白其实接受的数据并不全,但是得益于TCP协议的特性,未接受完的数据会在下一次接收时接收到,并不会丢失,但是也因此带来了问题,和下次需要接收的数据连到了一起。

  • 当然上面只是黏包的一种情况

黏包的解决方法

有问题自然就会有解决方法,既然黏包的问题本质是我们不知道要接收的数据包的大小,那么解决问题自然就是首先把我们要发送的数据包大小发送给接收端就好。这个方法可以解决黏包问题,当我们要发送较大的数据时,一次性不可能把所有的数据都接收过来,所以就要先设置一个配置项,每次接受固定长度,而一旦我们知道了需要接受的数据总量,那么依据TCP协议的特性,我们只要设置好接收的filesize,保证最后接受到的数据大小符合发送的数据,那么就不会造成数据的丢失。

  • 当然这个方法也有一定的坏处,因为报头的发送与确认也要浪费一次交互的机会,这就让我们的程序效率降低了一些

解决方法的升级版

得益于struct模块,我们可以把任意长度的报头,转换成四个字节大小的信息,这样我们在发送报头数据的时候就不要事先发送报头的长度,因为接收方知道经过struct模块的转换,报头的长度变成了固定的四个字节。
而struct模块也暂时只用得到pack与unpack的方法。这样就省去了一次交互的机会,让我们的程序效率变得更高。

实例代码

下面就是一个应用了升级版的解决方法的传输文件的示例
服务器端

#实现一个大文件的上传或下载
#配置文件 ip地址 端口号
import json
import socket
import struct
cbc=socket.socket()
cbc.bind(('127.0.0.1',9000))
cbc.listen()
buffer=2048#此处的配置文件尽量不要太大
conn,addr=cbc.accept()
#接收报头长度
head_len=conn.recv(4)
head_len=struct.unpack('i',head_len)[0]#此处unpack之后是元组格式的信息
json_head=conn.recv(head_len).decode('utf-8')
head=json.loads(json_head)
filesize=head['filesize']
with open(head['filename'],'wb') as f:#这边就直接接收到当前路径下
    while filesize:
        if filesize>=buffer:
            content=conn.recv(buffer)
            f.write(content)
            filesize-=buffer
        else:
            content=conn.recv(filesize)
            f.write(content)
            break
conn.close()
cbc.close()

客户端代码

import os
import json
import socket
import struct
cbc=socket.socket()
cbc.connect(('127.0.0.1',9000))
buffer=2048#定制配置文件

#发送文件
#定制报头
head={'filepath':r'发送文件的路径',
      'filename':r'文件的名称,注意加上后缀',
      'filesize':None
}
file_path=os.path.join(head['filepath'],head['filename'])
filesize=os.path.getsize(os.path.join(head['filepath'],head['filename']))

head['filesize']=filesize
json_head=json.dumps(head)#字典转成字符串
bytes_head=json_head.encode('utf-8')#字符串转成二进制

#计算head的长度bytes
head_len=len(bytes_head)
pack_len=struct.pack('i',head_len)#struct打包成四个字节

#发送包头
cbc.send(pack_len)#先发报头长度,固定的四个字节
cbc.send(bytes_head)#再发bytes类型的报头
with open(file_path,'rb')as f:
    while filesize:
        if filesize>=buffer:
             content=f.read(buffer)#每次读取的文件大小
             cbc.send(content)
             filesize-=buffer
        else:
            content=f.read(filesize)
            cbc.send(content)
            break
cbc.close()

这样就解决了黏包问题

一些废话

俗话说,万事开头难,学习了python一段时间后,我才迟迟的开始动笔写博客,一方面也对自己的学习过程有个交代,另一方面也让自己的知识更加巩固一些。
而今天的学习我本以为是没有问题的,但是在写博客的时候我还是遇到了许多问题,说明每天的学习需要巩固,而博客也恰好提供给我这样一个平台,让我找到自己的问题所在。
路遥知马力,日久见人心,我也希望我自己的博客能够坚持下去,发现我自己对于技术的本心。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,941评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,397评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,345评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,851评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,868评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,688评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,414评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,319评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,775评论 1 315
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,945评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,096评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,789评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,437评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,993评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,107评论 1 271
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,308评论 3 372
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,037评论 2 355

推荐阅读更多精彩内容

  • 1、TCP为什么需要3次握手,4次断开? “三次握手”的目的是“为了防止已失效的连接请求报文段突然又传送到了服务端...
    杰伦哎呦哎呦阅读 3,479评论 0 6
  • 当 app 和服务器进行通信的时候,大多数情况下,都是采用 HTTP 协议。HTTP 最初是为 web 浏览器而定...
    Flysss1219阅读 1,270评论 0 4
  • 原文地址:RFC3550 RTP 中文版 英文版原文:RFC3550英文版 - RTP: A Transport ...
    云上听风阅读 13,121评论 0 13
  • 文章首发于个人blog欢迎指正补充,可联系lionsom_lin@qq.com原文地址:《网络是怎样连接的》阅读整...
    lionsom_lin阅读 14,154评论 6 31
  • 尽管是倦了,累了 可它苍老的身姿以及它那逐渐泛 黄的叶子 扔彰显得那样的威严慈祥。 时间的...
    深巷伴雨眠阅读 215评论 0 0