为了抓取弹幕，你需要知道的一些二进制数据常识
摄影：产品经理
春暖花开
文本不会讲具体某个网站的弹幕抓取方法。而是描述抓取到二进制的弹幕信息以后，如何进行处理。
不少直播网站会使用 websockets 来传输弹幕，当我们使用某种方式抓取到弹幕以后，你看到的弹幕可能是这样的：
b'\x00\x00\x00\x1a\x00\x10\x00\x01\x00\x00\x00\x08\x00\x00\x00\x01{"code":0}'
b'\x00\x00\x00\x14\x00\x10\x00\x01\x00\x00\x00\x03\x00\x00\x00\x01\x00\x00\x19\xfd'
b'\x00\x00\x01\xed\x00\x10\x00\x02\x00\x00\x00\x05\x00\x00\x00\x00x\xda|R]k\xdc0\x10<(}\xe9S\x7f\xc3\x16\xfc\xa4\x9ce\xd9:\xeb\x1cLI\xda\x04B!\x94\x92\x06Z\x04B\x96t\xb1\x1a\x7f\x08Y\xf65\x84\xfc\xf7\xa2\xbb\x12(m#X\xa1\xdd\x19\xcd.\xcb\xacV\xaf\xde\xac\xde\xae\xe2y\x1d\xafGP\xbd\x86\n\xce>\xdc\\\xdd^\xdd|\x13\xe7g\xd7\xd7\x17_\xc4\xd7\xcf\x1f\xcfn.\xc4-\x01\x04Z\x06\t\xd5#X\rU^2\x04\xc1\x86\xce@\x05|.\x1b\xa2X\xc9gZ`\r\x08\xd4\xb8\x18\x0f\x15\x00\x82F\xaa\xfb;?\xceCToCpS\xc5S\x9eZ\xbcn\xf5\xd45k5\xf6<mv\x13O\xa5\nv\xb1\xe1\xe1\xc4u2\xf0t\n2X\xc5S\x82\xb3-\xde\xe2\x82\xa7\r5$\xc3f\xb7a\x86R\x85\x0b\xb2+p\xc9J\xac\ral[4<\xcd\x8a\xe5\xfb\\\xb6[\xf7i\xed\x86;@\xf0c\xee\x9d\x98}\xf7G\xef\xce.f\xdd\xd8\xce\xc68\x0e\xe0x\xda\x86\xbe;b\'\xd2\xb9\x13/\x87{5{o\x86\xc0S;h\xf3s\x1d\x19\xef\xed$"G\xb4\xb2\xdb\x89\xbdi\x16k\xf6u\x96\xb4\x0f\x8d\xb7\xfaX\x9dm\x9d!\x8a\x18u\xa8\xc4\x0e]^^\x90m\x8e0\xca1\xcap\x8cS\x82\x08\xca\xc9!\xfd\x1b\xc7\xa7\xc5\xcb\xf0\x06Q\xb4\xa1\x0em\xfe-N\x11E\xf4\xffp\xfe\xf2h\xe5\xcb\xe2\x89\x1cT;z1[]\x13\xb6a\x84\x16\x89\x9d\xc4`\xf6"nL\xa8q\x08\xd2\x0e\xc6\xd7Y"\xbd\x91b!\xc2\xea:\xc7\xe5s\xead\\\xea\xa1\x9a\x1c\xfe\x84\x07g\xea^N\xc1x\xe1\x8d\xec\x82\xed\x8d8\xb0\xdbq\xf6\xc9\xf3\xab\xce\xe0\xb7\xe7\x84\x1a\xbb1\x1a\xec\x1d;\xa7,+\xa3\xe5\xbaq2\xb2\x89~\xcc\xa2\xeb\x86\xc1\xf8\x832T\x05\x82\xbd\xb1wm\x80*c\x08\xa4\xd6\xe2\x88C\x85\x9f\x9e~\x05\x00\x00\xff\xff)b\xe55'遇到这些二进制数据，如何把它解析为人眼能够看得懂的内容呢？
对于第一个bytes 型的数据，你可能会这样操作：
>>> data = b'\x00\x00\x00\x1a\x00\x10\x00\x01\x00\x00\x00\x08\x00\x00\x00\x01{"code":0}'
>>> data[16:]
b'{"code":0}'
>>> data[16:].decode()
'{"code":0}'那第二条数据又应该怎么解析？第三条数据呢？第一条这个16是怎么来的呢？
为了解释这个问题，我们需要知道 Python 的struct 模块。这个模块可以使用Python的 bytes 型数据来表示 C 语言的结构体。
一般通过 websocket 传过来的弹幕，前面会有若干个字节作为头部数据，记录数据包的长度、头部长度、数据包的类型等等信息。
今天我们要作为例子的这个弹幕网站，它的弹幕头部格式如下：
I | H | H | I | I |
|---|---|---|---|---|
包体长度 | 头部长度 | 包体数据类型 | 操作符 | 序列 id |
这个头部对应的结构体为:
struct.Struct('>I2H2I')其中，>表示这是一个大端序，二进制高位在左边。I表示无符号整型数字，占4个字节，H 表示无符号短整型，占用2个字节。2H是HH的简化写法，类似的还有3I表示III以此类推。
什么叫做大端序和小端序呢？这是由 CPU 架构决定的一种二进制数据储存方式。我们现在的 X86电脑，是小端序。
有一个数字7，它的二进制数据为111只占用3位。但是当我们使用整型的时候，一般会使用4字节，也就是32位二进制位。于是数字7会写为：00000000 00000000 00000000 00000111。其中最左边的8位是高位。最右边的8位是低位。这就是大端序。
但数字7在我们的电脑上，真正储存为00000111 00000000 00000000 00000000。最左边是低位，最右边是高位。这就是小端序。
我们可以用struct模块来测试一下：
>>> struct.pack('>I', 7)
b'\x00\x00\x00\x07'
>>> struct.pack('<I', 7)
b'\x07\x00\x00\x00'这里返回的结果是十六进制，\x07表示十六进制的7.
看到这里，可能有同学会问，数字7本来用3位就能表示，为什么要搞个4字节32位？这不是浪费吗？
这是因为，当我们提前定义好数据的类型以后，就可以提前知道数据的长度。例如两个整型数100和67，他们各占用4字节，于是总长度是8字节。现在我把这两个数字都改了，改成3999和6785，两个数字都变大了。但是由于没有超过4字节能表示的最大范围，所以这两个数字占用的空间仍然是8字节。
回到我们开头说的弹幕网站。通过技术手段，我知道了它的头部有5个部分，分别用1个4直接无符号整数、两个无符号短整数、2个无符号整数表示。
所以我们可以提前构造头部的结构体，并知道头部的长度：
>>> head = struct.Struct('>I2H2I')
>>> head.size
16那么，对于第一种情况，我们先截取头部，并把它还原为数字：
>>> data = b'\x00\x00\x00\x1a\x00\x10\x00\x01\x00\x00\x00\x08\x00\x00\x00\x01{"code":0}'
>>> header = head.unpack_from(data[:head.size])
>>> header
(26, 16, 1, 8, 1)返回的元组中，第一个元素26表示包体长度为26个字节（包含头部），第三个元素1表示数据类型为未压缩的版本。所以我们直接获取数据的第16-26字节即可：
>>> data = b'\x00\x00\x00\x1a\x00\x10\x00\x01\x00\x00\x00\x08\x00\x00\x00\x01{"code":0}'
>>> data[16: 26]
b'{"code":0}'同理。我们来看一下第二段数据：
>>> data = b'\x00\x00\x00\x14\x00\x10\x00\x01\x00\x00\x00\x03\x00\x00\x00\x01\x00\x00\x19\xfd'
>>> header = head.unpack_from(data)
>>> header
(20, 16, 1, 3, 1)
>>> value_bytes = data[16: 20]
>>> value_bytes
b'\x00\x00\x19\xfd'
>>> int_value = int.from_bytes(value_bytes, 'big')
>>> int_value
6653对头部解包以后，可以知道整个包体长度是20，那么获取第16到20字节的数据。这个数据是被转为 bytes 型数据的整数，所以需要把它重新转回int 型。由于数据是大端储存，所以代码需要写为int.from_bytes(value_bytes, 'big').
这里为什么我知道需要把这个数据转成整数呢？这是因为头部里面第4位数字3表示这条消息是当前视频的热度，就是一个数字。
第三段就留做作业给大家来解决了。给一个提示：解析出头部以后，你会发现头部的第3位对应数字2，表示后面的数据是经过压缩的。你可以使用 Python 的zlib。decompress(data[16: 数据包长度])对它进行解压缩。解压缩以后，你会惊讶地发现本文是用哪个网站的弹幕数据来进行举例。