Python中对字节流/二进制流的操作:struct模块简易使用教程

前言

前段时间使用Python解析IDX文件格式的MNIST数据集,需要对二进制文件进行读取操作,其中我使用的是struct模块。查了网上挺多教程都写的挺好的,不过对新手不是很友好,所以我重新整理了一些笔记以供快速上手。

注:教程中以下四个名词同义:二进制流、二进制数组、字节流、字节数组

快速上手

在struct模块中,将一个整型数字、浮点型数字或字符流(字符数组)转换为字节流(字节数组)时,需要使用格式化字符串fmt告诉struct模块被转换的对象是什么类型,比如整型数字是'i',浮点型数字是'f',一个ascii码字符是's'。

def demo1():     
# 使用bin_buf = struct.pack(fmt, buf)将buf为二进制数组bin_buf     
# 使用buf = struct.unpack(fmt, bin_buf)将bin_buf二进制数组反转换回buf      
# 整型数 -> 二进制流     
buf1 = 256     
bin_buf1 = struct.pack('i', buf1) # 'i'代表'integer'     
ret1 = struct.unpack('i', bin_buf1)    
print bin_buf1, '  <====>  ', ret1    
# 浮点数 -> 二进制流     
buf2 = 3.1415     
bin_buf2 = struct.pack('d', buf2) # 'd'代表'double'     
ret2 = struct.unpack('d', bin_buf2)    
print bin_buf2, '  <====>  ', ret2    
# 字符串 -> 二进制流     
buf3 = 'Hello World'    
bin_buf3 = struct.pack('11s', buf3) # '11s'代表长度为11的'string'字符数组     
ret3 = struct.unpack('11s', bin_buf3)    
print bin_buf3, '  <====>  ', ret3    
# 结构体 -> 二进制流     
# 假设有一个结构体     
# struct header {     
#   int buf1;     
#   double buf2;     
#   char buf3[11];     
# }     
bin_buf_all = struct.pack('id11s', buf1, buf2, buf3)     
ret_all = struct.unpack('id11s', bin_buf_all)    
print bin_buf_all,'  <====>  ', ret_all

输出结果如下:

demo1输出结果

详解struct模块

主要函数

struct模块中最重要的三个函数是pack(), unpack(), calcsize()

# 按照给定的格式化字符串,把数据封装成字符串(实际上是类似于c结构体的字节流)string = struct.pack(fmt, v1, v2, ...)# 按照给定的格式(fmt)解析字节流string,返回解析出来的 tupletuple = unpack(fmt, string)# 计算给定的格式(fmt)占用多少字节的内存offset = calcsize(fmt)

struct中的格式化字符串

struct中支持的格式如下表:

Format

C Type

Python

字节数

x

pad byte

no value

1

c

char

string of length 1

1

b

signed char

integer

1

B

unsigned char

integer

1

?

_Bool

bool

1

h

short

integer

2

H

unsigned short

integer

2

i

int

integer

4

I

unsigned int

integer or lon

4

l

long

integer

4

L

unsigned long

long

4

q

long long

long

8

Q

unsigned long long

long

8

f

float

float

4

d

double

float

8

s

char[]

string

1

p

char[]

string

1

P

void *

long

注1:q和Q只在机器支持64位操作时有意思 注2:每个格式前可以有一个数字,表示个数 注3:s格式表示一定长度的字符串,4s表示长度为4的字符串,但是p表示的是pascal字符串 注4:P用来转换一个指针,其长度和机器字长相关 注5:最后一个可以用来表示指针类型的,占4个字节

为了同c中的结构体交换数据,还要考虑有的c或c++编译器使用了字节对齐,通常是以4个字节为单位的32位系统,故而struct根据本地机器字节顺序转换.可以用格式中的第一个字符来改变对齐方式.定义如下:

Character

Byte order

Size and alignment

@

native

native 凑够4个字节

=

native

standard 按原字节数

<

little-endian

standard 按原字节数

>

big-endian

standard 按原字节数

!

network (= big-endian)

standard 按原字节数

使用方法是放在fmt的第一个位置,就像'@5s6sif'

参考

[1] Python使用struct处理二进制(Python使用struct处理二进制 - Gala - 博客园 http://www.cnblogs.com/gala/archive/2011/09/22/2184801.html)

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-11-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Vamei实验室

Python标准库01 正则表达式 (re包)

我将从正则表达式开始讲Python的标准库。正则表达式是文字处理中常用的工具,而且不需要额外的系统知识或经验。我们会把系统相关的包放在后面讲解。 正则表达式(r...

1869
来自专栏深度学习思考者

C语言标准工具库函数库:stdlib.h

  对于一些特殊的操作,C语言提供了标准工具库函数库,其中包括可以实现数值转换,内存分配,随机数操作以及字符串转换等函数。本篇博文一一来讲述这个函数库中的那些函...

1848
来自专栏程序员互动联盟

【php基础】php的几种排序算法的比较

这里列出了几种PHP的排序算法的时间比较的结果,,希望对大家有所帮助 /* * php 四种排序算法的时间与内置的sort排序比较 * 3000个元素,四种...

26013
来自专栏calmound

String to Integer (atoi)

问题:将字符窜转换成数字 分析:感觉题目不难,但是细节很多,容易想不到 1.数字前面有空格 如s=“    123456” 2.数字前出现了不必要或多于的字符导...

2578
来自专栏机器学习算法与Python学习

Python基础语法(2)

一、控制流 1. if 语句 i = 10 n = int(raw_input("enter a number:")) if n == i: pri...

49813
来自专栏大数据挖掘DT机器学习

Python爬虫(urllib2+bs4)数据采集:分析找出百度贴吧谁是水贴王

问题描述 ? 对于这个题目, 书上给出了三种思路 第一种 : 先遍历一次所有的帖子, 统计出 <发帖人, 发帖次数>, 然后在遍历一次映射, 找出发帖次数超...

3165
来自专栏desperate633

LintCode 二进制中有多少个1题目分析

这种方法速度比较快,其运算次数与输入n的大小无关,只与n中1的个数有关。如果n的二进制表示中有k个1,那么这个方法只需要循环k次即可。其原理是不断清除n的二进制...

441
来自专栏编程

python中的变量

变量与数据类型 变量 编程语言中为了能够更好的处理数据,都需要使用一些变量。Python 语言的变量可以是各种不同的数据类型,使用变量的时候不需要声明直接使用就...

1670
来自专栏决胜机器学习

《Redis设计与实现》读书笔记(八) ——Redis列表对象和哈希对象实现原理

《Redis设计与实现》读书笔记(八) ——Redis列表对象和哈希对象实现原理 (原创内容,转载请注明来源,谢谢) 一、列表对象 列表对象的编码可以是zipl...

3487
来自专栏数据结构与算法

P3374 【模板】树状数组 1 单点修改与区间查询

题目描述 如题,已知一个数列,你需要进行下面两种操作: 1.将某一个数加上x 2.求出某区间每一个数的和 输入输出格式 输入格式: 第一行包含两个整数N...

2767

扫描关注云+社区