一、开篇
2020年,你又立了什么新的 Flag?新一年,我为大家准备 23 个非常优秀的 Python 实践技巧。希望这些诀窍能在实际工作中帮助大家,并且学到一些有用的知识。
二、技巧篇
1、检查并使用满足需求的最小Python版本
你可以在代码中检查Python 版本,以确保你的代码使用者没有使用不兼容的版本运行脚本。使用以下代码进行简单的检查:
import sys
if not sys.version_info > (2, 7):
print('当前Python版本低于2.7')
elif (2, 7) <= sys.version_info <= (3, 8):
print('当前Python版本大于或等于2.7但小于3.8')
else:
print('其它版本')
2、列表解析式
列表解析式可以用来替换通过循环来填充列表的丑陋方法,其基本语法是:
[ expression for item in list if conditional ]
一个非常基础的例子,用于生成包含连续数字的列表:
mylist = [i for i in range(10)]
print(mylist)
# [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
由于可以使用表达式,因此可以通过更复杂的数学方法来生成列表:
squares = [x**2 for x in range(10)]
print(squares)
# [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
甚至也可以调用外部函数:
def some_function(a):
return (a + 5) / 2
my_function = [some_function(i) for i in range(10)]
print(my_function)
# [2, 3, 3, 4, 4, 5, 5, 6, 6, 7]
最后,也可以用if作为生成条件来对列表进行过滤。在下面的例子中,只有偶数被保留:
filtered = [i for i in range(20) if i%2==0]
print(filtered)
# [0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
3、检查对象的内存占用情况
通过sys.getsizeof(object)命令可以查看任何对象的内存使用情况:
import sys
mylist=range(0, 1000000)
print(sys.getsizeof(mylist))
因为range函数返回的是一个类对象,这个类对象表现为一个列表。因此使用range函数比使用实际的包含一万个数字的列表要更加节省内存。
4、'==' VS 'is'用法
等于(==)和 is 是 Python 中对象比较常用的两种方式。简单来说,'=='操作符比较对象之间的值是否相等,比如下面的例子,表示比较变量 a 和 b 所指向的值是否相等。
a == b
而'is'操作符比较的是对象的身份标识是否相等,即它们是否是同一个对象,是否指向同一个内存地址。在 Python 中,每个对象的身份标识,都能通过函数 id(object) 获得。因此,'is'操作符,相当于比较对象之间的 ID 是否相等。
a = 10
b = 10
a == b
True
id(a)
4427562448
id(b)
4427562448
a is b
True
不过,需要注意,对于整型数字来说,以上a is b为 True 的结论,只适用于 -5 到 256 范围内的数字。比如下面这个例子:
a = 257
b = 257
a == b
True
id(a)
4473417552
id(b)
4473417584
a is b
False
这里我们把 257 同时赋值给了 a 和 b,可以看到a == b仍然返回 True,因为 a 和 b 指向的值相等。但奇怪的是,a is b返回了 false,并且我们发现,a 和 b 的 ID 不一样了,这是为什么呢?
这是由于Python出于对性能优化的考虑,Python 内部会对 -5 到 256 的整型维持一个数组,起到一个缓存的作用。这样,每次你试图创建一个 -5 到 256 范围内的整型数字时,Python 都会从这个数组中返回相对应的引用,而不是重新开辟一块新的内存空间。但是,如果整型数字超过了这个范围,比如上述例子中的 257,Python 则会为两个 257 开辟两块内存区域,因此 a 和 b 的 ID 不一样,a is b就会返回 False 了。
通常来说,在实际工作中,当我们比较变量时,使用'=='的次数会比'is'多得多,因为我们一般更关心两个变量的值,而不是它们内部的存储地址。但是,当我们比较一个变量与一个单例(singleton)时,通常会使用'is'。
5、返回多个值
Pyhon中的函数都可以返回多个变量,而不需要字典,列表或者类作为返回对象。方法如下:
def get_user(id):
# fetch user from database
# ....
return name, birthdate
name, birthdate = get_user(4)
对于有限数量的返回值,这是可以的。但是任何超过3个值的内容都应该放到一个(data)类中。
6、使用 data 类
从3.7版本开始,Python提供了 data 类。与常规类或其他替代方法(如返回多个值或字典)相比,有以下几个优点:
一个data类的例子如下:
from dataclasses import dataclass
@dataclass
class Card:
name: str
sex: str
card = Card("MikeZhou", "Man")
print(card.name)
# 'Mikezhou'
print(card.sex)
# 'Man'
print(card)
详细教程参见:
https://realpython.com/python-data-classes/
7、字典合并(Python 3.5+)
从Python 3.5开始,字典的合并变得更简单了:
dict1 = { 'a': 1, 'b': 2 }
dict2 = { 'b': 3, 'c': 4 }
merged = { **dict1, **dict2 }
print (merged)
# {'a': 1, 'b': 3, 'c': 4}
8、将字符串转化为标题格式
在标题格式中,非介词的首字母会大写。可以通过.title()方法实现:
mystring = "awesome python tricks"
print(mystring.title())
'Awesome Python Tricks'
9、将列表中的字符串合并到一起
从列表中创建字符串,并在两个单词间插入空格:
mylist = ['mikezhou_talk', '中文名是:', '测试开发技术']
mystring = " ".join(mylist)
print(mystring)
# 'mikezhou_talk 中文名是: 测试开发技术'
也许你会疑惑,为什么不使用mylist.join(" ")呢?归根结底,String.join()函数不仅可以连接列表,还可以连接任何可迭代的列表。将它放在String中会阻止在多个位置实现相同的功能。
10、Emoji表情
这些表情具有很强的表达能力,能给人留下深刻印象。更重要的是,这在分析社交媒体数据时尤其有用。
首先通过以下命令安装emoji模块:
pip3 install emoji
可以按照以下方法使用表情:
import emoji
result = emoji.emojize('Python is :thumbs_up:')
print(result)
# 'Python is ?'
# You can also reverse this:
result = emoji.demojize('Python is ?')
print(result)
# 'Python is :thumbs_up:'
更多复杂的例子以及文档,参见:
https://pypi.org/project/emoji/
11、翻转字符串和列表
可以用切片操作来翻转列表或字符串,将step设置为负值即可实现:
revstring = "abcdefg"[::-1]
print(revstring)
# 'gfedcba'
revarray = [1, 2, 3, 4, 5][::-1]
print(revarray)
# [5, 4, 3, 2, 1]
12、图片显示
可以通过Pillow模块来显示图片,首先安装python图片库:
pip3 install Pillow
然后下载你要显示的图片,并重命名。然后可以通过以下命令来显示图片:
from PIL import Image
im = Image.open("mikezhou.jpg")
im.show()
print(im.format, im.size, im.mode)
# JPEG (1920, 1357) RGB
Pillow的功能远不止显示图片。它可以对图片进行分析,调整大小,滤波,增强,变形等等。更多资料详见文档:
https://pillow.readthedocs.io/en/stable/。
13、从列表或字符串中获取唯一元素
通过set()函数可以将列表或字符串转换为集合,集合中的不含重复元素:
mylist = [1, 1, 2, 3, 4, 5, 5, 5, 6, 6]
print (set(mylist))
# {1, 2, 3, 4, 5, 6}
print (set("aaabbbcccdddeeefff"))
# {'a', 'b', 'c', 'd', 'e', 'f'}
14、找出最常出现的值
查找列表或字符串中最常出现的值:
test = [1, 2, 3, 4, 2, 2, 3, 1, 4, 4, 4]
print(max(set(test), key = test.count))
# 4
你可以尝试自行理解上述代码。好吧,也许你并没有尝试。上述代码的工作原理如下:
因此在上面的这行语句中我们首先找出了test列表的所有独特值,即{1,2,3,4}。接着,将.count函数应用于set中的每个值,得到一个数量列表,然后通过max找出数量最大的值。
15、创建进度条
可以自行创建进度条,但也可以通过progress模块来快速创建:
pip3 install progress
然后通过以下代码来创建进度条:
from progress.bar import Bar
bar = Bar('Processing', max=20)
for i in range(20):
# Do some work
bar.next()
bar.finish()
16、快速创建web服务器
您可以快速启动web服务器,来提供当前工作目录的内容:
python3 -m http.server
如果您想与同事共享一些内容,或者想测试一个简单的HTML站点,这是非常有用的。
17、用于条件赋值的三元运算符
这是另一种使你代码变得简洁,同时保持可读性的方法:
[on_true] if [expression] else [on_false]
一个简单的例子如下:
x = "Success!" if (y == 2) else "Failed!"
18、统计元素的出现次数
可以使用Collections依赖包中的Counter方法来获得一个包含列表中所有惟一元素计数的字典:
from collections import Counter
mylist = [1, 1, 2, 3, 4, 5, 5, 5, 6, 6]
c = Counter(mylist)
print(c)
# Counter({1: 2, 2: 1, 3: 1, 4: 1, 5: 3, 6: 2})
print(Counter("aaaaabbbbbccccc"))
# Counter({'a': 5, 'b': 5, 'c': 5})
19、加入色彩
通过 Colorama 依赖包,可以在终端中添加更多色彩:
from colorama import Fore, Back, Style
print(Fore.RED + 'some red text')
print(Back.GREEN + 'and with a green background')
print(Style.DIM + 'and in dim text')
print(Style.RESET_ALL)
print('back to normal now')
关于Colorama依赖包的更多信息,参见:
https://pypi.org/project/colorama/
20、日期处理
python-dateutil模块为标准的datetime模块提供了强大的扩展。首先安装该模块:
pip3 install python-dateutil
你可以用这个库做很多很酷的事情。我讲把我认为特别有用的一个功能作为示例:日志文件中日期的模糊解析等。如下:
from dateutil.parser import parse
logline = 'INFO 2020-01-01T00:00:01 Happy new year, human.'
timestamp = parse(log_line, fuzzy=True)
print(timestamp)
# 2020-01-01 00:00:01
只要记住,如果datatime不具备某个功能,那datautil一定有该功能,datautil是datatime功能的延续。
21、通过chardet检测字符集合
可以使用chardet模块来检测文件中的字符集合。这在分析大量随机文本时非常有用。安装chardet模块:
pip install chardet
现在你有了一个额外的命令行工具chardetect,它可以这样使用:
chardetect somefile.txt
somefile.txt: ascii with confidence 1.0
你也可以通过编程的方式来使用这个依赖包,详见文档:
https://chardet.readthedocs.io/en/latest/usage.html
22、用 cProfile 进行性能分析
日常工作中,我们常常会遇到这样的问题:在线上,产品的某个功能模块效率低下,延迟(latency)高,占用的资源多,但却不知道是哪里出了问题。
如果能对代码的每个部分进行动态的分析,比如准确计算出每个模块消耗的时间等。这样就可以知道程序的瓶颈所在,从而对其进行修正或优化。在 Python 中,这些需求用 cProfile 就可以实现。
举个例子,比如我想计算斐波拉契数列,运用递归思想,我们很容易就能写出下面这样的代码:
def fib(n):
if n == 0:
return 0
elif n == 1:
return 1
else:
return fib(n-1) + fib(n-2)
def fib_seq(n):
res = []
if n > 0:
res.extend(fib_seq(n-1))
res.append(fib(n))
return res
fib_seq(30)
接下来,我想要测试一下这段代码总的效率以及各个部分的效率。那么,我就只需在开头导入 cProfile 这个模块,并且在最后运行 cProfile.run() 就可以了:
import cProfile
# def fib(n)
# def fib_seq(n):
cProfile.run('fib_seq(30)')
或者更简单一些,直接在运行脚本的命令中,加入选项“-m cProfile”也很方便:
python3 -m cProfile xxx.py
运行完毕后,我们可以看到下面这个输出界面:
Python 的 assert 语句,可以说是一个 debug 的好工具,主要用于测试一个条件是否满足。如果测试的条件满足,则什么也不做,相当于执行了 pass 语句;如果测试条件不满足,便会抛出异常 AssertionError,并返回具体的错误信息。
比如下面这个例子:
assert 1 == 2, 'assertion is wrong'
它相当于下面这两行代码:
if __debug__:
if not expression1: raise AssertionError(expression2)
这里的__debug__是一个常数。如果 Python 程序执行时附带了-O这个选项,比如Python test.py -O,那么程序中所有的 assert 语句都会失效,常数__debug__便为 False;反之__debug__则为 True。
再来看一个例子:
def apply_discount(price, discount):
updated_price = price * (1 - discount)
assert 0 <= updated_price <= price, 'price should be greater or equal to 0 and less or equal to original price'
return updated_price
我们加入了 assert 语句,规定销售数目必须大于 0,这样就可以防止后台计算那些还未开卖的课程的价格。
总的来说,assert 在程序中的作用,是对代码做一些 internal 的 self-check。使用 assert,就表示你很确定。这个条件一定会发生或者一定不会发生。如果你的程序没有 bug,那么 assert 永远不会抛出异常;而它一旦抛出了异常,你就知道程序存在问题了,并且可以根据错误信息,很容易定位出错误的源头。
以上就是为大家整理的23个Python常用技巧,希望这些技巧能帮助你在新的一年里有个不错的开始。
无论是对于 Python 这门语言,还是其他语言,或是计算机的其他领域,我认为实践永远是至关重要的。计算机科学是一门偏向工程的学科,所以一定要多实践,多写代码,多交流,多思考。
希望这篇文章能帮到你!更多干货文章请关注我们。