10分钟学会Python函数基础知识，赶快收藏！

一、函数基础

简单地说，一个函数就是一组Python语句的组合，它们可以在程序中运行一次或多次运行。Python中的函数在其他语言中也叫做过程或子例程，那么这些被包装起来的语句通过一个函数名称来调用。

有了函数，我们可以在很大程度上减少复制及粘贴代码的次数了(相信很多人在刚开始时都有这样的体验)。我们可以把相同的代码可以提炼出来做成一个函数，在需要的地方只需要调用即可。那么，这样就提高了代码的复用率了，整体代码看起来比较简练，没有那么臃肿了。

函数在Python中是最基本的程序结构，用来最大化地让我们的代码进行复用;与此同时，函数可以把一个错综复杂的系统分割为可管理的多个部分，简化编程、代码复用。

接下来我们看看什么是函数，及函数该如何定义。有两种方式可以进行函数的定义，分别是def及lambda关键字。

1. 函数定义

先总结一下为什么要使用函数?

1.代码复用最大化及最小化冗余代码;

过程分解(拆解)。把一个复杂的任务拆解为多个小任务。

函数定义的语法为：

根据上面定义，可以简单地描述为：Python中的函数是具有0个或多个参数，具有若干行语句并且具有返回值(返回值可有可无)的一个语句块(注意缩进)。

那么我们就定义一个比较简单的函数，该函数没有参数，进入ipython交互式环境：

调用(执行)该函数：

我们发现hello()函数并没有return语句，在Python中，如果没有显式的执行return语句，那么函数的返回值默认为None。

我们说过，定义函数有两种形式，另外一种形式是使用lambda来定义。使用lambda定义的函数是匿名函数，这个我们在后面的内容进行讲解，这里暂且不表。

二、函数参数

定义函数的时候，我们把参数的名字和位置确定下来，函数的接口定义就完成了。对于函数的调用者来说，只需要知道如何传递正确的参数，以及函数将返回什么样的值就够了，函数内部的复杂的逻辑被封装起来，调用者无需了解。小编推荐一个学Python的学习裙【五八八，零九零，九四二】,无论你是大牛还是小白，是想转行还是想入行都可以来了解一起进步一起学习！裙内有很多干货和技术分享！Python的函数定义非常简单，但灵活度却非常大。除了正常定义的必选参数外，还可以使用默认参数、可变参数和关键字参数，使得函数定义出来的接口，不但能处理复杂的参数，还可以简化调用者的代码。

1. 默认参数

默认参数使得API简洁，但不失灵活性。当一个参数有默认值时，调用时如果不传递此参数时，会使用默认值。

默认参数有一个坑，就是非默认参数要放到默认参数的前面(不然Python的解释器会报语法错误)。允许有多个默认参数，但默认参数需要放在参数列表的最后面。

此函数有问题。(函数中的形参是全局变量?lst在append函数中叫lst，但在全局作用域中，我们不知道lst具体叫什么名字。)

修改之后的函数为：

通常来说，当默认参数是可变的时候，需要特别注意作用域的问题，我们需要上述的技巧(不可变的数据类型是值传递，可变的数据类型是引用传递。)。目前可变的对象为list，dict，set，bytearray。

默认参数很有用，但使用不当，也会掉坑里。默认参数有个最大的坑，演示如下：

当我们正常调用时，结果似乎不错，

当我们使用默认参数调用时，一开始结果也是对的，

但是，再次调用add_end()时，结果就不对了，

原因解释如下：

Python函数在定义的时候，默认参数L的值就被计算出来了，即[]，因为默认参数L也是一个变量，它指向对象[]，每次调用该函数，如果改变了L的内容，则下次调用时，默认参数的内容就变了，不再是函数定义时的[]了。

所以，定义默认参数要牢记一点：默认参数必须指向不变对象!

要修改上面的例子，我们可以用None这个不变对象来实现，

为什么要设计str、None这样的不变对象呢?因为不变对象一旦创建，对象内部的数据就不能修改，这样就减少了由于修改数据导致的错误。此外，由于对象不变，多任务环境下同时读取对象不需要加锁，同时读一点问题都没有。我们在编写程序时，如果可以设计一个不变对象，那就尽量设计成不变对象。

2. 位置参数

我们先写一个计算x^2的函数：

对于power(x)函数，参数x就是一个位置参数。当我们调用power函数时，必须传入有且仅有的一个参数x：

现在，如果我们要计算x^3怎么办呢?可以再定义一个power3函数，但是如果要计算x^4、x^5、x^n，怎么办?我们不可能定义无限多个函数，我们可以把power(x)修改为power(x, n)，用来计算x^n，说写就写：

3. 关键字参数

可变参数允许我们传入0个或任意个参数，这些可变参数在函数调用时自动组装为一个tuple。而关键字参数允许你传入0个或任意个含参数名的参数，这些关键字参数在函数内部自动组装为一个dict。示例如下：

函数person除了必选参数name和age外，还接受关键字参数kwargs。在调用该函数时，可以只传入必选参数：

也可以传入任意个数的关键字参数：

关键字参数有什么用?它可以扩展函数的功能。比如，在person函数里，我们保证能接收到name和age这两个参数，但是，如果调用者愿意提供更多的参数，我们也能收到。试想你正在做一个用户注册的功能，除了用户名和年龄是必填项外，其他都是可选项，利用关键字参数来定义这个函数就能满足注册的需求。

和可变参数类似，也可以先组装出一个dict，然后，把该dict转换为关键字参数传进去：

4. 位置参数和关键字参数

位置参数和关键字参数是函数调用时的概念。

当默认参数和关键字参数结合起来用的时候，很有用。

关键字参数必须写在位置参数之后，否则会抛出语法错误。

位置参数和关键字参数可以共存，但是关键字参数必须写到位置参数之后。

5. 可变位置参数

可变位置参数用*定义，在函数体内，可变位置参数是一个元组。

可变位置参数。

在python的函数中，还可以定义可变参数。可变参数就是传入的参数个数是可变的。

6. 可变关键字参数

可变关键字参数使用**定义，在函数体内，可变关键字参数是一个字典。可变关键字参数的key都是字符串，并且符合标识符定义规范。

可变位置参数只能以位置参数的形式调用

可变关键字参数只能以关键字参数的形式调用

可变位置参数必须在可变关键字参数之前

可变参数后置

可变参数不和默认参数一起出现

7. 参数组合

在Python中定义函数，可以用必选参数、默认参数、可变参数和关键字参数，这4种参数都可以一起使用，或者只用其中某些，但是请注意，参数定义的顺序必须是： 必选参数、默认参数、可变参数和关键字参数

比如定义一个函数，包含上述4种参数：

在函数调用的时候，Python解释器自动按照参数位置和参数名把对应的参数传进去。

最神奇的是通过一个tuple和dict，我们也可以调用该函数：

所以，对于任意函数，都可以通过类似func(*args, **kwargs)的形式调用它，无论它的参数是如何定义的。

8. 参数解构

参数解构发生在函数调用时，可变参数发生函数定义的时候。参数解构分为两种形式，一种是位置参数解构，另一种是关键字参数解构。

参数结构的两种形式：

位置参数解构，使用一个星号。解构的对象为可迭代对象，解构的结果为位置参数。

关键字参数解构，使用两个星号。解构的对象为字典，解构的结果为关键字参数。

位置参数解构的一个例子：

接下来看字典解构的例子：

参数解构发生在函数调用时。解构的时候，线性结构的解构是位置参数，字典解构是关键字参数。

传参的顺序：位置参数，线性结构解构;关键字参数，字典解构。尽量的少的同时使用两种解构，除非你真的知道在做什么。

9. 参数槽(keyword-only参数)

Python3中引入的。

如果要强制传入的参数为关键字参数：

参数槽通常和默认参数搭配使用。

几个例子：

参数槽之坑：

1.*之后必须有参数

2.非命名参数有默认值时，命名参数可以没有默认值

3.默认参数应该在每段参数的最后

使用参数槽时，不能使用可变位置参数，可变关键之参数必须放在命名参数之后

三、高级用法

1. 递归函数

在函数内部，可以调用其他函数。如果一个函数在内部调用自身本身，这个函数就是递归函数。

递归函数

使用递归函数的优点是逻辑简单清晰，缺点是过深的调用会导致栈溢出。

针对尾递归优化的语言可以通过尾递归防止栈溢出。尾递归事实上和循环是等价的，没有循环语句的编程语言只能通过尾递归实现循环。

2. 匿名函数 lambda

python 使用 lambda 来创建匿名函数。

lambda只是一个表达式，函数体比def简单很多。

lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。

lambda函数拥有自己的名字空间，且不能访问自有参数列表之外或全局名字空间里的参数。

虽然lambda函数看起来只能写一行，却不等同于C或C++的内联函数，后者的目的是调用小函数时不占用栈内存从而增加运行效率。

实例展示

3. Python函数中的多态

一个操作的意义取决于被操作对象的类型：

四、总结

Python的函数具有非常灵活的参数形态，既可以实现简单的调用，又可以传入非常复杂的参数。

默认参数一定要用不可变对象，如果是可变对象，运行会有逻辑错误!

要注意定义可变参数和关键字参数的语法：

*args是可变参数，args接收的是一个tuple;

**kwargs是关键字参数，kwargs接收的是一个dict。

以及调用函数时如何传入可变参数和关键字参数的语法：

可变参数既可以直接传入：func(1, 2, 3)，又可以先组装list或tuple，再通过*args传入：func(*(1, 2, 3));

关键字参数既可以直接传入：func(a=1, b=2)，又可以先组装dict，再通过kwargs传入：func({'a': 1, 'b': 2})。

使用*args和**kwargs是Python的习惯写法，当然也可以用其他参数名，但最好使用习惯用法。

随后你会得到如下的一个由scrapy创建的目录结构

在spiders文件夹中创建一个python文件，比如miao.py，来作为爬虫的脚本。

内容如下：

2.跑一个试试？

如果用命令行的话就这样：

你可以看到爬虫君已经把你坛星际区第一页打印出来了，当然由于没有任何处理，所以混杂着html标签和js脚本都一并打印出来了。

解析

接下来我们要把刚刚抓下来的页面进行分析，从这坨html和js堆里把这一页的帖子标题提炼出来。

其实解析页面是个体力活，方法多的是，这里只介绍xpath。

0.为什么不试试神奇的xpath呢

看一下刚才抓下来的那坨东西，或者用chrome浏览器手动打开那个页面然后按F12可以看到页面结构。

每个标题其实都是由这么一个html标签包裹着的。举个例子：

可以看到href就是这个帖子的地址（当然前面要拼上论坛地址），而这个标签包裹的内容就是帖子的标题了。

于是我们用xpath的绝对定位方法，把

class='topic'

的部分摘出来。

1.看看xpath的效果

在最上面加上引用：

把parse函数改成：

再次运行就可以看到输出你坛星际区第一页所有帖子的标题和url了。

递归

接下来我们要抓取每一个帖子的内容。

这里需要用到python的yield。

此处会告诉scrapy去抓取这个url，然后把抓回来的页面用指定的parse_topic函数进行解析。

至此我们需要定义一个新的函数来分析一个帖子里的内容。

完整的代码如下：

到此为止，这个爬虫可以爬取你坛第一页所有的帖子的标题，并爬取每个帖子里第一页的每一层楼的内容。

爬取多个页面的原理相同，注意解析翻页的url地址、设定终止条件、指定好对应的页面解析函数即可。

Pipelines——管道

此处是对已抓取、解析后的内容的处理，可以通过管道写入本地文件、数据库。

0.定义一个Item

在miao文件夹中创建一个items.py文件。

此处我们定义了两个简单的class来描述我们爬取的结果。

1. 写一个处理方法

在miao文件夹下面找到那个pipelines.py文件，scrapy之前应该已经自动生成好了。

我们可以在此建一个处理方法。

2.在爬虫中调用这个处理方法。

要调用这个方法我们只需在爬虫中调用即可，例如原先的内容处理函数可改为：

3.在配置文件里指定这个pipeline

找到settings.py文件，在里面加入

这样在爬虫里调用

的时候都会由经这个FilePipeline来处理。后面的数字400表示的是优先级。

可以在此配置多个Pipeline，scrapy会根据优先级，把item依次交给各个item来处理，每个处理完的结果会传递给下一个pipeline来处理。

可以这样配置多个pipeline:

Middleware——中间件

通过Middleware我们可以对请求信息作出一些修改，比如常用的设置UA、代理、登录信息等等都可以通过Middleware来配置。

0.Middleware的配置

与pipeline的配置类似，在setting.py中加入Middleware的名字，例如

1.破网站查UA, 我要换UA

某些网站不带UA是不让访问的。

在miao文件夹下面建立一个middleware.py

这里就是一个简单的随机更换UA的中间件，agents的内容可以自行扩充。

2.破网站封IP，我要用代理

比如本地127.0.0.1开启了一个8123端口的代理，同样可以通过中间件配置让爬虫通过这个代理来对目标网站进行爬取。

同样在middleware.py中加入：

很多网站会对访问次数进行限制，如果访问频率过高的话会临时禁封IP。

如果需要的话可以从网上购买IP，一般服务商会提供一个API来获取当前可用的IP池，选一个填到这里就好。

一些常用配置

在settings.py中的一些常用配置

我就是要用Pycharm

如果非要用Pycharm作为开发调试工具的话可以在运行配置里进行如下配置：

Configuration页面：

Script填你的scrapy的cmdline.py路径，比如我的是

然后在Scrpit parameters中填爬虫的名字，本例中即为：

最后是Working diretory，找到你的settings.py文件，填这个文件所在的目录。

示例：

按小绿箭头就可以愉快地调试了。