算法是计算机处理信息的本质,因为计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般地,当算法在处理信息时,会从输入设备或数据的存储地址读取数据,把结果写入输出设备或某个存储地址供以后再调用。
算法是独立存在的一种解决问题的方法和思想。
对于算法而言,实现的语言并不重要,重要的是思想。
算法可以有不同的语言描述实现版本(如C描述、C++描述、Python描述等),我们现在是在用Python语言进行描述实现。
先来看一道题:
如果 i+j+k=1000,且 i^2+j^2=k^2(i,j,k 为自然数),如何求出所有i,j,k可能的组合?
1 #!/usr/bin/eny python
2 # -*- coding:utf-8 -*-
3 import time
4
5 a = time.time()
6 for i in range(1001):
7 for j in range(1001):
8 for k in range(1001):
9 if i + k + j == 1000 and i*i + j*j == k*k:
10 print i ,j ,k
11
12 b = time.time()
13 #输出运行时间
14 print b-a
结果:
0 500 500
200 375 425
375 200 425
500 0 500
164.008999825
改:
#!/usr/bin/eny python
# -*- coding:utf-8 -*-
import time
a = time.time()
for i in range(1001):
for j in range(1001):
k = 1000 - i - j
if i*i + j*j == k*k:
print i ,j ,k
b = time.time()
print b-a
结果;
0 500 500
200 375 425
375 200 425
500 0 500
0.408999919891
对于同一问题,我们给出了两种解决算法,在两种算法的实现中,我们对程序执行的时间进行了测算,发现两段程序执行的时间相差悬殊(164秒相比于0.4秒),由此我们可以得出结论:实现算法程序的执行时间可以反应出算法的效率,即算法的优劣。
假设我们将第二次尝试的算法程序运行在一台配置古老性能低下的计算机中,情况会如何?很可能运行的时间并不会比在我们的电脑中运行算法一的214.583347秒快多少。
单纯依靠运行的时间来比较算法的优劣并不一定是客观准确的!
程序的运行离不开计算机环境(包括硬件和操作系统),这些客观原因会影响程序运行的速度并反应在程序的执行时间上。那么如何才能客观的评判一个算法的优劣呢?
我们假定计算机执行算法每一个基本操作的时间是固定的一个时间单位,那么有多少个基本操作就代表会花费多少时间单位。虽然对于不同的机器环境而言,确切的单位时间是不同的,但是对于算法进行多少个基本操作(即花费多少时间单位)在规模数量级上却是相同的,由此可以忽略机器环境的影响而客观的反应算法的时间效率。
对于算法的时间效率,我们可以用“大O记法”来表示。
“大O记法”:对于单调的整数函数f,如果存在一个整数函数g和实常数c>0,使得对于充分大的n总有f(n)<=c*g(n),就说函数g是f的一个渐近函数(忽略常数),记为f(n)=O(g(n))。也就是说,在趋向无穷的极限意义下,函数f的增长速度受到函数g的约束,亦即函数f与函数g的特征相似。
时间复杂度:假设存在函数g,使得算法A处理规模为n的问题示例所用时间为T(n)=O(g(n)),则称O(g(n))为算法A的渐近时间复杂度,简称时间复杂度,记为T(n)
对于算法进行特别具体的细致分析虽然很好,但在实践中的实际价值有限。对于算法的时间性质和空间性质,最重要的是其数量级和趋势,这些是分析算法效率的主要部分。而计量算法基本操作数量的规模函数中那些常量因子可以忽略不计。例如,可以认为3n2和100n2属于同一个量级,如果两个算法处理同样规模实例的代价分别为这两个函数,就认为它们的效率“差不多”,都为n2级。
分析算法时,存在几种可能的考虑:
对于最优时间复杂度,其价值不大,因为它没有提供什么有用信息,其反映的只是最乐观最理想的情况,没有参考价值。
对于最坏时间复杂度,提供了一种保证,表明算法在此种程度的基本操作中一定能完成工作。
对于平均时间复杂度,是对算法的一个全面评价,因此它完整全面的反映了这个算法的性质。但另一方面,这种衡量并没有保证,不是每个计算都能在这个基本操作内完成。而且,对于平均情况的计算,也会因为应用算法的实例分布可能并不均匀而难以计算。
因此,我们主要关注算法的最坏情况,亦即最坏时间复杂度。
执行次数函数举例 | 阶 | 非正式术语 |
---|---|---|
12 | O(1) | 常数阶 |
2n+3 | O(n) | 线性阶 |
3n2+2n+1 | O(n2) | 平方阶 |
5log2n+20 | O(logn) | 对数阶 |
2n+3nlog2n+19 | O(nlogn) | 对数线性阶 |
6n3+2n2+3n+4 | O(n3) | 立方阶 |
2n | O(2n) | 指数阶 |
注意,经常将log2n(以2为底的对数)简写成logn
所消耗的时间从小到大
O(1) < O(logn) < O(n) < O(nlogn) < O(n2) < O(n3) < O(2n) < O(n!) < O(nn)
timeit模块可以用来测试一小段Python代码的执行速度。
Timer是测量小段代码执行速度的类。
stmt参数是要测试的代码语句(statment);
setup参数是运行代码时需要的设置;
timer参数是一个定时器函数,与平台有关。
Timer类中测试语句执行速度的对象方法。number参数是测试代码时的测试次数,默认为1000000次。方法返回执行代码的平均耗时,一个float类型的秒数。
1 def test1():
2 l = []
3 for i in range(1000):
4 l = l + [i]
5 def test2():
6 l = []
7 for i in range(1000):
8 l.append(i)
9 def test3():
10 l = [i for i in range(1000)]
11 def test4():
12 l = list(range(1000))
13
14 from timeit import Timer
15
16 t1 = Timer("test1()", "from __main__ import test1")
17 print("concat ",t1.timeit(number=1000), "seconds")
18 t2 = Timer("test2()", "from __main__ import test2")
19 print("append ",t2.timeit(number=1000), "seconds")
20 t3 = Timer("test3()", "from __main__ import test3")
21 print("comprehension ",t3.timeit(number=1000), "seconds")
22 t4 = Timer("test4()", "from __main__ import test4")
23 print("list range ",t4.timeit(number=1000), "seconds")
24
25 # ('concat ', 1.7890608310699463, 'seconds')
26 # ('append ', 0.13796091079711914, 'seconds')
27 # ('comprehension ', 0.05671119689941406, 'seconds')
28 # ('list range ', 0.014147043228149414, 'seconds')
数据是一个抽象的概念,将其进行分类后得到程序设计语言中的基本类型。如:int,float,char等。数据元素之间不是独立的,存在特定的关系,这些关系便是结构。数据结构指数据对象中数据元素之间的关系。
Python给我们提供了很多现成的数据结构类型,这些系统自己定义好的,不需要我们自己去定义的数据结构叫做Python的内置数据结构,比如列表、元组、字典。而有些数据组织方式,Python系统里面没有直接定义,需要我们自己去定义实现这些数据的组织方式,这些数据组织方式称之为Python的扩展数据结构,比如栈,队列等。
数据结构只是静态的描述了数据元素之间的关系。
高效的程序需要在数据结构的基础上设计和选择算法。
程序 = 数据结构 + 算法
总结:算法是为了解决实际问题而设计的,数据结构是算法需要处理的问题载体
抽象数据类型(ADT)的含义是指一个数学模型以及定义在此数学模型上的一组操作。即把数据类型和数据类型上的运算捆在一起,进行封装。引入抽象数据类型的目的是把数据类型的表示和数据类型上运算的实现与这些数据类型和运算在程序中的引用隔开,使它们相互独立。
最常用的数据运算有五种:
在程序中,经常需要将一组(通常是同为某个类型的)数据元素作为整体管理和使用,需要创建这种元素组,用变量记录它们,传进传出函数等。一组数据中包含的元素个数可能发生变化(可以增加或删除元素)。
对于这种需求,最简单的解决方案便是将这样一组元素看成一个序列,用元素在序列里的位置和顺序,表示实际应用中的某种有意义的信息,或者表示数据之间的某种关系。
这样的一组序列元素的组织形式,我们可以将其抽象为线性表。一个线性表是某类元素的一个集合,还记录着元素之间的一种顺序关系。线性表是最基本的数据结构之一,在实际程序中应用非常广泛,它还经常被用作更复杂的数据结构的实现基础。
根据线性表的实际存储方式,分为两种实现模型:
图a表示的是顺序表的基本形式,数据元素本身连续存储,每个元素所占的存储单元大小固定相同,元素的下标是其逻辑地址,而元素存储的物理地址(实际内存地址)可以通过存储区的起始地址Loc (e0)加上逻辑地址(第i个元素)与存储单元大小(c)的乘积计算而得,即:
Loc(ei) = Loc(e0) + c*i
故,访问指定元素时无需从头遍历,通过计算便可获得对应地址,其时间复杂度为O(1)。
如果元素的大小不统一,则须采用图b的元素外置的形式,将实际数据元素另行存储,而顺序表中各单元位置保存对应元素的地址信息(即链接)。由于每个链接所需的存储量相同,通过上述公式,可以计算出元素链接的存储位置,而后顺着链接找到实际存储的数据元素。注意,图b中的c不再是数据元素的大小,而是存储一个链接地址所需的存储量,这个量通常很小。
图b这样的顺序表也被称为对实际数据的索引,这是最简单的索引结构。
一个顺序表的完整信息包括两部分,一部分是表中的元素集合,另一部分是为实现正确操作而需记录的信息,即有关表的整体情况的信息,这部分信息主要包括元素存储区的容量和当前表中已有的元素个数两项。
图a为一体式结构,存储表信息的单元与元素存储区以连续的方式安排在一块存储区里,两部分数据的整体形成一个完整的顺序表对象。
一体式结构整体性强,易于管理。但是由于数据元素存储区域是表对象的一部分,顺序表创建后,元素存储区就固定了。
图b为分离式结构,表对象里只保存与整个表有关的信息(即容量和元素个数),实际数据元素存放在另一个独立的元素存储区里,通过链接与基本表对象关联。
一体式结构由于顺序表信息区与数据区连续存储在一起,所以若想更换数据区,则只能整体搬迁,即整个顺序表对象(指存储顺序表的结构信息的区域)改变了。
分离式结构若想更换数据区,只需将表信息区中的数据区链接地址更新即可,而该顺序表对象不变。
采用分离式结构的顺序表,若将数据区更换为存储空间更大的区域,则可以在不改变表对象的前提下对其数据存储区进行了扩充,所有使用这个表的地方都不必修改。只要程序的运行环境(计算机系统)还有空闲存储,这种表结构就不会因为满了而导致操作无法进行。人们把采用这种技术实现的顺序表称为动态顺序表,因为其容量可以在使用中动态变化。
扩充的两种策略
如图所示,为顺序表增加新元素111的三种方式
a. 尾端加入元素,时间复杂度为O(1)
b. 非保序的加入元素(不常见),时间复杂度为O(1)
c. 保序的元素加入,时间复杂度为O(n)
a. 删除表尾元素,时间复杂度为O(1)
b. 非保序的元素删除(不常见),时间复杂度为O(1)
c. 保序的元素删除,时间复杂度为O(n)
Python中的list和tuple两种类型采用了顺序表的实现技术,具有前面讨论的顺序表的所有性质。
tuple是不可变类型,即不变的顺序表,因此不支持改变其内部状态的任何操作,而其他方面,则与list的性质类似。
Python标准类型list就是一种元素个数可变的线性表,可以加入和删除元素,并在各种操作中维持已有元素的顺序(即保序),而且还具有以下行为特征:
在Python的官方实现中,list就是一种采用分离式技术实现的动态顺序表。这就是为什么用list.append(x) (或 list.insert(len(list), x),即尾部插入)比在指定位置插入元素效率高的原因。
在Python的官方实现中,list实现采用了如下的策略:在建立空表(或者很小的表)时,系统分配一块能容纳8个元素的存储区;在执行插入操作(insert或append)时,如果元素存储区满就换一块4倍大的存储区。但如果此时的表已经很大(目前的阀值为50000),则改变策略,采用加一倍的方法。引入这种改变策略的方式,是为了避免出现过多空闲的存储位置。
顺序表的构建需要预先知道数据大小来申请连续的存储空间,而在进行扩充时又需要进行数据的搬迁,所以使用起来并不是很灵活。
链表结构可以充分利用计算机内存空间,实现灵活的内存动态管理。
链表(Linked list)是一种常见的基础数据结构,是一种线性表,但是不像顺序表一样连续存储数据,而是在每一个节点(数据存储单元)里存放下一个节点的位置信息(即地址)。
单向链表也叫单链表,是链表中最简单的一种形式,它的每个节点包含两个域,一个信息域(元素域)和一个链接域。这个链接指向链表中的下一个节点,而最后一个节点的链接域则指向一个空值。
单链表的一个变形是单向循环链表,链表中最后一个节点的next域不再为None,而是指向链表的头节点。
1 #!/usr/bin/eny python
2 # -*- coding:utf-8 -*-
3 class Node(object):
4 """节点"""
5 def __init__(self, item):
6 self.item = item
7 self.next = None
8
9
10 class SinCycLinkedlist(object):
11 """单向循环链表"""
12 def __init__(self):
13 self._head = None
14
15 def is_empty(self):
16 """判断链表是否为空"""
17 return self._head == None
18
19 def length(self):
20 """返回链表的长度"""
21 # 如果链表为空,返回长度0
22 if self.is_empty():
23 return 0
24 count = 1
25 cur = self._head
26 while cur.next != self._head:
27 count += 1
28 cur = cur.next
29 return count
30
31 def travel(self):
32 """遍历链表"""
33 if self.is_empty():
34 return
35 cur = self._head
36 print cur.item,
37 while cur.next != self._head:
38 cur = cur.next
39 print cur.item,
40 print ""
41
42
43 def add(self, item):
44 """头部添加节点"""
45 node = Node(item)
46 if self.is_empty():
47 self._head = node
48 node.next = self._head
49 else:
50 #添加的节点指向_head
51 node.next = self._head
52 # 移到链表尾部,将尾部节点的next指向node
53 cur = self._head
54 while cur.next != self._head:
55 cur = cur.next
56 cur.next = node
57 #_head指向添加node的
58 self._head = node
59
60 def append(self, item):
61 """尾部添加节点"""
62 node = Node(item)
63 if self.is_empty():
64 self._head = node
65 node.next = self._head
66 else:
67 # 移到链表尾部
68 cur = self._head
69 while cur.next != self._head:
70 cur = cur.next
71 # 将尾节点指向node
72 cur.next = node
73 # 将node指向头节点_head
74 node.next = self._head
75
76 def insert(self, pos, item):
77 """在指定位置添加节点"""
78 if pos <= 0:
79 self.add(item)
80 elif pos > (self.length()-1):
81 self.append(item)
82 else:
83 node = Node(item)
84 cur = self._head
85 count = 0
86 # 移动到指定位置的前一个位置
87 while count < (pos-1):
88 count += 1
89 cur = cur.next
90 node.next = cur.next
91 cur.next = node
92
93 def remove(self, item):
94 """删除一个节点"""
95 # 若链表为空,则直接返回
96 if self.is_empty():
97 return
98 # 将cur指向头节点
99 cur = self._head
100 pre = None
101 # 若头节点的元素就是要查找的元素item
102 if cur.item == item:
103 # 如果链表不止一个节点
104 if cur.next != self._head:
105 # 先找到尾节点,将尾节点的next指向第二个节点
106 while cur.next != self._head:
107 cur = cur.next
108 # cur指向了尾节点
109 cur.next = self._head.next
110 self._head = self._head.next
111 else:
112 # 链表只有一个节点
113 self._head = None
114 else:
115 pre = self._head
116 # 第一个节点不是要删除的
117 while cur.next != self._head:
118 # 找到了要删除的元素
119 if cur.item == item:
120 # 删除
121 pre.next = cur.next
122 return
123 else:
124 pre = cur
125 cur = cur.next
126 # cur 指向尾节点
127 if cur.item == item:
128 # 尾部删除
129 pre.next = cur.next
130
131 def search(self, item):
132 """查找节点是否存在"""
133 if self.is_empty():
134 return False
135 cur = self._head
136 if cur.item == item:
137 return True
138 while cur.next != self._head:
139 cur = cur.next
140 if cur.item == item:
141 return True
142 return False
143
144 if __name__ == "__main__":
145 ll = SinCycLinkedlist()
146 ll.add(1)
147 ll.add(2)
148 ll.append(3)
149 ll.insert(2, 4)
150 ll.insert(4, 5)
151 ll.insert(0, 6)
152 print "length:",ll.length()
153 ll.travel()
154 print ll.search(3)
155 print ll.search(7)
156 ll.remove(1)
157 print "length:",ll.length()
158 ll.travel()
一种更复杂的链表是“双向链表”或“双面链表”。每个节点有两个链接:一个指向前一个节点,当此节点为第一个节点时,指向空值;而另一个指向下一个节点,当此节点为最后一个节点时,指向空值。
链表失去了顺序表随机读取的优点,同时链表由于增加了结点的指针域,空间开销比较大,但对存储空间的使用要相对灵活。
链表与顺序表的各种操作复杂度如下所示:
操作 | 链表 | 顺序表 |
---|---|---|
访问元素 | O(n) | O(1) |
在头部插入/删除 | O(1) | O(n) |
在尾部插入/删除 | O(n) | O(1) |
在中间插入/删除 | O(n) | O(n) |
注意虽然表面看起来复杂度都是 O(n),但是链表和顺序表在插入和删除时进行的是完全不同的操作。链表的主要耗时操作是遍历查找,删除和插入操作本身的复杂度是O(1)。顺序表查找很快,主要耗时的操作是拷贝覆盖。因为除了目标元素在尾部的特殊情况,顺序表进行插入和删除时需要对操作点之后的所有元素进行前后移位操作,只能通过拷贝和覆盖的方法进行。
栈(stack),有些地方称为堆栈,是一种容器,可存入数据元素、访问元素、删除元素,它的特点在于只能允许在容器的一端(称为栈顶端指标,英语:top)进行加入数据(英语:push)和输出数据(英语:pop)的运算。没有了位置概念,保证任何时候可以访问、删除的元素都是此前最后存入的那个元素,确定了一种默认的访问顺序。
由于栈数据结构只允许在一端进行操作,因而按照后进先出(LIFO, Last In First Out)的原理运作。
栈可以用顺序表实现,也可以用链表实现。
1 栈结构实现
2
3 栈可以用顺序表实现,也可以用链表实现。
4
5 栈的操作
6
7 Stack() 创建一个新的空栈
8 push(item) 添加一个新的元素item到栈顶
9 pop() 弹出栈顶元素
10 peek() 返回栈顶元素
11 is_empty() 判断栈是否为空
12 size() 返回栈的元素个数
结果:
3
itcast
itcast
world
hello
0
队列(queue)是只允许在一端进行插入操作,而在另一端进行删除操作的线性表。
队列是一种先进先出的(First In First Out)的线性表,简称FIFO。允许插入的一端为队尾,允许删除的一端为队头。队列不允许在中间部位进行操作!假设队列是q=(A1,A2,……,An),那么A1就是队头元素,而An是队尾元素。这样我们就可以删除时,总是从A1开始,而插入时,总是在队列最后。这也比较符合我们通常生活中的习惯,排在第一个的优先出列,最后来的当然排在队伍最后。
同栈一样,队列也可以用顺序表或者链表实现。
1 #!/usr/bin/eny python
2 # -*- coding:utf-8 -*-
3
4
5 class Queue(object):
6 """队列"""
7 def __init__(self):
8 self.items = []
9
10 def is_empty(self):
11 return self.items == []
12
13 def enqueue(self, item):
14 """进队列"""
15 self.items.insert(0,item)
16
17 def dequeue(self):
18 """出队列"""
19 return self.items.pop()
20
21 def size(self):
22 """返回大小"""
23 return len(self.items)
24
25 if __name__ == "__main__":
26 q = Queue()
27 q.enqueue("hello")
28 q.enqueue("world")
29 q.enqueue("itcast")
30 print q.size()
31 print q.dequeue()
32 print q.dequeue()
33 print q.dequeue()
结果:
3
hello
world
itcast
双端队列(deque,全名double-ended queue),是一种具有队列和栈的性质的数据结构。
双端队列中的元素可以从两端弹出,其限定插入和删除操作在表的两端进行。双端队列可以在队列任意一端入队和出队。
1 class Deque(object):
2 """双端队列"""
3 def __init__(self):
4 self.items = []
5
6 def is_empty(self):
7 """判断队列是否为空"""
8 return self.items == []
9
10 def add_front(self, item):
11 """在队头添加元素"""
12 self.items.insert(0,item)
13
14 def add_rear(self, item):
15 """在队尾添加元素"""
16 self.items.append(item)
17
18 def remove_front(self):
19 """从队头删除元素"""
20 return self.items.pop(0)
21
22 def remove_rear(self):
23 """从队尾删除元素"""
24 return self.items.pop()
25
26 def size(self):
27 """返回队列大小"""
28 return len(self.items)
29
30
31 if __name__ == "__main__":
32 deque = Deque()
33 deque.add_front(1)
34 deque.add_front(2)
35 deque.add_rear(3)
36 deque.add_rear(4)
37 print deque.size()
38 print deque.remove_front()
39 print deque.remove_front()
40 print deque.remove_rear()
41 print deque.remove_rear()
结果:
4
2
1
4
3