新浪微博小爬虫

python的中文编码实在是非常麻烦，不光如此，因为有些用户的简介里有一些特殊符号，®或者笑脸之类的，于是在这里纠结了很久，好歹最后是成功了(其实也就是过滤掉了那些特殊符号)

效率来说呢，开始的时候一个小时能采集大概1.4w条微博的用户信息，但是由于我是从每个人的关注列表里采集的，所以很快就会遇到爬到许多已经爬过的用户，所以总的来说效率不是很高，怪不得那个“中国爬盟”要发动群众的力量去爬

而且有些担心爬久了微博账号被封，我也没敢尝试太久，最后爬了5w条用户信息，8w条关系数据，我拿着数据目前也没什么用，所以就这样吧

python没看多久，代码有冗余的地方，其实主要就是三个函数save_user(),creepy_myself(),creepy_others()

具体的就看代码的注释吧，下载提示看文章末尾，和下面的一样(代码有冗余，因为要先爬出来用户的关注数目来计算有多少页)

[python] view plaincopy

1. #coding=utf8
3. import urllib2
4. import re
5. from BeautifulSoup import *
6. import MySQLdb
7. import sys
8. """
9. Login to Sina Weibo with cookie
10. setdefaultencoding 用于对中文编码的处理
11. """
12. reload(sys)
13. sys.setdefaultencoding('utf8')
14. COOKIE ='你的cookie'
15. HEADERS = {'cookie': COOKIE}
16. UID= COOKIE[COOKIE.find('uid')+4:COOKIE.find('uid')+14]
18. '''''
19. 尝试连接数据库，以供保存诗句
20. '''
21. try:
22. conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='root',db='weibodata',port=3309,charset='utf8',use_unicode=False)
23. cur=conn.cursor()
24. except MySQLdb.Error,e:
25. print "Mysql Error %d: %s" % (e.args[0], e.args[1])
29. def save_user(uuid,uid,name,common):
30. '''''
31. save_user(uuid,uid,name,common)
32. 用于保存诗句，uuid->uid是用户关系，uuid关注uid
33. uid,name,common是将要保存的用户信息
34. setup.ini中保存有两个数字
35. 第一个是now我对当前用户的编号
36. 第二个point是当前正在扫描的用户的编号
37. 你可以把它们看作是一个队列的两个指针
38. '''
39. fileHandle = open ( 'setup.ini','r+');
40. now=int(fileHandle.readline())+1;
41. point =int(fileHandle.readline())
42. print now
43. #print uuid,uid,name,common
44. #保存用户关系信息
45. count=cur.execute('select * from relations where uid1=\''+str(uuid)+'\' and uid2=\''+str(uid)+'\'')
46. if (count==0):
48. cur.execute('insert into relations(uid1,uid2)values(\''+\
49. str(uuid)+'\',\''+str(uid)+'\')')
50. conn.commit()
52. count=cur.execute('select * from users where uid=\''+str(uid)+'\'')
53. #保存用户信息
54. if (count==0):
55. cs=common.encode('gbk', 'ignore').decode('gbk', 'ignore').encode('utf-8', 'ignore')
57. #print cs
58. cur.execute('insert into users(id,uid,name,common)values(\''+\
59. str(now)+'\',\''+str(uid)+'\',\''+str(name)+'\',\"'+\
60. cs +\
61. '\")')
62. conn.commit()
63. fileHandle.close()
64. fileHandle = open ( 'setup.ini','w');
65. fileHandle.write(str(now)+'\n'+str(point))
67. fileHandle.close()
69. def creepy_myself():
70. '''''
71. 这是用来扫描你自己的关注列表的
72. 我想着得有个开头，所以第一次使用时应调用这个函数为队列添加一些用户再作扩展
73. '''
74. uid= COOKIE[COOKIE.find('uid')+4:COOKIE.find('uid')+14]
75. url = 'http://weibo.com/'+str(uid)+'/myfollow?t=1&page=1'
76. mainurl='http://weibo.com/'+str(uid)+'/myfollow?t=1&page='
77. req = urllib2.Request(url, headers=HEADERS)
78. text = urllib2.urlopen(req).read()
79. mainSoup=BeautifulSoup(text)
80. strs=str(mainSoup.find('div','lev2'));
81. num=int(strs[strs.find('(')+1:strs.find(')')])
83. lines=text.splitlines()
84. for line in lines:
85. if line.startswith('<script>STK && STK.pageletM && STK.pageletM.view({"pid":"pl_relation_myf'):
86. n = line.find('html":"')
87. if n > 0:
88. j = line[n + 7: -12].replace("\\", "")
89. soup =BeautifulSoup(j)
90. follows=soup.findAll('div','myfollow_list S_line2 SW_fun')
91. for follow in follows:
92. namess=follow.find('ul','info').find('a')['title']
93. temp_str=str(follow)
94. uiddd= temp_str[temp_str.find('uid')+4:temp_str.find('&')]
95. save_user(UID,uiddd,namess,follow.find('div','intro S_txt2').contents[0][6:])
97. for i in range(2,num/30+1):
98. url = 'http://weibo.com/2421424850/myfollow?t=1&page='+str(i)
99. req = urllib2.Request(url, headers=HEADERS)
100. text = urllib2.urlopen(req).read()
103. lines=text.splitlines()
104. for line in lines:
105. if line.startswith('<script>STK && STK.pageletM && STK.pageletM.view({"pid":"pl_relation_myf'):
106. n = line.find('html":"')
107. if n > 0:
108. j = line[n + 7: -12].replace("\\", "")
109. soup =BeautifulSoup(j)
110. follows=soup.findAll('div','myfollow_list S_line2 SW_fun')
111. for follow in follows:
112. namess=follow.find('ul','info').find('a')['title']
113. temp_str=str(follow)
114. uiddd =temp_str[temp_str.find('uid')+4:temp_str.find('&')]
115. save_user(UID,uiddd,namess,follow.find('div','intro S_txt2').contents[0][6:])
119. def creepy_others(uid):
120. '''''
121. 扫描制定uid用户的信息
122. 和上面一样代码有冗余
123. 因为要先得到这个用户的关注人数，来计算一共有多少页数据
124. '''
125. url="http://weibo.com/"+str(uid)+"/follow?page=";
126. req = urllib2.Request(url, headers=HEADERS)
127. text = urllib2.urlopen(req).read()
130. mainSoup=BeautifulSoup(text.strip())
131. lines=text.splitlines()
132. num=1
133. for line in lines:
134. if line.startswith('<script>STK && STK.pageletM && STK.pageletM.view({"pid":"pl_relation_hisFollow'):
135. n = line.find('html":"')
136. if n > 0:
137. j = line[n + 7: -12].replace("\\n", "")
138. j = j.replace("\\t","")
139. j = j.replace("\\",'');
140. soup=BeautifulSoup(j)
141. strs=str(soup.find('div','patch_title'))
142. num=int(strs[strs.find('关注了')+9:strs.find('人</div')]);
143. follows=soup.findAll('li','clearfix S_line1')
144. for follow in follows:
145. temp_str=str(follow)
146. # print temp_str
147. temp_uid=temp_str[temp_str.find('uid'):temp_str.find('&')];
148. temp_soup=BeautifulSoup(temp_str);
149. temp_fnick=temp_soup.find('div').find('a')['title']
150. save_user(uid,temp_uid[4:],temp_fnick,str(temp_soup.find('div','info'))[18:-6]);
152. #print num/20+2
153. for i in range(2,num/20+1):
154. urls="http://weibo.com/"+str(uid)+"/follow?page="+str(i);
155. req = urllib2.Request(urls, headers=HEADERS)
156. text = urllib2.urlopen(req).read()
157. lines=text.splitlines()
158. for line in lines:
159. if line.startswith('<script>STK && STK.pageletM && STK.pageletM.view({"pid":"pl_relation_hisFollow'):
160. n = line.find('html":"')
161. if n > 0:
162. j = line[n + 7: -12].replace("\\n", "")
163. j = j.replace("\\t","")
164. j = j.replace("\\",'');
165. soup=BeautifulSoup(j)
166. strs=str(soup.find('div','patch_title'))
167. num=int(strs[strs.find('关注了')+9:strs.find('人</div')]);
168. follows=soup.findAll('li','clearfix S_line1')
169. for follow in follows:
170. temp_str=str(follow)
171. # print temp_str
172. temp_uid=temp_str[temp_str.find('uid'):temp_str.find('&')];
173. temp_soup=BeautifulSoup(temp_str);
174. temp_fnick=temp_soup.find('div').find('a')['title']
175. save_user(uid,temp_uid[4:],temp_fnick,str(temp_soup.find('div','info'))[18:-6]);
180. if __name__ == '__main__':
181. #save_user('123','123','ads','212332231')
182. #creepy_myself()
183. '''''
184. 虽然很谨慎地处理了中文编码，但每过一段时间还是会有一些问题
185. 于是抛掉了所有异常，防止程序中断
186. '''
187. while(1):
188. '''''
189. 首先取得队列的尾指针，也就是point
190. 根据point从数据库中找到uid，然后creepy_others(uuid)
191. '''
192. fileHandle = open ( 'setup.ini','r+');
193. now=int(fileHandle.readline());
194. point =int(fileHandle.readline())+1;
195. fileHandle.close()
196. fileHandle = open ( 'setup.ini','w');
197. fileHandle.write(str(now)+'\n'+str(point))
198. fileHandle.close()
199. cur.execute('select uid from users where id=\''+str(point)+'\'')
200. uuid=cur.fetchone()[0];
201. if len(uuid)==10:
202. try:
203. creepy_others(uuid)
204. except Exception , e:
205. pass
207. cur.close()
208. conn.close()