PYTHON实现爬虫技术

Beautiful Soup,这个库的作用是从 HTML 或 XML 文件中抓出有效数据,用来集成在PYTHON中使用,不过需首先要去官网下载,本文将不讲述如何下载安装,直接开撸代码实现爬虫 :# coding=utf-8

import urllib
 
from bs4 import BeautifulSoup
 
url ='http://www.baidu.com/s'
 
values ={'wd':'美女'}
 
encoded_param = urllib.urlencode(values)
 
full_url = url +'?'+ encoded_param
 
response = urllib.urlopen(full_url)
 
soup =BeautifulSoup(response)
 
alinks = soup.find_all('a')

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏林德熙的博客

win10 uwp 切换主题

一般我们的应用都要有多种颜色,一种是正常的白天颜色,一种是晚上的黑夜颜色,还需要一种辅助的高对比颜色。这是微软建议的,一般应用都要包含的颜色。

1731
来自专栏PHP在线

哎呦不错哦!一组让人眼前一亮的404创意页面设计

原文出处: graphicdesignjunction 译文出处:优设网 WEARESPRY – 404 Error Page ? Cayenne –...

3554
来自专栏谈补锅

phonegap + Framework7 之 ios 推送跳转测试

先说说项目情况:使用phonegap创建的ios项目,然后在使用html + css开发网页中又使用了一个框架Framework7(Framework7是一个...

1273
来自专栏葡萄城控件技术团队

如何在 ASP.NET MVC 中集成 AngularJS(2)

在如何在 ASP.NET MVC 中集成 AngularJS(1)中,我们介绍了 ASP.NET MVC 捆绑和压缩、应用程序版本自动刷新和工程构建等内容。 下...

24910
来自专栏LinXunFeng的专栏

iOS - Swift UISearchController的取消按钮

1192
来自专栏大内老A

如何解决jQuery Validation针对动态添加的表单无法工作的问题?

为了充分利用ASP.NET MVC在服务端呈现HTML的能力,在《利用动态注入HTML的方式来设计复杂页面》一文中介绍了,通过Ajax调用获取HTML来呈现复杂...

1989
来自专栏跟着阿笨一起玩NET

WinForm中如何判断关闭事件来源于用户点击右上角的“关闭”按钮

在C#的WinForm程序中,有的时候需要判定关闭请求从哪里发出来的。比如是用户点击了右上角的“关闭”按钮,还是调用了WinForm.Close()方法。最典型...

2211
来自专栏刺客博客

鼠标左键javascript代码分享

2464
来自专栏数据之美

Fiddler 高级用法:Fiddler Script 与 HTTP 断点调试

之前在《关于 WEB/HTTP 调试利器 Fiddler 的一些技巧分享》中系统的介绍过 Fiddler 的原理与一些常见技巧,但那篇文章只是入门科普,并不深入...

7188
来自专栏BinarySec

mmap及linux地址空间随机化失效漏洞

Linux下动态库是通过mmap建立起内存和文件的映射关系。其定义如下void* mmap(void* start,size_t length,int prot...

2341

扫码关注云+社区

领取腾讯云代金券