前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python 爬html

python 爬html

作者头像
一朵灼灼华
发布2022-08-05 17:09:25
3890
发布2022-08-05 17:09:25
举报

安装BeautifulSoup 

Pip3 install beautifulsoup4

首先导入包from bs4 import BeautifulSoup  然后可以利用urllib请求数据  记得要导包  import urllib.request  然后调用urlopen,读取数据  f=urllib.request.urlopen(‘http://jingyan.baidu.com/article/455a9950bc94b8a166277898.html‘)  response=f.read()  这里我们就不请求数据了,直接用本地的html代码,如下  注意:”’xxx”’是多行注释

代码语言:javascript
复制
#python3from bs4 import BeautifulSoup
html='''<html><head>
    <title class='ceshi'>super 哈哈  star</title></head>
<body>
    天下第一帅
    <p class='sister'>

        是不是
    </p>
</body>
</html>'''
#用BeautifulSoup解析数据 
# python3 必须传入参数二'html.parser' 得到一个对象,接下来获取对象的相关属性
 html=BeautifulSoup(html,'html.parser')
 # 读取title内容
 print(html.title)
 # 读取title属性
 attrs=html.title.attrs
print(attrs)
# 获取属性
attrs['class'] ---->['ceshi'] 这是一个list 通过下标可以获取值
print(attrs['class'][0])
# 读取
bodyprint(html.body)
读取数据还可以通过BeautifulSoup的select方法
html.select()
#按标签名查找 
soup.select('title')soup.select('body')
# 按类名查找
soup.select('.sister')
# 按id名查找
# p标签中id为link的标签
soup.select('p #link')
#取标签里面的值
soup.p.string
#取标签里属性值 通过href获取
html['href']
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-08-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档