前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python爬虫基础源代码

python爬虫基础源代码

作者头像
全栈程序员站长
发布2022-08-18 21:32:57
5130
发布2022-08-18 21:32:57
举报

大家好,又见面了,我是你们的朋友全栈君。

1.简单爬取百度网页内容:

代码语言:javascript
复制
爬取百度网页源代码:
代码语言:javascript
复制
import requests
r=requests.get("http://www.baidu.com")
r.status_code
r.encoding
r.encoding=r.apparent_encoding
r.text
代码语言:javascript
复制
结果展示:
在这里插入图片描述
在这里插入图片描述

2.爬取网页的通用代码框架:(这里继续选用百度网页)

代码语言:javascript
复制
爬取网页的通用代码框架
代码语言:javascript
复制
import requests
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "产生异常"
if __name__ =="__main__":
    url="http://www.baidu.com"
    print(getHTMLText(url))
代码语言:javascript
复制
爬取结果展示
在这里插入图片描述
在这里插入图片描述

3.京东商品页面爬取

代码语言:javascript
复制
京东商品页面爬取
代码语言:javascript
复制
import requests
url="http://item.jd.com/2967929.html"
try:
    r=requests.get(url)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")
代码语言:javascript
复制
爬取结果展示:
在这里插入图片描述
在这里插入图片描述

4.亚马逊商品页面的爬取

代码语言:javascript
复制
亚马逊商品爬取源代码
代码语言:javascript
复制
import requests
url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
    kv={ 
   'user-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")
代码语言:javascript
复制
结果展示:
在这里插入图片描述
在这里插入图片描述

5.百度搜索全代码

代码语言:javascript
复制
百度搜索全代码
代码语言:javascript
复制
import requests
keyword="Python"
try:
    kv={ 
   'wd':'keyword'}
    r=requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败!")
代码语言:javascript
复制
结果展示:
在这里插入图片描述
在这里插入图片描述

6.360搜索全代码

代码语言:javascript
复制
360搜素全代码
代码语言:javascript
复制
import requests
keyword="Python"
try:
    kv={ 
   'q':keyword}
    r=requests.get("http://www.so.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")
代码语言:javascript
复制
结果展示:
在这里插入图片描述
在这里插入图片描述

7. 图片爬取全代码:

代码语言:javascript
复制
爬取高清图片源代码
代码语言:javascript
复制
import requests
import os
url="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
root="D://pics//"
path=root+url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r=requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print("文件保存成功")
    else:
        print("文件爬取失败")
except:
    print("爬取失败")

8.用requests库获取源代码:

代码语言:javascript
复制
获取源代码
代码语言:javascript
复制
import requests
r=requests.get("http://python123.io/ws/demo.html")
r.text
demo=r.text
from bs4 import BeautifulSoup
soup=BeautifulSoup(demo,"html.parser")
print(soup.prettify())
soup.title
代码语言:javascript
复制
爬取结果显示:
在这里插入图片描述
在这里插入图片描述

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/135839.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年5月3,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档