Python爬虫入门教程 12-100 半次元COS图爬取

写在前面

今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 cosplay ,这种网站必然会有这个的存在啊,于是乎,我准备好我的大爬虫了。

python3爬虫入门教程
python3爬虫入门教程

把上面的链接打开之后,被我发现了吧,就知道我的第八感不错滴。接下来就是找入口,一定要找到图片链接的入口才可以做下面的操作

python3爬虫入门教程

这个页面不断往下拖拽,页面会一直加载,当时当你拖拽一会,就停下来了,就是这个时机

python3爬虫入门教程

发现入口,在我实际的操作中,其实还发现了很多其他的入口,这个就不一一的解释了,赶紧上车,进入 view more 之后,发现了页面依旧是一个下拉刷新的布局方式,专业术语 瀑布流

python爬虫第一步

打开开发者工具,切换到network之后,发现 很多xhr请求,发现这个,就代表这个网站很容易爬取了

python3爬虫入门教程

提取待爬取的链接,分析规律

https://bcy.net/circle/timeline/loadtag?since=0&grid_type=timeline&tag_id=1482&sort=hot
https://bcy.net/circle/timeline/loadtag?since=26499.779&grid_type=timeline&tag_id=1482&sort=hot
https://bcy.net/circle/timeline/loadtag?since=26497.945&grid_type=timeline&tag_id=1482&sort=hot

发现只有一个参数在变,而且这变化好像没有任何规律可以寻找,没事,看数据,你就可以发现其中的奥妙了

python3爬虫入门教程

这个网站的原理很简单,就是通过不断获取每次数据的最后一条的since然后获取接下来的数据,那么我们按照它的规律实现代码就可以了,不要多线程了,这种规律是没有办法进行实操的。

这次的数据我把它存储到mongodb里面,因为没有办法一次全部获取到,所以可能需要下次在继续使用

if __name__ == '__main__':
	###  mongodb 的一些基本操作   
    DATABASE_IP = '127.0.0.1'
    DATABASE_PORT = 27017
    DATABASE_NAME = 'sun'
    start_url = "https://bcy.net/circle/timeline/loadtag?since={}&grid_type=timeline&tag_id=399&sort=recent"
    client = MongoClient(DATABASE_IP, DATABASE_PORT)

    db = client.sun
    db.authenticate("dba", "dba")
    collection  =  db.bcy  # 准备插入数据
	#####################################3333
    get_data(start_url,collection)

获取网页数据这个地方,由我们前面的经验就变得很简单了

# 获取数据函数  
def get_data(start_url,collection):
    since = 0
    while 1:
        try:
            with requests.Session() as s:
                response = s.get(start_url.format(str(since)),headers=headers,timeout=3)
                res_data = response.json()
                if res_data["status"] == 1:
                    data = res_data["data"]  # 获取Data数组
                    time.sleep(0.5)
                ## 数据处理
                since = data[-1]["since"]  # 获取20条数据的最后一条json数据中的since
                ret = json_handle(data)   # 代码实现在下面
                try:
                    print(ret)
                    collection.insert_many(ret)   # 批量出入数据库
                    print("上述数据插入成功!!!!!!!!")
                except Exception as e:
                    print("插入失败")
                    print(ret)

                ##
        except Exception as e:
            print("!",end="异常,请注意")
            print(e,end=" ")
    else:
        print("循环完毕")

网页解析代码

# 对JSON数据进行处理
def json_handle(data):
    # 提取关键数据
    list_infos = []
    for item in data:
        item = item["item_detail"]
        try:
            avatar = item["avatar"] # 用户头像
            item_id = item["item_id"] # 图片详情页面
            like_count = item["like_count"] # 喜欢数目
            pic_num = item["pic_num"] if "pic_num" in item else 0 # 图片总数
            reply_count =item["reply_count"]
            share_count =item["share_count"]
            uid = item["uid"]
            plain = item["plain"]
            uname = item["uname"]
            list_infos.append({"avatar":avatar,
                               "item_id":item_id,
                               "like_count":like_count,
                               "pic_num":pic_num,
                               "reply_count":reply_count,
                               "share_count":share_count,
                               "uid":uid,
                               "plain":plain,
                               "uname":uname})
        except Exception as e:
            print(e)
            continue
        return list_infos

到现在就实现了,代码跑起来

python3爬虫入门教程

想要源码的,在评论里面留言自己的邮箱或者其他任何我能联系到你的方式都可以哒。

python3爬虫入门教程

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏业余草

防治运营商HTTP劫持的终极技术手段

运营商HTTP劫持(非DNS劫持)推送广告的情况相信大家并不陌生,解决的方法大多也是投诉增值业务部门进而投诉工信部。但这种方法...

57540
来自专栏业余草

论程序员的取财之道

就在这两天,世界互联网大会在乌镇隆重召开,IT圈可是热闹极了。各大老在谈论互联网的同时,也谈论了属于我们的机会。特摘录了下面3...

12530
来自专栏业余草

MySQL主从同步读写分离的集群配置

大型网站为了解决大量的高并发访问问题,除了在网站实现分布式负载均衡,远远不够。到了数据业务层、数据访问层,如果还是传统的数据结...

13320
来自专栏业余草

业余草站长告诉你:网站被克隆了怎么办?

       最近在准备考试,想考一个信息系统项目管理师的证书,也就是大家所说的软考。有了这个证书呢,据说有很多好处,我闲着没事就报了名,而我的个人网站也没时间...

41960
来自专栏业余草

input中加入图片的做法

有很多高大上的网站中都有这一做法。尤其是在登录页面,输入用户名和密码时加入小图标,看起来简单舒服。

47020
来自专栏云市场·精选汇

干货 | 2019年6个重要的网站设计趋势

虽然每个人都在谈论大趋势,比如语音和虚拟现实的设计,但是对于一个更流行的网站,您可以看到更多新颖潮流的设计元素。从没有图片的网站,到图文并茂的企业网站,再到H5...

645230
来自专栏云市场·精选汇

干货|网站为什么要做优化?应该怎么做?

互联网的高速发展,推动各中小企业也纷纷投入线上营销的新销售渠道之中,开始建立自己企业网站。但企业主往往缺乏专业的网站推广人才和知识,于是不少企业会直接在网络上找...

18920
来自专栏业余草

业余草网站热门关键字

网站关键词就是一个网站给首页设定的以便用户通过搜索引擎能搜到本网站的词汇,网站关键词代表了网站的市场定位,国内比较好的书籍由朱晓林关键词分布要领。

10930
来自专栏业余草

业余草(www.xttblog.com)告诉你如何让网站网址实现百度秒收录

一个网站要想关键词有排名,必须先收录!同样的一篇文章,收录快的网站,排名一般好于收录慢的网站(也有特别特殊情况)。因此,作为一个站长,觉得网站SEO优化的核心目...

13260
来自专栏Java开发必知必会

项目-整体架构

18620

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励