首页
学习
活动
专区
工具
TVP
发布
您找到你想要的搜索结果了吗?
是的
没有找到

python爬虫:取猫眼电影数据并存入数据库

目标网站:猫眼电影-->榜单-->Top100榜 预期效果:抓取Top100榜中的数据,并存储到mysql数据库 1....offset=20 可以看到随着翻页,offset以10的倍数递增 所以可以设置起始url如下: https://maoyan.com/board/4 定义一个变量offset来控制取页数 故拼接...) 解决方法: 在取电影分数时,先判断下是否存在包含分数的标签,如果包含,则抓取数据,如果不包含,则直接给出“暂无分数” if isinstance(dd.find('p', class_...conn.close() # 关闭连接 def main(): start_url = 'http://maoyan.com/board/4' depth = 2 # 取深度..., 这里需要注意的是对应表的字段类型和长度与数据相匹配 运行程序,到数据库查看结果 5.

2.4K30

Python资源

class="next page-numbers"]') if next_page == []: xxx else: xxx 如果存在下一页,那么就交由另外一部分来处理,取完一页的资源后...,若没有想要的资源,输入y (大小写都可以)就可以自动取下一页的资源内容了,如果这一页有想要的资源,输入N就可以退出,并输入资源ID后就可获得该资源的网盘链接了 当然,为了避免大小写的问题,我在获取了用户输入的东西后...,自动全部大写 confirm = input("是否取下一页内容(Y/N): ") if confirm.upper() == ("Y"): xxx 下面是一个改版的流程 版本...功能 备注 v1.0 获取资源名和链接 第一小步 v1.1 自动获取百度网盘链接 基本完成 v1.2 顺便获取网盘链接密码 功能实现 v2.1 更改了结构,用户可选择指定的资源而不是全盘取,界面看起来更美观

1.7K10

python爬虫反反:搞定CSS反加密

0 惯性嘚瑟 刚开始搞爬虫的时候听到有人说爬虫是一场攻坚战,听的时候也没感觉到特别,但是经过了一段时间的练习之后,深以为然,每个网站不一样,每次取都是重新开始,所以,之前谁都不敢说会有什么结果。.../usr/bin/env python import requests from lxml import etree header = {"Accept":"application/json,...大众点评就是众多带反的网站中的佼佼者,使用了比较高级的反手法,他们把页面上的关键数字隐藏了起来,增加了爬虫难度,不信~你看: ?.../usr/bin/env python # _*_ UTF-8 _*_ from fontTools.ttLib import TTFont import matplotlib.pyplot as plt...不过需要注意的是使用OCR解码文字需要一定的时间,耗时还是比较长的,如果经常使用这一思路,建议可以构建一个“字形坐标:文字”的数据库表,下次使用时解析出字形坐标,直接到数据库里匹配对应的文字就可以了。

96020

Python资源取-源码

这个整合资源的网站,因不知名的原因所以可能也许是暂时的关闭了一下,所以想着把写的python代码公布出来也没啥关系(虽然本来也就没什么关系),当然写的比较垃圾,也没有什么优化的手段 在这里顺便吐槽一下,...原本写微信公众号就是防止文章给轻易的爬到,但是发现并没有什么用,那些人还是该,该盗的盗,所以在除了我的博客(blog.ernket.top)和微信公众号外任何一个地方看到这篇东西,都是未经许可的,...虽然有点生气,但是也没什么办法,所以考虑到这点,我会弄原创申明,当然不是要打赏,毕竟我也不靠这个吃饭,可以的话还是希望能把钱放在有用的地方上面 用到的Python库有 requests urllib bs4..."请输入你想要的资源ID: ") src_video=which_video(video_num,elapse) #调用 通过给定数字,赋值给videonum,然后传入给whichvideo中去,因为python...# 结尾 说实话写的不怎么样,倒不如说很蠢,就是按照想法来写的,丝毫没有什么技术含量,但是考虑到这么久没有水文了,又想整点什么东西来写,至于为什么要挑这个python程序,一方面是因为当时用的确实挺方便的

1K10

Python写爬虫妹子

最近学完Python,写了几个爬虫练练手,网上的教程有很多,但是有的已经不能了,主要是网站经常改,可是爬虫还是有通用的思路的,即下载数据、解析数据、保存数据。下面一一来讲。...1.下载数据 首先打开要的网站,分析URL,每打开一个网页看URL有什么变化,有可能带上上个网页的某个数据,例如xxID之类,那么我们就需要在上一个页面分析HTML,找到对应的数据。...按Ctrl + Shift + C,可以定位元素在HTML上的位置 动态网页 有一些网页是动态网页,我们得到网页的时候,数据还没请求到呢,当然什么都提取不出来,用Python 解决这个问题只有两种途径:...直接从JavaScript 代码里采集内容,或者用Python 的第三方库运行JavaScript,直接采集你在浏览器里看到的页面。...3.保存数据 数据解析后可以保存到文件或数据库中,这个例子是保存到了文件中,很简单,就不做说明了,在下篇讲如何将数据保存到数据库 def down_image(url, filename, realName

66230
领券