首页
学习
活动
专区
工具
TVP
发布

python3

专栏成员
11919
文章
14610263
阅读量
239
订阅数
Scrapy ip代理池
在众多的网站防爬措施中,有一种是根据ip的访问频率进行限制,即在某一时间段内,当某个ip的访问次数达到一定的阀值时,该ip就会被拉黑、在一段时间内禁止访问。
py3study
2020-11-11
1.3K0
scrapy-redis分布式爬虫
scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署。
py3study
2020-10-27
1.4K0
Celery
Celery是Python开发的分布式任务调度模块,今天抽空看了一下,果然接口简单,开发容易,5分钟就写出了一个异步发送邮件的服务。
py3study
2020-07-14
9950
Docker-compose封装mysql并初始化数据以及redis
现有一台服务器,需要部署mysql和redis。其中mysql容器,需要在第一次启动时,执行sql文件。
py3study
2020-04-24
5.3K0
docker封装redis镜像
线上使用的redis版本为 3.2.13,但是dockerhub没有此版本的镜像。只有3.2.12 但是默认的镜像启动时,是没有redis.conf的,如果需要加配置,需要自己定义配置文件。
py3study
2020-03-18
7100
docker redis4.0集群搭建
redis集群对于很多人来说非常熟悉,在前些日子,我也有一位大兄弟也发布过一篇关于在阿里云(centOS7)上搭建redis 集群的文章,虽然集群搭建的文章在网上很多,我比较喜欢这篇文章的地方是他在搭建过程中,指出一些我们会遇到而别人没有指出的问题。
py3study
2020-03-09
9740
Python 检测系统时间,k8s版本,redis集群,etcd,mysql,ceph,kafka
线上有一套k8s集群,部署了很多应用。现在需要对一些基础服务做一些常规检测,比如:
py3study
2020-02-24
1.7K0
Scrapy持久化存储
  保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作;
py3study
2020-01-21
7200
python分布式爬虫--房天下
想要让其他机器访问本机的redis服务器。那么要修改redis.conf的配置文件,将bind改成bind [自己的ip地址或者0.0.0.0],其他机器才能访问。 注意:bind绑定的是本机网卡的ip地址,而不是想让其他机器连接的ip地址。如果有多块网卡,那么可以绑定多个网卡的ip地址。如果绑定到额是0.0.0.0,那么意味着其他机器可以通过本机所有的ip地址进行访问。
py3study
2020-01-20
6230
django开发傻瓜教程-3-celer
https://blog.csdn.net/Demo_3/article/details/78119951
py3study
2020-01-20
6000
django的Session-10
django需要使用一个中间价来实现 session功能, 一般情况下默认启用了该中间价 ,可以在 settings.py 的 MIDDLEWARE 设置项目中查看。
py3study
2020-01-20
4620
Python爬虫教程-34-分布式爬虫介
这是经典的主从分布式爬虫结构图,图中的控制节点ControlNode就是上面提到的master,爬虫节点SpiderNode就是上面提到的slave。下面这张图展示了爬虫节点slave的执行任务示意图
py3study
2020-01-19
1.2K0
python爬虫项目(scrapy-re
python爬虫scrapy项目(二)   爬取目标:房天下全国租房信息网站(起始url:http://zu.fang.com/cities.aspx)   爬取内容:城市;名字;出租方式;价格;户型;面积;地址;交通   反反爬措施:设置随机user-agent、设置请求延时操作、 1、开始创建项目 1 scrapy startproject fang 2、进入fang文件夹,执行启动spider爬虫文件代码,编写爬虫文件。 1 scrapy genspider zufang "zu.fang.com"
py3study
2020-01-19
6610
Python连接redis时要注意的点
  这种情况连接数据库,对数据的存取都是字节类型,存取时还得转码一下,一般不推荐这种方法
py3study
2020-01-19
6180
python+redis简单实现发红包程
  这里需要提示一下,在获取金额和数量的是时候一定要进行类型转换,否则会报类型错误。
py3study
2020-01-17
8190
【Python3爬虫】教你怎么利用免费代
有时候你的爬虫刚开始的时候可以正常运行,能够正常的爬取数据,但是过了一会,却出现了一个“403 Forbidden",或者是”您的IP访问频率太高“这样的提示,这就意味着你的IP被ban了,好一点的情况是过一段时间你就能继续爬取了,坏一点的情况就是你的IP已经进入别人的黑名单了,然后你的爬虫就GG了。怎么办呢?我们可以通过设置代理来解决,付费代理的效果自然不必多说,但是对于学习阶段的人来说,我觉得爬取网上的免费代理来用是一个更好的选择,而这一篇博客就将教你怎么利用免费代理搭建属于你自己的代理池。
py3study
2020-01-17
1.2K0
pyntho经典面试题
 (1)与java相比:在很多方面,Python比Java要简单,比如java中所有变量必须声明才能使用,而Python不需要声明,用少量的代码构建出很多功能;(高效的高级数据结构)
py3study
2020-01-17
3.1K0
前后端分离djangorestframe
关于验证码部分,在我这篇文章里说的挺详细的了:Python高级应用(3)—— 为你的项目添加验证码
py3study
2020-01-17
6710
Django | 页面数据的缓存与使用
一个动态网站的基本权衡点就是,它是动态的。 每次用户请求页面,服务器会重新计算。从开销处理的角度来看,这比你读取一个现成的标准文件的代价要昂贵的多
py3study
2020-01-16
1.9K0
反爬虫之搭建IP代理池
听说你又被封 ip 了,你要学会伪装好自己,这次说说伪装你的头部。可惜加了header请求头,加了cookie 还是被限制爬取了。这时就得祭出IP代理池!!!
py3study
2020-01-16
2.4K0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档