新码农博客

Blog:https://www.addcoder.com/
66 篇文章
16 人订阅

全部文章

弄啥嘞

Scrapy:修改User-Agent方法

从整个项目中去修改请求头的设置规则,变化多端,不同的写法,可以配置出不同的设置方式。

8020
弄啥嘞

Windows10:启用或禁用休眠、保留的存储

如果您禁止休眠,并且当混合睡眠设置打开时出现断电,您可能会丢失数据。禁用休眠时,混合睡眠将无法工作。

3820
弄啥嘞

将Windows Terminal添加到鼠标右键

8610
弄啥嘞

TCP:测试小工具TCPing

将下载的 EXE 程序放到 C:\Windows\System32 文件夹下,即可在 cmd 中使用 tcping 命令。

11620
弄啥嘞

MySQL-Python:使用技巧

通过db.insert_id()方法可以获取插入数据的主键id, 注意一定要在commit之前获取,否则返回0。

10850
弄啥嘞

Flask:部署Linux+uWSGI+Nginx

nginx是门户,它负责转发,它转发动态请求给uwsgi,然后uwsgi在转给django处理。

10220
弄啥嘞

Django:部署成功项目升级为HTTPS

在创建证书之前,在项目根目录下(manage.py文件所在目录)创建文件夹:/.well-know,在改文件夹下创建文件:acme-challenge。

19230
弄啥嘞

Django:部署Linux+uWSGI+Nginx

nginx是门户,它负责转发,它转发动态请求给uwsgi,然后uwsgi在转给django处理。

15170
弄啥嘞

Requests:常见错误整理

使用Python3的requests发送HTTPS请求,关闭认证(verify=False)情况下,控制台会输出此错误。

8730
弄啥嘞

ScrapydWeb:爬虫管理平台的使用

Scrapy 开源框架是 Python 开发爬虫项目的一大利器,而 Scrapy 项目通常都是使用 Scrapyd 工具来部署,Scrapyd 是一个运行 Sc...

24221
弄啥嘞

Selenium:添加Cookie的方法

从中可以看出add_cookie()这个函数有一个参数cookie_dict,它是以字典的形式传入的,字典中必选的键是"name"和"value",可选的键是"...

32340
弄啥嘞

Scrapy:pipeline管道的open_spider、close_spider

12430
弄啥嘞

Scrapy:log日志功能

8530
弄啥嘞

Scrapy:在下载中间件中对URL进行修改

12530
弄啥嘞

Scrapy:重写start_requests方法

有时scrapy默认的start_requests无法满足我们的需求,例如分页爬取,那就要对它进行重写,添加更多操作。

6730
弄啥嘞

Scrapy:命令基本用法

7320
弄啥嘞

Scrapy:多个spider时指定pipeline

12920
弄啥嘞

Scrapy:多个item时指定pipeline

有时,为了数据的干净清爽,我们可以定义多个item,不同的item存储不同的数据,避免数据污染。但是在pipeline对item进行操作的时候就要加上判断。

12320
弄啥嘞

Scrapy:常见错误整理

一般是在全局配置settings.py中设置了 DOWNLOAD_TIMEOUT,或用了代理IP等,就会出现这类报错。

9510
弄啥嘞

Scrapy:安装方法

2.scarpy需求lxml,OpenSSL,Twisted库一般系统自带,也可用以下方法安装:

11110

扫码关注云+社区

领取腾讯云代金券