腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

待你如初见

专栏作者

21

文章

29260

阅读量

22

订阅数

Centos7安装Airflow2.x redis

数据库 sql python

——————————————————————————————————————————————

待你如初见

2021-04-27

1.7K0

Centos7安装部署Airflow详解

python 数据库 centos

——————————————————————————————————————————————

待你如初见

2019-10-31

5.8K0

scrapy数据入库PGsql

pipelines.py 在pipelines中有一个类如下图 [image.png] 在类中创建方法open_spider def open_spider(self, spider): hostname = '192.168.12.130' username = 'postgres' password = 'postgres' database = 'weibo' # 创建连接 self.connection = psycopg2.connect(h

待你如初见

2019-04-08

2.2K0

Scrapy 持续自动翻页爬取数据

概述方案一：根据URL寻找规律适用于没有下一页button的网页，或者button不是url的网页 [uhhxjjlim2.png] 方案二：根据下一页button获取button内容 [pjnmr582t3.png] 修改代码这里使用方案二通过F12 得到下一页buton的Xpath [图片.png] # -*- coding: utf-8 -*- import scrapy from scrapy import Request from urllib.parse import urljoi

待你如初见

2019-03-21

4.9K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态