腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

海仔技术驿站

专栏作者

290

文章

316787

阅读量

31

订阅数

Python爬虫之gerapy爬虫管理

爬虫打包 scrapy 数据库 sql

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：

2020-09-28

5831

Python爬虫之mongodb的简单使用

bash 指令 bash shell mongodb 数据库

mongodb的简单使用学习目标掌握服务端的启动掌握客户端的使用掌握 mongodb的数据库和集合命令了解文档中的_id字段 ---- 1. mongodb服务端的启动默认端口：27017 默认配置文件的位置：/etc/mongod.conf 默认日志的位置：/var/log/mongodb/mongod.log mongodb服务端启动分别两种方式：本地测试方式的启动（只具有本地数据增删改查的功能）生产环境启动（具有完整的全部功能） 1.1 测试方式启动启动: sudo servi

2020-09-23

5460

Python爬虫之mongodb的增删改查

mongodb shell 数据库 sql 云数据库 MongoDB

插文档时，如果不指定_id参数，MongoDB会为文档自动分配一个唯一的ObjectId

2020-09-23

2.2K0

Python爬虫之mongodb的聚合操作

bash mongodb 数据库 sql 云数据库 MongoDB

聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。

2020-09-23

2.9K0

Python爬虫之mongodb和python交互

python mongodb 数据库 sql

pymongo 提供了mongdb和python交互的所有方法安装方式: pip install pymongo

2020-09-23

7350

Python爬虫之mongodb的权限管理

访问管理 mongodb shell 云数据库 MongoDB 数据库

刚安装完毕的mongodb默认不使用权限认证方式启动，与MySQL不同，mongodb在安装的时候并没有设置权限，然而公网运行系统需要设置权限以保证数据安全，所以我们要学习mongodb的权限管理

2020-09-23

7490

Python爬虫之mongodb的索引操作

mongodb 云数据库 MongoDB 数据库 sql

在进行数据去重的时候，可能用一个域来保证数据的唯一性，这个时候可以考虑建立复合索引来实现。

2020-09-23

4390

Python爬虫之常见的反爬手段和解决方法

爬虫 tcp/ip 访问管理 php 数据库

这里要切记，人力成本也是资源，而且比机器更重要。因为，根据摩尔定律，机器越来越便宜。而根据IT行业的发展趋势，程序员工资越来越贵。因此，通常服务器反爬就是让爬虫工程师加班才是王道，机器成本并不是特别值钱。

2020-09-16

2K0

图解Java设计模式之享元模式

数据库 sql 网站

小型的外包项目，给客户 A 做一个产品展示网站，客户 A 的朋友感觉效果不错，也希望做这样的产品展示网站，但是要求都有些不同:

2020-03-26

9840

Java每日一题之常用的MySQL复制架构有哪些？

云数据库 SQL Server 数据库 sql

参考答案：（1）一主多从在主库读取请求压力非常大的场景下，可以通过配置一主多从复制架构实现读写分离，把大量对实时性要求不是特别高的读请求通过负载均衡分布到多个从库上，降低主库的读取压力，在主库出现异常宕机的情况下，可以把一个从库切换为主库继续提供服务。经常用在读写操作不频繁，查询量比较大的业务环境中。（2）多级复制一主多从的架构能够解决大部分读请求压力特别大的场景的需求，考虑到MySQL的复制是主库“推送”Binlog日志到从库，主库的I/O压力和网络压力会随着从库的增加而增长（每个从库都会在主库上有一个独立的Binlog Dump线程来发送事件），而多级复制架构解决了一主多从场景下，主库额外的I/O和网络压力。可以理解一个主库下面挂一个从库，一个从库下面再挂一个从库。（3）双主复制/Dual Master其实就是主库Master和Master2互为主库，client客户端的写请求都方法主库Master，而读请求可以选择访问主库Master或Master2。也叫双主互备，然后主要用于对MySQL写操作要求比较高的环境中，避免了MySQL单点故障。

2020-02-13

2530

Java每日一题之MyBatis是怎么通过mapper接口访问数据库？

数据库 sql mybatis

参考答案： mybatis是通过sqlSession这个入口才能访问数据库；首先通过动态代理在内存中生成mapper接口的实现类，实现类中的方法要做三个翻译，第一将请求转发给sqlSession中指定的方法，第二拼接sql语句的唯一标识(nameSpace + id)，第三传递查询参数；通过这三步翻译，基于sqlSession完成对数据库的访问。

2020-02-13

6300

分库分表之第五篇

云数据库 SQL Server jdbc sql 数据库

电商平台商品列表展示，每个列表项中除了包含商品基本信息、商品描述信息之外，还包括了商品所属的店铺信息，如下：

2020-02-11

5920

分库分表之第四篇

云数据库 SQL Server jdbc 单元测试数据库 sql

水平分表是在同一个数据库内，把同一个表的数据按照一定的规则拆到多个表中。前面以及介绍过来，这里不再重复介绍。

2020-02-11

8690

分库分表之第三篇

编程算法 jdbc sql 数据库

在了解Sharding-JDBC的执行原理前，需要了解以下概念：逻辑表水平拆分的数据表的总称。例：订单数据表根据主键尾数拆分为1-张表，分别是t_order_0、t_order_1到t_order_9，他们的逻辑表名为t_order。真实表在分片的数据库中真实存在的物理表。即上个实例中的t_order_0到t_order_9。数据节点数据分片的最小物理单元。由数据源名称和数据表组成，例如：ds_0.t_order_0。绑定表指分片规则一致的主表和子表。例如：t_order表和t_order_item表，均按照order_id分片，绑定表之间的分区键完全相同，则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出现笛卡尔积关联，关联查询效率将大大提升。举例说明，如果SQL为：

2019-12-25

5600

分库分表之第二篇

jdbc spring spring boot sql 数据库

使用Sharding-JDBC完成对订单表的水平分表，通过快速入门程序的开发，快速体验Sharding-JDBC的使用。人工创建两张表，t_order_1和t_order_2，这张表是订单表替换后的表，通过Shading-JDBC向订单表插入数据，按照一定的分片规则，主键为偶数的尽入t_order_1，另一部分数据进入t_order_2，通过Shading-Jdbc查询数据，根据SQL语句的内容从t_order_1或order_2查询数据。

2019-12-25

7130

分库分表之第一篇

jdbc 数据库 TDSQL MySQL 版 sql

小明是一家初创电商平台的开发人员，他负责卖家模块的功能开发，其中涉及了店铺、商品的相关业务，设计如下数据库：

2019-12-20

5550

分布式事务之解决方案（最大努力通知）

费用中心 apache 数据库 sql

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

2019-12-10

2.1K0

分布式事务之解决方案（可靠消息最终一致性）

apache 消息队列 CMQ 版 kafka 数据库 sql

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

2019-12-03

6120

分布式事务之解决方案（XA和2PC）

java 数据库 sql 分布式

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

2019-12-03

9840

分布式事务之基本概念

分布式数据库 sql 微服务

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

2019-11-12

3600

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态