腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
海仔技术驿站
专栏成员
举报
290
文章
325921
阅读量
31
订阅数
订阅专栏
申请加入专栏
全部文章(290)
编程算法(78)
java(54)
javascript(34)
数据库(29)
协议(29)
html(28)
sql(27)
python(24)
css(22)
c++(15)
php(14)
爬虫(13)
spring(12)
http(12)
面向对象编程(12)
vue.js(11)
node.js(11)
分布式(11)
jdk(11)
scrapy(11)
云数据库 SQL Server(10)
git(10)
网络安全(10)
打包(9)
网站(8)
缓存(8)
微服务(8)
github(7)
mongodb(7)
容器(7)
jdbc(7)
tcp/ip(7)
数据结构(7)
开源(6)
ssh(6)
https(6)
jquery(5)
云数据库 Redis(5)
api(5)
云数据库 MongoDB(5)
bash(4)
react(4)
android(4)
mvc(4)
访问管理(4)
html5(4)
xml(3)
json(3)
ecmascript(3)
struts(3)
linux(3)
apache(3)
命令行工具(3)
webpack(3)
shell(3)
spring boot(3)
hashmap(3)
npm(3)
selenium(3)
socket编程(3)
web(3)
自动化运维(3)
go(2)
bootstrap(2)
汇编语言(2)
ide(2)
svn(2)
bash 指令(2)
电商(2)
企业(2)
xslt & xpath(2)
存储(2)
jvm(2)
正则表达式(2)
zookeeper(2)
rpc(2)
spring cloud(2)
uml(2)
kafka(2)
image(2)
png(2)
费用中心(1)
对象存储(1)
官方文档(1)
区块链(1)
自动驾驶(1)
r 语言(1)
ajax(1)
android studio(1)
oracle(1)
nosql(1)
memcached(1)
tomcat(1)
搜索引擎(1)
unix(1)
centos(1)
容器镜像服务(1)
mapreduce(1)
文件存储(1)
日志服务(1)
TDSQL MySQL 版(1)
海外加速(1)
消息队列 CMQ 版(1)
文字识别(1)
图像处理(1)
express(1)
svg(1)
reactnative(1)
babel.js(1)
移动开发(1)
serverless(1)
压力测试(1)
gui(1)
mybatis(1)
决策树(1)
线性回归(1)
二叉树(1)
cdn(1)
aop(1)
单元测试(1)
hexo(1)
安全(1)
小程序(1)
windows(1)
element ui(1)
聚类算法(1)
unicode(1)
utf8(1)
验证码(1)
图像标签(1)
智能家电(1)
assets(1)
class(1)
constructor(1)
data(1)
dropdown(1)
dt(1)
exception(1)
footer(1)
function(1)
init(1)
iptables(1)
keepalived(1)
list(1)
nav(1)
observable(1)
preview(1)
product(1)
public(1)
self(1)
service(1)
stock(1)
summary(1)
void(1)
编程(1)
测试(1)
接口(1)
排序(1)
软件架构(1)
设计(1)
文件上传(1)
异常(1)
搜索文章
搜索
搜索
关闭
Python爬虫之gerapy爬虫管理
爬虫
打包
scrapy
数据库
sql
Gerapy 是一款 分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发,Gerapy 可以帮助我们:
海仔
2020-09-28
664
1
Python爬虫之mongodb的简单使用
bash 指令
bash
shell
mongodb
数据库
mongodb的简单使用 学习目标 掌握 服务端的启动 掌握 客户端的使用 掌握 mongodb的数据库和集合命令 了解 文档中的_id字段 ---- 1. mongodb服务端的启动 默认端口:27017 默认配置文件的位置:/etc/mongod.conf 默认日志的位置:/var/log/mongodb/mongod.log mongodb服务端启动分别两种方式: 本地测试方式的启动(只具有本地数据增删改查的功能) 生产环境启动(具有完整的全部功能) 1.1 测试方式启动 启动: sudo servi
海仔
2020-09-23
571
0
Python爬虫之mongodb的增删改查
mongodb
shell
数据库
sql
云数据库 MongoDB
插文档时,如果不指定_id参数,MongoDB会为文档自动分配一个唯一的ObjectId
海仔
2020-09-23
2.2K
0
Python爬虫之mongodb的聚合操作
bash
mongodb
数据库
sql
云数据库 MongoDB
聚合(aggregate)是基于数据处理的聚合管道,每个文档通过一个由多个阶段(stage)组成的管道,可以对每个阶段的管道进行分组、过滤等功能,然后经过一系列的处理,输出相应的结果。
海仔
2020-09-23
3K
0
Python爬虫之mongodb和python交互
python
mongodb
数据库
sql
pymongo 提供了mongdb和python交互的所有方法 安装方式: pip install pymongo
海仔
2020-09-23
758
0
Python爬虫之mongodb的权限管理
访问管理
mongodb
shell
云数据库 MongoDB
数据库
刚安装完毕的mongodb默认不使用权限认证方式启动,与MySQL不同,mongodb在安装的时候并没有设置权限,然而公网运行系统需要设置权限以保证数据安全,所以我们要学习mongodb的权限管理
海仔
2020-09-23
767
0
Python爬虫之mongodb的索引操作
mongodb
云数据库 MongoDB
数据库
sql
在进行数据去重的时候,可能用一个域来保证数据的唯一性,这个时候可以考虑建立复合索引来实现。
海仔
2020-09-23
457
0
Python爬虫之常见的反爬手段和解决方法
爬虫
tcp/ip
访问管理
php
数据库
这里要切记,人力成本也是资源,而且比机器更重要。因为,根据摩尔定律,机器越来越便宜。而根据IT行业的发展趋势,程序员工资越来越贵。因此,通常服务器反爬就是让爬虫工程师加班才是王道,机器成本并不是特别值钱。
海仔
2020-09-16
2K
0
图解Java设计模式之享元模式
数据库
sql
网站
小型的外包项目,给客户 A 做一个产品展示网站,客户 A 的朋友感觉效果不错,也希望做这样的产品展示网 站,但是要求都有些不同:
海仔
2020-03-26
1K
0
Java每日一题之常用的MySQL复制架构有哪些?
云数据库 SQL Server
数据库
sql
参考答案 : (1)一主多从 在主库读取请求压力非常大的场景下,可以通过配置一主多从复制架构实现读写分离,把大量对实时性要求不是特别高的读请求通过负载均衡分布到多个从库上,降低主库的读取压力,在主库出现异常宕机的情况下,可以把一个从库切换为主库继续提供服务。经常用在读写操作不频繁,查询量比较大的业务环境中。 (2)多级复制 一主多从的架构能够解决大部分读请求压力特别大的场景的需求,考虑到MySQL的复制是主库“推送”Binlog日志到从库,主库的I/O压力和网络压力会随着从库的增加而增长(每个从库都会在主库上有一个独立的Binlog Dump线程来发送事件),而多级复制架构解决了一主多从场景下,主库额外的I/O和网络压力。可以理解一个主库下面挂一个从库,一个从库下面再挂一个从库。 (3)双主复制/Dual Master其实就是主库Master和Master2互为主库,client客户端的写请求都方法主库Master,而读请求可以选择访问主库Master或Master2。也叫双主互备,然后主要用于对MySQL写操作要求比较高的环境中,避免了MySQL单点故障。
海仔
2020-02-13
262
0
Java每日一题之MyBatis是怎么通过mapper接口访问数据库?
数据库
sql
mybatis
参考答案 : mybatis是通过sqlSession这个入口才能访问数据库;首先通过动态代理在内存中生成mapper接口的实现类,实现类中的方法要做三个翻译,第一将请求转发给sqlSession中指定的方法,第二拼接sql语句的唯一标识(nameSpace + id),第三传递查询参数;通过这三步翻译,基于sqlSession完成对数据库的访问。
海仔
2020-02-13
650
0
分库分表之第五篇
云数据库 SQL Server
jdbc
sql
数据库
电商平台商品列表展示,每个列表项中除了包含商品基本信息、商品描述信息之外,还包括了商品所属的店铺信息,如下 :
海仔
2020-02-11
613
0
分库分表之第四篇
云数据库 SQL Server
jdbc
单元测试
数据库
sql
水平分表是在同一个数据库内,把同一个表的数据按照一定的规则拆到多个表中。前面以及介绍过来,这里不再重复介绍。
海仔
2020-02-11
904
0
分库分表之第三篇
编程算法
jdbc
sql
数据库
在了解Sharding-JDBC的执行原理前,需要了解以下概念 : 逻辑表 水平拆分的数据表的总称。例 :订单数据表根据主键尾数拆分为1-张表,分别是t_order_0、t_order_1到t_order_9,他们的逻辑表名为t_order。 真实表 在分片的数据库中真实存在的物理表。即上个实例中的t_order_0到t_order_9。 数据节点 数据分片的最小物理单元。由数据源名称和数据表组成,例如 :ds_0.t_order_0。 绑定表 指分片规则一致的主表和子表。例如 :t_order表和t_order_item表,均按照order_id分片,绑定表之间的分区键完全相同,则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出现笛卡尔积关联,关联查询效率将大大提升。举例说明,如果SQL为 :
海仔
2019-12-25
583
0
分库分表之第二篇
jdbc
spring
spring boot
sql
数据库
使用Sharding-JDBC完成对订单表的水平分表,通过快速入门程序的开发,快速体验Sharding-JDBC的使用。人工创建两张表,t_order_1和t_order_2,这张表是订单表替换后的表,通过Shading-JDBC向订单表插入数据,按照一定的分片规则,主键为偶数的尽入t_order_1,另一部分数据进入t_order_2,通过Shading-Jdbc查询数据,根据SQL语句的内容从t_order_1或order_2查询数据。
海仔
2019-12-25
740
0
分库分表之第一篇
jdbc
数据库
TDSQL MySQL 版
sql
小明是一家初创电商平台的开发人员,他负责卖家模块的功能开发,其中涉及了店铺、商品的相关业务,设计如下数据库 :
海仔
2019-12-20
580
0
分布式事务之解决方案(最大努力通知)
费用中心
apache
数据库
sql
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
海仔
2019-12-10
2.3K
0
分布式事务之解决方案(可靠消息最终一致性)
apache
消息队列 CMQ 版
kafka
数据库
sql
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
海仔
2019-12-03
651
0
分布式事务之解决方案(XA和2PC)
java
数据库
sql
分布式
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
海仔
2019-12-03
1.2K
0
分布式事务之基本概念
分布式
数据库
sql
微服务
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
海仔
2019-11-12
391
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档