腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

北京马哥教育

专栏作者

1832

文章

3323360

阅读量

203

订阅数

MySQL 5.7基于GTID及多线程主从复制

sql 数据库云数据库 SQL Server 分布式

MySQL主从同步是在MySQL主从复制(Master-Slave Replication)基础上实现的，通过设置在Master MySQL上的binlog(使其处于打开状态)，Slave MySQL上通过一个I/O线程从Master MySQL上读取binlog，然后传输到Slave MySQL的中继日志中，然后Slave MySQL的SQL线程从中继日志中读取中继日志，然后应用到Slave MySQL的数据库中。这样实现了主从数据同步功能。

2020-06-23

2.3K0

一分钟了解-Nosql

sql 大数据数据库数据结构分布式

NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在处理web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，出现了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

2020-06-01

7110

一分钟了解GIT

想删除一个段落，又怕将来想恢复找不回来怎么办？有办法，先把当前文件“另存为……”一个新的Word文件，再接着改，改到一定程度，再“另存为……”一个新文件，这样一直改下去，最后你的Word文档变成了这样：

2020-05-26

4060

分布式与集群的联系与区别

负载均衡负载均衡缓存分布式 linux

集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：

2019-08-13

5730

任务调度利器：Celery

分布式云数据库 Redis bash bash 指令 python

Celery是Python开发的分布式任务调度模块，今天抽空看了一下，果然接口简单，开发容易，5分钟就写出了一个异步发送邮件的服务。

2019-08-01

1K0

Python分布式爬虫详解（一）

python 分布式爬虫 scrapy 云数据库 Redis

当项目上升到一定境界时候，需要同时抓取几百个甚至上千个网站，这个时候，单个的爬虫已经满足不了需求。比如我们日常用的百度，它每天都会爬取大量的网站，一台服务器肯定是不够用的。所以需要各个地方的服务器一起协同工作。

2018-10-22

6080

60个DevOps开源工具，你在用哪些？

devops 开源自动化 git 分布式

你喜欢免费的东西吗?获得开发者社区支持的自动化，开源的工具是大家梦寐以求的。这里列举了 60 多款最棒的开源工具，可以帮助你很好的实行 DevOps。一、开发工具版本控制&协作开发 1.版本控制系

2018-09-28

8120

用Python获取磁力种子

python 分布式数据库

现在我们使用迅雷等工具下载资源的时候，基本上都只需要一个叫做磁力链接的东西就可以了，非常方便。

2018-08-17

3.5K1

在Python中使用Elasticsearch

python es 2 apache 分布式

在这篇文章中，我将讨论Elasticsearch以及如何将其整合到不同的Python应用程序中。

2018-07-31

2.1K0

ElasticSearch ——单台服务器部署多个节点

一般情况下单台服务器只会部署一个 ElasticSearch node，但是在学习过程中，很多情况下会需要实现 ElasticSearch 的分布式效果，所以需要启动多个节点，但是学习开发环境（不想开多个虚拟机实现多个服务器的效果），所以就想着在一台服务器上部署多个结点（下文以2个结点作为例子），两个节点分别称为实例一、二。

2018-07-31

1.8K0

Python爬虫代理池

python 爬虫分布式开源

作者：j_hao104 来源：见文末爬虫代理IP池在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题代理IP从何而来？刚自学爬虫的时候没有代理IP就去西刺、快代理之类有免费代理的网站去爬，还是有个别代理能用。当然，如果你有更好的代理接口也可以自己接入。免费代理的采集也很简单，无非就

2018-06-20

1.4K0

MogileFS基于Nginx反向代理实现分布式存储与访问

nginx 分布式存储

前言随着信息社会的发展，越来越多的信息被数据化，尤其是伴随着大数据时代的来临，数据呈爆炸式增长。传统存储在面对海量数据存储表现出的力不从心已经是不争的事实，例如：纵向扩展受阵列空间限制，横向扩展受交换设备限制，节点受文件系统限制等。而分布式存储的出现在一定程度上有效的缓解了这一问题，目前比较流行的分布式文件系统有：GFS、HDFS、GlusterFS、MooseFS、Lustre、TFS、MogileFS和FastDFS等，本文带来的是MogileFS基于Nginx反向代理实现分布式存储与访问相关介绍

2018-05-04

8030

深入浅出分布式文件系统MogileFS集群

分布式开源存储

一、简介 MogileFS是一款开源的分布式文件存储系统，由LiveJournal旗下的Danga Interactive公司开发。 Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。目前MogileFS的日益成熟使用此解决方法的公司越来越多，例如日本的又拍、digg、中国的豆瓣、1号店、大众点评、搜狗和安居客等，分别为所在的组织或公司管理着海量的图片。和传统网络存储不一样的是分布式文件系统是将数据分散存储至多台服务器上，而网络文件系统往往是将所有的数

2018-05-04

1.3K0

MongoDB复制集及数据分片详解（一）

mongodb 分布式存储数据库 nosql

前言 MongoDB是一个由C++语言编写的基于分布式文件存储的数据库，是当前NoSQL数据库中比较热门的一种，旨在为Web应用提供可扩展的高性能数据存储解决方案。本文介绍MongoDB复制集及数据分片。 MongoDB 简介 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。支持的数据结构非常松散，因此可以存储比较复杂的数据类型。最大的特点是其支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功

2018-05-04

6680

六个诀窍帮你抵御DDoS攻击

ddos 黑客安全分布式安全漏洞

随着黑客们隐藏自己的手段愈发高明、攻击招式更为凶狠，各行各业的安全领导者们需要尽快做好准备。如果向全国各大主要银行的CSO们询问近几个月来所遭遇过的分布式拒绝服务攻击（简称DDoS），他们一定会三缄其口。没错，保持沉默正是安全人士的首选态度。安全高管们从不愿意谈论这些攻击活动，因为他们不希望自己的言论使企业受到更多关注。他们甚至担心光是提供防御策略的基本信息就足以吸引攻击者前来并找到安全漏洞。　　但很多企业在初次受到攻击时就已经发现端倪，而安全管理者也需要针对恶意攻击是否还将卷土重来给出答案。因此尽管CS

2018-05-04

7750

DNS从入门到管理（一）

dns 分布式数据库

DNS概述 DNS（Domain Name System，域名系统），域名和IP地址相互映射的一个分布式数据库，通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析。而DNS的主要作用，就是域名解析，将主机名解析成IP地址。DNS这种机制能够完成从域名(FQDN)到主机识别IP地址之间的转换，在DNS诞生之前，这个功能主要是通过本地的一个hosts文件来记录域名和IP的对应关系，但hosts文件只能作用于本机，不能同步更新至所有主机，且当hosts文件很庞大时难以管理，因此，一个分布式、分层次的主机

2018-05-04

2.2K0

一致性hash原理与实现

memcached 分布式缓存存储

一、背景介绍 memcached的分布式 memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。服务器端内存存储功能，其实现非常简单。至于memcached的分布式，则是完全由客户端程序库实现的。这种分布式是memcached的最大特点。分布的原则是由client端的api来决定的，api根据存储用的key以及已知的服务器列表，根据key的hash计算将指定的key存储到对应的服务器列表上。 memcached的分布式是什么意思？这里多次使用了“分布式”这个词，但并未做详细解释。

2018-05-04

7470

Linux老司机带你学Zabbix从入门到精通（万字长文）

linux zabbix 分布式

zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案，在企业中有非常全面的应用，本文是Linux运维老司机撰写，一站式帮你解决zabbix的难题。第1章 zabbix监控 ---- 1.1 为什么要监控在需要的时刻，提前提醒我们服务器出问题了当出问题之后，可以找到问题的根源网站/服务器的可用性 1.1.1 网站可用性在软件系统的高可靠性（也称为可用性，英文描述为HA，High Available）里有个衡量其可靠性的标准——X个9，这个X是代表数字3~

2018-05-04

2.8K0

Python —— 一个『拉勾网』的小爬虫

python 爬虫 hadoop 分布式

本文将展示一个 Python 爬虫，其目标网站是『拉勾网』；题图是其运行的结果，这个爬虫通过指定『关键字』抓取所有相关职位的『任职要求』，过滤条件有『城市』、『月薪范围』。并通过百度的分词和词性标注服务（免费的），提取其中的关键字，这个爬虫有什么用？有那么一个问题模板，xx 语言 / 方向 xx 月薪需要掌握什么技能对于这种问题，招聘网站上的信息大概是最为『公正客观』，所以这个爬虫的输出可以『公正客观』的作为求职者的技能树发展指南......个屁；如果全盘相信招聘网上写的，估计离凉凉就不远了。其上面

2018-05-04

1.3K0

Web APP编程模型和IO策略

现代大型高性能网站诸如淘宝，京东，微博，FB，知乎等等，网站架构涉及很多知识。像业务分层，软件分割模块化，分布式部署，集群服务器，负载均衡等技术可以帮助架构师将一个大的复杂的问题切分成小的简单的问题。这篇文章着眼于解决这些切好的小问题上，单机上有哪些编程实践或者模型可以很好的做到高并发。本人web开发小白一枚，写文章是想梳理自己的思路，求得大牛斧正，希望各位多多批判。文章的内容大多来自网上的阅读加上些自己的理解，文末附上参考阅读的文章。一个极简高并发模型因为有数年的嵌入式领域的经验，先说一下我认为的比较

2018-05-03

8760

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态