某初创企业的主营业务是为用户提供高度个性化的商品订购业务，其业务系统支持PC端、手机App等多种访问方式。系统上线后受到用户普遍欢迎，在线用户数和订单数量迅速增长，原有的关系数据库服务器不能满足高速并发的业务要求。 为了减轻数据库服务器的压力，该企业采用了分布式缓存系统，将应用系统经常使用的数据放置在内存，降低对数据库服务器的查询请求，提高了系统性能。在使用缓存系统的过程中，企业碰到了一系列技术问题。
如果数据多到一定程度，就需要分库分表来存储数据了，这个一定程度的判断也比较难，总体而言，
当数据量开始增大，单台数据库服务的IO、IOPS的瓶颈开始出现，业务系统的访问效率开始下降，为此开始出现分布式数据库的概念。以下将逐步讲解从单台数据库向分布式数据库演进的过程。
在一次正常的活动促销之后，客服开始陆续反馈有用户反应在抢标的时候打不开网页或者APP，在打开的时候标的就已经被抢光了，刚开始没有特别的上心，觉得抢标不就是这样吗，抢小米手机的时候也不就这样吗？随着活动继续推进，有更多的用户强烈抗议，用户领了加息卷或者抵现卷之后抢不上标的，认为是平台作假故意不让使用以达到节省资源。 分析过程 其实以前也会有陆续的用户反馈不减少，给客户以小米抢手机为例子忽悠了过去，这次用户反馈太过强烈，才让我们重视了起来。我们前端一共三款产品，app、官网、H5，其中app使用量最大，官网其次
作为俄罗斯最大的在线社交平台，VKontakte（意为“接触”，以下简称：VK）的全球注册用户超过了2亿，支持包括中文在内的86种语言。按照Alexa的数据统计，VK全球流量排名第14位，在俄罗斯则排名第一位。
本文讲述了一位互联网金融公司技术团队的架构师在负责抢标活动过程中，通过优化Web服务器、数据库服务器以及应用服务器等基础设施，解决了高并发问题，并实现了抢标活动的顺利进行。通过采用分布式架构以及缓存技术，解决了数据库压力过大、请求响应慢等问题，提高了系统的稳定性。同时，采用负载均衡技术，提升了系统的处理能力，最终实现了平台的高可用性。
最近在研究XD5.6虚拟桌面，在尝试使用外部数据库的时候出现了问题，后来和群里的一些高手交流后，解决了问题，在其中看到了有相关技术人员发表的关于此问题的文章，感觉很不错。
单数据库架构 一个项目在初期的时候，为了尽可能快地验证市场，其对业务系统的最大要求是快速实现。在这个阶段，代码开发人员为了能快速实现业务系统，一般都是将所有层级（MVC）的业务代码都写在同一个项目中，
在一个生产系统中，通常都需要用高可用方案来保证系统的不间断运行。PostgreSQL 本身不支持任何多主群集解决方案，例如MySQL或Oracle。尽管如此，仍有许多商业和社区产品提供此实现，以及其他产品，例如PostgreSQL的复制或负载平衡。
MyCat 是一个数据库分库分表中间件，使用 MyCat 可以非常方便地实现数据库的分库分表查询，并且减少项目中的业务代码。今天我们将通过数据库架构发展的演变来介绍 MyCat 的诞生背景，以及 MyCat 在其中扮演的角色，从而使得大家对 MyCat 的诞生及其作用有深入的理解。 单数据库架构 一个项目在初期的时候，为了尽可能快地验证市场，其对业务系统的最大要求是快速实现。在这个阶段，代码开发人员为了能快速实现业务系统，一般都是将所有层级（MVC）的业务代码都写在同一个项目中，所有的业务数据都存放在同一个
时经常用SQL Server2000自带的导出数据向导将数据从一台数据库服务器导出到另一台数据库服务器： 结果数据导出了，但表的主键、字段默认值、描述等信息却未能导出，一直没想出什么方法
vivo 云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。
某电子商务公司为了更好地管理用户，提升企业销售业绩，拟开发一套用户管理系统。该系统的基本功能是根据用户的消费级别、消费历史、信用情况等指标将用户划分为不同的等级，并针对不同等级的用户提供相应的折扣方案。在需求分析与架构设计阶段，电子商务公司提出的需求、质量属性描述和架构特性如下： (a)用户目前分为普通用户、银卡用户、金卡用户和白金用户四个等级，后续需要能够根据消费情况进行动态调整； (b)系统应该具备完善的安全防护措施，能够对黑客的攻击行为进行检测与防御； (c)在正常负载情况下，系统应在0.5秒内对用户的商品查询请求进行响应； (d)在各种节假日或公司活动中，针对所有级别用户，系统均能够根据用户实时的消费情况动态调整折扣力度； (e)系统主站点断电后，应在5秒内将请求重定向到备用站点； (f)系统支持中文昵称，但用户名要求必须以字母开头，长度不少于8个字符； (g)当系统发生网络失效后，需要在15秒内发现错误并启用备用网络； (h)系统在展示商品的实时视频时，需要保证视频画面具有1024x768像素的分辨率，40帧/秒的速率； (i)系统要扩容时，应保证在10人●月内完成所有的部署与测试工作； (j)系统应对用户信息数据库的所有操作都进行完整记录； (k)更改系统的Web界面接口必须在4人●周内完成； (l)系统必须提供远程调试接口，并支持远程调试。 在对系统需求、质量属性描述和架构特性进行分析的基础上，该系统架构师给出了两种候选的架构设计方案，公司目前正在组织相关专家对系统架构进行评估。
大家好，又见面了，我是你们的朋友全栈君。任何数据库在长期使用过程中，都会存在安全隐患。对于数据库管理员来说不能仅寄希望于计算机操作系统的安全运行，而是要建立一整套的数据库备份与恢复机制。当任何人为的或是自然的灾难一旦出现，而导致数据库崩溃、物理介质损坏等，就可以及时恢复系统中重要的数据，不影响整个单位业务的运作。然而如果没有可靠的备份数据和恢复机制，就会带来系统瘫痪、工作停滞、经济损失等等不堪设想的后果。本文以ORACLE数据库为例，结合医院的业务应用环境，介绍 ORACLE数据库的备份恢复。 首先，应当制定一个严格的工作制度，规范化数据库维护的工作流程。 总结实际工作中的经验，数据库管理员应当按照以下原则进行数据库系统的维护： 要求：每日值班的数据库管理员应当随时监控主数据库服务器、备份数据库服务器的软件、硬件的正常运行，一旦出现故障，应立即向领导汇报并采取相应恢复措施。 一、管理员应当每日察看数据库的冷备份报告，出现问题及时检查备份文件，保障每日数据库服务器的备份正常运行。 二、当主数据库服务器出现数据库错误时，应检查数据库的工作状态。如果工作不正常应及时将最新的备份数据覆盖当前数据库的损坏数据，并重新启动机器，检验数据库系统是否能够自行恢复运行。如果重新启动后数据库系统不能正常运行，则数据库系统文件被破坏，应重新安装ORACLE数据库并启用紧急恢复方案。 三、当主数据库服务器出现硬件故障时，应在1小时内更新备份数据库为最新数据，并启动备份数据库服务器，将备份数据库服务器升级为主数据库服务器。对于损坏的主数据库服务器应重新安装ORACLE数据库，并启用紧急恢复方案。 四、当备份数据库服务器出现数据库错误时，应检查ORACLE数据库的工作状态，如果工作不正常应及时将最新的备份数据覆盖当前数据库的损坏数据，并重新启动机器，检验数据库系统是否能够自行恢复运行。如果重新启动后数据库系统不能正常运行，则数据库系统文件被破坏，应重新安装ORACLE数据库并启用紧急恢复方案。如果ORACLE工作不正常，应重新安装ORACLE数据库并启用紧急恢复方案。 五、当备份数据库服务器出现硬件故障时，应尽快修复。等待硬件正常工作后，首先重新安装ORACLE数据库，并采用紧急恢复方案恢复ORACLE数据库。 六、每周至少三次将备份数据转移到移动磁盘内，以防止出现自然灾害的事故而导致的备份数据丢失。 1．ORACLE数据库系统的安装 首次安装ORACLE7.3数据库。进入安装光盘的NT_x86目录，运行setup.exe，进行安装。选择安装目录：D：ORANT（在本文中以将ORACLE数据库安装到D盘为例，下不累述。） 选择安装模式：oracle7 server product 选中：oracle7 con text option 2.0.4.0.0oracle7 spatail data option 7.3.3.0.0. 选择标准安装模式。配置数据库：在net easy config中添加本地数据库的别名、ip地址。修改注册表的字符集为us7ascii（根据需要）。用internal帐户启动当前数据库，验证当前数据库已正确安装。Shutdown当前数据库。设置数据库为ARCHIVELOG方式： 1）将系统设置成自动归档写满的联机日志文件，修改参数文件D：ORANTDatabaseINITORACL.ORA文件，设置：
主要介绍：复制功能介绍，mysql二进制日志，mysql复制拓扑，高可用框架，单点故障，读写分离和负载均衡
实习的时候，在一个项目当中，项目经理要求把原先的MySQL数据连接基于mycat来进行改造 。当时就在想MyCat是什么东西？为什么要用它呢？ 一、什么是MyCat： MyCat是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器。 前端：用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问。 后端：可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服
随着计算机系统规模变得越来越大，将所有的业务单元集中部署在一个或若干个大型机上的体系架构，已经越来越不能满足当今计算机系统。同时，随着微型计算机的出现，越来越多廉价的PC机成为了各大企业IT架构的首选，分布式的处理方式越来越受到业界的青睐。本文将介绍分布式架构的发展历史和分布式架构的一些相关概念。
做国外的项目经常会遇到时区转换的问题，这里简单针对遇到的时区问题做个记录，也希望对大家有所帮助，少走弯路。（本文设计开发语言为java）
企业内部自建的Lync Server 2013统一通信平台，在Skype for Business Server 2015发布后，通过就地升级方式已经完成升级，原来后端数据库高可用架构保持不变，仍采用镜像和见证的自动故障转移方式。当要改变后端数据库服务器高可用架构方式，采用AlwaysOn可用性组，如何顺利部署实施呢？且看下文详细的实战部署，阅读后可以顺利改造现有后端高可用架构。
MySQL主从复制涉及到三个线程，一个运行在主节点（log dump thread），其余两个(I/O thread, SQL thread)运行在从节点，如下图所示:
文章摘要：当单表数据达到千万以上时，通过加索引或者表分区优化提升的效果就比较有限了，应该如何应对呢？？？
生活中熟悉的天气预报信息为我们提供了及时的天气信息，给人们带来了很多的便利；从天气数据分析出来到人们看到这之间进行了大量的处理，一个网站显示的天气信息，需要访问服务器进行接口调用才能获取数据；再比如销
网上银行是指在Internet上提供银行服务，即银行的客户无须到银行柜台办理业务，可以在家庭、办公室等能够连入Internet的任何一处，登录到银行的网站进行交易。这是一种崭新的银行运营模式，具有方便快捷、成本低廉、不受时间地点限制等优点。 本文通过论述的项目是某银行行网上银行系统的1.0版本到2.0版本的升级和改造，论述了 XML在Internet中的应用。我有幸参加了这个项目，承担在该项目中担当了部分的分析与设计的部分任务。系统的1.0版本存在诸如交易超时、作业比较慢、不能满足客户个性化、技术相対落后等缺点。在2.0该项目版本的设计和开发过程中，我们基于JAVA技术，采用J2EE构架，使用应用了 XML作为数据交换的标准,-在后台，基于业务数据建立了 XML数据库，存放签约客户的历更数据，同时在Web服务端，我们也应用了 XML,读取XML数据库中的数据，同时给客户提供了 “个性化"的服务。这些技术的采用，解决了 1.0版中存在的问题。但是，因为XML是一种新的标准，有些地方还不是很完善，在J2EE架构下，如何使用XML是我们应该一直关注的问题，本文就该问题也有所论述。
2、从库的IO线程在指定位置读取主库binlog内容存储到本地的中继日志（Relay Log）中
要完成二进制日志的传输过程，MySQL会在从服务器上启动一个工作线程，称为IO线程，这个IO线程会跟主数据库建立一个普通的客户端连接，然后在主服务器上启动一个特殊的二进制转储线程称为binlogdown线程。
redis是一个非关系型数据库，相对于其他数据库而言，它的查询速度极快，且能承受的瞬时并发量非常的高。所以常常被用来存放网站的缓存，以减少主要数据库（如mysql）的服务器压力。
首先需要尽可能的了解优化问题，收集问题期间系统信息并做好存档。根据当前系统问题表现制定优化目标并与客户沟通目标达成一致；通过一系列工具分析系统问题，制定优化方案，方案评审完成后由各负责人员进行实施。若达到优化目标则编写优化报告，否则需要重新制定优化方案。
从网上去搜数据库优化基本都是从SQL层次进行优化的，很少有提及到数据库本身的实例优化。就算有也都是基于某个特定数据库的实例优化，本文涵盖目前市面上所有主流数据库的实例优化（Oralce、MySQL、POSTGRES、达梦）,按照文章的配置能够将你数据库性能用到80%或以上。
集群 小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关系是集群。
数据的迁移就像搬家，基本每个用过手机的人都做过数据迁移，将旧智能手机中的电话号码、照片、微信聊天记录导入到另一台新的智能手机。因此数据迁移并不神秘。在上云的过程中，因数据的量更大、数据重要性更大、专业性更强，因此在公有云上诞生了“云迁移”这项目服务，在公有云市场也有上百个云服务商专业做“云迁移”服务。今天我们来讲三种常用的云数据库迁移方法。
2021年7月14日，西安交通大学第二附属医院发布《超融合IT硬件资源池项目》招标公告，预算 416.8 万元。 项目背景 西安交通大学第二附属医院又称西北医院，于1937年创建，是国家教育部、卫生部直属的一所集医疗、教学、科研、预防、康复保健为一体的现代化大型综合医院，是西北地区最早创立的从事现代高等医学教育的大学附属医院，也是大型综合性三级甲等医院。陕西省文明单位，全国医药卫生系统先进集体。医院现开放病床1700余张，年收住各类病人9万余人次，年门急诊量200余万人次。现有3200余名教职员工，医院临床
数据库服务器可以一起工作，这样如果主要的服务器失效则允许一个第二服务器快速接手它的任务（高可用性），或者可以允许多个计算机提供相同的数据（负载均衡）。理想情况下，数据库服务器能够无缝地一起工作。提供静态网页服务的网页服务器可以非常容易地通过把网页请求均衡到多个机器来组合。事实上，只读的数据库服务器也可以相对容易地组合起来。不幸的是，大部分数据库服务器收到的请求是读/写混合的，并且读/写服务器更难于组合。这是因为尽管只读数据只需要在每台服务器上放置一次，但对于任意服务器的一次写动作却必须被传播给所有的服务器，这样才能保证未来对于那些服务器的读请求能返回一致的结果。
关于 Buffered Query 和 Unbuffered Query： http://www.php.net/manual/zh/mysqlinfo.concepts.buffering.php
主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库，主数据库一般是准实时的业务数据库。您看，像在mysql数据库中，支持单项、异步赋值。在赋值过程中，一个服务器充当主服务器，而另外一台服务器充当从服务器。此时主服务器会将更新信息写入到一个特定的二进制文件中。并会维护文件的一个索引用来跟踪日志循环。这个日志可以记录并发送到从服务器的更新中去。当一台从服务器连接到主服务器时，从服务器会通知主服务器从服务器的日志文件中读取最后一次成功更新的位置。然后从服务器会接收从哪个时刻起发生的任何更新，然后锁住并等到主服务器通知新的更新
主要介绍：复制功能介绍、mysql二进制日志、mysql复制拓扑、高可用框架、单点故障、读写分离和负载均衡介绍等 mysql复制功能介绍 mysql复制功能提供分担读负载 复制解决的问题 实现在不同服务器上的数据分布 利用二进制日志增量进行 不需要太多的带宽 但是使用基于行的复制在进行大批量的更改时会对带宽带来一定得压力，特别是跨IDC环境下进行复制 实现在不同服务器上的数据分布 实现数据读取的负载均衡 需要其他组件配合完成 利用DNS轮询的方式把程序的读连接到不同的备份数据库， 使用LVS，haproxy
一、前言 随着社会的发展，技术的进步，以前的大型机架构很显然由于高成本、难维护等原因渐渐地变得不再那么主流了，替代它的就是当下最火的分布式架构，从大型机到分布式，经历了好几个阶段，我们弄明白各个阶段的架构，才能更好地理解和体会分布式架构的好处，那么本文我们就来聊聊分布式架构的演进过程，希望能给大家带来眼前一亮的感觉。 二、背景说明 我们都知道一个成熟的大型网站的系统架构并非一开始就设计的非常完美，也没有一开始就具备高性能、高并发、高可用、安全性等特性，而是随着用户量的增加、业务功能的扩展逐步演变过来的，慢
随着社会的发展，技术的进步，以前的大型机架构很显然由于高成本、难维护等原因渐渐地变得不再那么主流了，替代它的就是当下最火的分布式架构，从大型机到分布式，经历了好几个阶段，我们弄明白各个阶段的架构，才能更好地理解和体会分布式架构的好处，那么本文我们就来聊聊分布式架构的演进过程，希望能给大家带来眼前一亮的感觉。
我们都知道，我们每执行一次 SQL，数据库除了会返回执行结果以外，还会返回 SQL 执行耗时，以 MySQL 数据库为例，当我们开启了慢 SQL 监控开关后，默认配置下，当 SQL 的执行时长大于 10 秒，会被记录到慢 SQL 的日志文件中。
一、相关基础知识 1、C/S（Client/Server）架构和B/S（Browser/Server）架构 首先说C/S架构，简单讲其实很常见，类似QQ等需要下载客户端的应用程序就是建立在C/S架构中。往深一点讲，它是分布式架构，每个客户端直接连接数据库服务器，并且数据的处理需要依赖客户端，所以说我们经常见到QQ用着用着就卡死了。这么一来，软件开发时选择C/S架构会出现以下问题： 1）所有客户端并发连接数据库，这直接限制客户端程序同时运行的数量。 2）需要安装，麻烦。（不过，这阻挡不了现在各种APP的盛行）
JDBC（Java DataBase Connectivity）就是Java数据库连接，说白了就是用Java语言来操作数据库。原来我们操作数据库是在控制台使用SQL语句来操作数据库，JDBC是用Java语言向数据库发送SQL语句。
1 关系型数据库 关系型数据库把所有的数据都通过行和列的二元表现形式表示出来。它的优势： 保持数据的一致性（事务处理） 由于以标准化为前提，数据更新的开销很小（相同的字段基本上都只有一处） 可以进行Join等复杂查询 能够保持数据的一致性是关系型数据库的最大优势 关系型数据库的性能非常高，但是它毕竟是一个通用型的数据库，并不能完全适应所有的用途，具体来说它并不擅长以下处理： 大量数据的写入处理。 为有数据更新的表做索引或表结构(schema)变更 字段不固定时应用 对简单查询需要快速返回结果的处理 大量数据
本文讨论了Redis安全问题的起因以及攻击者利用该问题的一些方式。主要内容包括：1. 恶意扫描6379端口（Redis默认端口）；2. 使用redis客户端连接redis服务器，执行redis命令（如del、flushdb、flushall等）清除所有数据；3. 使用“config dir”命令将redis数据备份路径至 /root/.ssh/；4. 使用“config filename”指定RDB（redis定时备份）备份文件名称为authorized\_keys；5. 设置crackit key，将value设置为恶意访问者的公钥；6. 执行bgsave，save动作触发RDB数据备份，将攻击者公钥存储在authorized\_keys。通过这些操作，攻击者可以入侵redis服务器，实现数据泄露和攻击目的。为防止此类问题发生，应采取相应预防措施，如更改默认端口、增加密码验证、不绑定所有网络接口等，以提高系统的安全性。
在12月20日由腾讯主办的2020 Techo Park开发者大会安全分论坛上，腾讯安全云鼎实验室针对目前数据安全治理过程中存在的技术规划、合规难题，正式发布了腾讯安全云访问安全代理CASB，利用先进密码技术保护企业的商业数据以及个人信息数据安全，收敛由敏感数据泄露带来的企业业务运营风险以及数据合规问题。
默认情况下，MongoDB 更侧重高数据写入性能，而非事务安全，MongoDB 很适合业务系统中有大量 “低价值” 数据的场景。但是应当避免在高事务安全性的系统中使用 MongoDB，除非能从架构设计上保证事务安全。
松哥原创的 Spring Boot 视频教程已经杀青，感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程
在前面的文章《6.3.0-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
