5分钟学会如何玩转云数据库组件(迁移,审计,订阅)

不小心删除公司数据,会怎么样?如果你经常关注知乎,就会发现,这个问题经常出现在你的feeds流里面,时长都会有各式各样的“删库到跑路”事件发生。不管是传统数据库或者是云数据库,总会遇到一些问题,比如数据迁移,比如数据风险安全,比如数据订阅!今天我将分享一篇文章,谈谈云数据库的优势,谈谈腾讯云在这方面的努力。看看腾讯云怎么通过技术手段来确保数据库安全稳定,和快捷迁移,以及推动数据商业分析的。

传统数据库与云数据库

传统数据库

传统企业在建设数据库初期,不仅建设服务器,还要保证数据库能够稳定和可靠的运行。当业务数据增长到一定大小的时候,就需要增加服务器CPU及内存以及磁盘相关资源。为了保证服务器的稳定性,还需要制定相关制度及体系,定制数据库的架构,防止数据库被攻击,确保数据库安全稳定。搜索关注“腾讯云数据库”官方微信立得10元腾讯云无门槛代金券,体验移动端一键管理数据库,学习更多数据库技术实战教程。

云数据库

那么云数据库有哪些优势呢?首先云数据库提供PCI-e SSD硬盘,性能能达到245509 QPS。云数据库同时提供了MySQLSQL serverMariadbPostgerSQL等数据库引擎。企业可以根据不同的业务需求,使用不同的数据库进行操作。同时,云数据库提供了统一的WEB管理工作台,相对于传统数据库,更能容易部署和管理数据库。为了保证数据库的可用性,云数据库支持主从实时热备,提供容灾、备份、恢复、监控、迁移等功能。随着业务的发展,业务需要更大和更强劲的数据库时,只需要购买所需的资源,就能快速平滑扩容业务数据库,满足业务发展需要。

腾讯是开源数据库白金级赞助商,腾讯对开源数据库做了大量优化。这些数据库支撑着腾讯大量交易系统的运行,腾讯云数据库有统一的管理平台,不论选择怎样的数据库,都能方便快捷的管理。

数据库SaaS服务体系

数据SaaS服务涵盖用户从上云,日常运维使用,数据安全审计,及订阅商业分析。

腾讯云数据库让您可以轻松在云端部署、使用数据库。通过云数据库MySQL,您在几分钟内即可部署可扩展的数据库实例。不仅经济实惠,而且可以弹性调整硬件容量的大小而无需停机。TencentDB for MySQL 提供备份回档、监控、快速扩容、数据传输等数据库运维全套解决方案。搜索关注“腾讯云数据库”官方微信立得10元腾讯云无门槛代金券,体验移动端一键管理数据库,学习更多数据库技术实战教程。为您简化 IT 运维工作,让您能更加专注于业务发展。

数据库迁移

数据传输服务(Data Transmission Serivce DTS)提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务,帮助您在业务不停服的前提下轻松完成数据库迁移,利用实时同步通道轻松构建异地容灾的高可用数据库架构。数据传输服务DTS的目标是帮用户将复杂的数据交互工作承担下来,让用户可以专注于上层的业务开发。

数据迁移

支持不同环境及不同类型的数据库迁移。支持迁移的源库包括有公网IP的外网自建数据库,通过VPN、专线等网络环境接入腾讯云的自建数据库,云服务器CVM自建数据库;目标库为TencentDB for MySQL实例。支持查看所有迁移任务的状态及多任务批量操作。 DTS提供的数据迁移功能是您数据上云的的最佳选择。数据迁移仅需几步设置,则可帮助您完成数据从本地迁移上云的一系列繁琐工作。迁移过程中并不影响源数据库继续对外提供服务,最小化上云过程对您业务的影响。

提供自建 MySQL 数据库到云数据库 TencentDB for MySQL 的连续数据复制,用户可在不停服的情况下对数据进行在线热迁移,支持具有公网 IP/Port 或专线接入腾讯云的本地 IDC 或腾讯云云服务器 CVM 上 MySQL 数据库迁移。实例有关联灾备实例暂不支持数据传输服务,请建工单进行迁移。(通过增量迁移的时间建议不超过15天,请确保主从追上之后单击迁移完成按钮。)

Redis 迁移

在线迁移工具暂不支持的迁移类型:主从版、集群版、自研CKV+引擎 三者实例间的迁移。

迁移注意事项
  1. 目前仅支持迁移到腾讯云 redis 的主从版本;
  2. 为保障迁移效率,CVM 自建实例迁移不支持跨地域迁移;
  3. 由于 rdb 协议限制,暂不支持自建实例 redis 3.2 版本的迁移;
  4. 外网实例迁移时,请确保源实例服务在外网环境下可访问;
  5. 进行迁移任务时,只允许迁移正常运行状态下的实例,且未初始化密码或者有其他任务在执行中的实例,是不能够迁移的;
  6. 目的实例必须是没有数据的空实例,迁移过程中,会锁住实例,不能对实例进行写入操作;
  7. 迁移成功时,由业务侧验证数据后,可断开源实例连接,将连接切换到目标实例。

PostgreSQL 数据库迁移

数据传输服务 DTS 支持数据迁移功能,提供自建 PostgreSQL 数据库到云数据库TencentDB for MySQL的连续数据复制,用户可在不停服的情况下对数据进行在线热迁移,支持具有公网 IP/Port 或专线接入腾讯云的本地 IDC 或腾讯云云服务器 CVM 上 PostgreSQL 数据库迁移。数据迁移目前只支持 PostgreSQL 数据库的版本是9.3.x,9.5.x,同时9.3.x 不支持增量同步,9.5.x 需要通过在线同步插件才能支持。搜索关注“腾讯云数据库”官方微信立得10元腾讯云无门槛代金券,体验移动端一键管理数据库,学习更多数据库技术实战教程。

数据库审计

数据库审计是腾讯云为了解决行业客户遇到的诸如金融审计需求,以及实际运行中遇到的安全防护,SQL 延迟性能问题等多种综合需求而提供的产品。

全面审计

  • 数据库访问的全部记录,最大程度满足用户审计需求,可追溯对应用者的身份和行为;
  • 准确审计:用户可设置规则,只保证规则匹配到的审计规则有数据保存,规则也可以设置为全量审计;
  • 提供海量 TB 级数据存储,可以后续根据用户要求提供长期备份。

高效审计

  • 与目前其他通过旁路做审计检查方式不同,腾讯云数据库 TencentDB for MySQL 通过内核插件进行上报;
  • 后期还会逐步增加实时阻隔功能,另外在实际测试影响性能不到 2%;
  • 高效分析:提供用户、IP、客户端工具、访问时间、操作对象、SQL 操作类型、成功与否、访问时长、影响行数等多种检索条件的快速分析与检索,实测 30 多亿级数据 6-8 秒内响应。

背景说明

管理风险

系统管理员存在的误操作、违规操作、越权操作,损害业务系统安全运行;

多人公用一个帐号,责任难以分清;

第三方开发维护人员的误操作,恶意操作和篡改;

超级管理员权限过大,无法审计监控。

技术风险

应用系统开发商后门或漏洞;

离职员工留下后门。

政策风险

无法达到国家等级保护(三级)明确要求(7.1.3.3);

满足不了行业信息安全合规性文件要求——如人行《金融行业信息系统信息安全等级保护实施指引》;

数据订阅

数据传输服务 DTS 提供了基于 binlog 的增量数据订阅功能,仅需几步简单操作,即可订阅云数据库 TencentDB for MySQL 的增量更新数据:

  • 在腾讯云 DTS 控制台购买并创建 TencentDB for MySQL 实例的订阅通道。
  • 使用 DTS 数据订阅 SDK 连接这个订阅通道,订阅并消费增量数据。

原理

我们会通过模拟从库向主库获取对应 binlog 内容进行分析,大概架构图如下,我们会通过解析 binlog ,按照订阅通道配置的库表进行分析,所以几乎对主库没有影响。 搜索关注“腾讯云数据库”官方微信立得10元腾讯云无门槛代金券,体验移动端一键管理数据库,学习更多数据库技术实战教程。

注意:

  • 目前我们对订阅的消息内容默认会保留最近 3 天。
  • 另外如果订阅整库的话,后续新增的表也是会在原有订阅通道出现,不需要对原订阅通道进行新增配置操作。
  • 目前只支持 TencentDB for MySQL5.6,后续会很快支持 TencentDB for MySQL5.7。
  • 数据订阅暂不支持view,触发器和外键。
  • 数据订阅初次配置需要对相关 binlog_row_image 参数做调整,会根据符合条件自动 kill 老的 session 使参数立即生效。
  • 数据订阅目前支持的字符集包括 latin1,utf8,utf8mb4。

总结

未来的云数据库将会成为企业IT架构的“水,电,煤”,可以按需快速启动,支持各种类型的数据,满足所有种类的业务,无限存储,无服务器,全智能,自驱动,零运维,闲时免费,覆盖全球并能自动扩展到近用户端,提供稳定可靠自由扩展的服务,腾讯云数据库将不懈的努力将更多的产品能力普惠世界。

300秒学会腾讯云数据库SaaS服务视频教程

搜索关注“腾讯云数据库”官方微信立得10元腾讯云无门槛代金券,体验移动端一键管理数据库,学习更多数据库技术实战教程。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏吴伟祥

Linux kernel Overview 原

Linux内核最初只是由芬兰人李纳斯·托瓦兹(Linus Torvalds)在赫尔辛基大学上学时出于个人爱好而编写的。

12360
来自专栏小古哥的博客园

H5canvas赛车游戏-基于lufylegend引擎

lufylegend引擎是canvas游戏中,比较简单的引擎之一,它不需要配置环境,类似引入jquery包的方式,引用对应js文件即可 lufylegend官方...

32440
来自专栏BestSDK

全球电脑手机无一幸免,英特尔CPU“漏洞事件”到底多严重?

一 漏洞背景和影响 1月4日,国外安全研究机构公布了两组CPU漏洞: Meltdown(熔断),对应漏洞CVE-2017-5754; Spectre(幽灵),对...

35240
来自专栏ytkah

微信公众平台数据接口正式对所有认证公众号开放

  经过10多天的微信公众平台数据接口内测,现在正式对所有认证公众号开放了。微信公众平台数据接口正式向所有已微信认证(通过资质认证即可)的服务号和订阅号开放。通...

50730
来自专栏Python中文社区

用Python把告警日志发到微信上

專 欄 ❈RaPoSpectre,Python中文社区专栏作者。 网站:www.rapospectre.com❈ 前言 笔者所在公司项目的告警信息会通过钉钉发...

1K90
来自专栏*坤的Blog

提高效率

14120
来自专栏FreeBuf

魔兽世界中招:一条命令行就能劫持你的游戏!

最近出现了一种涉及社工技术的新型游戏攻击骗局,攻击者利用了魔兽世界(World of Warcraft,WoW)游戏插件中一个隐藏的功能。 新型攻击 想象一下这...

60980
来自专栏owent

[转]类似github的框架

github是程序员经常上的网站,但如果是在一家苦逼不能访问外网的公司,那不能把自己的代码托管在github上绝对是一件非常痛苦的事情。如 果想要在公司内网也可...

21010
来自专栏SAP最佳业务实践

SAP最佳业务实践:FI–应收帐款(157)-7 F110自动付款

4.8 F110使用自动付款程序或电子支付中心(EPIC)过帐付款 该付款程序使您可以执行自动供应商和客户的国内和国际付款事务。它将创建付款凭证,并使数据可用...

45860
来自专栏HaHack

化繁为简的企业级Git管理实战(三):分支管理策略

14040

扫码关注云+社区

领取腾讯云代金券