首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

首次揭秘1112背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的 11 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...“大促的时候用比较高规格的存储机头,就是计算存储节点,一些熟悉数据库朋友的可能把它定义为引擎层、执行层,那是一个高规格的数据执行节点,但是我在日常不需要这么的节点,就意味着它有个升降配的过程。...“那这背后对于一个新的数据库产品类型的要求,实际上整个业界大家都是在探索阶段。” 写在最后 11 12 背后的数据库技术支持远不止于此。

31.7K50
您找到你想要的搜索结果了吗?
是的
没有找到

应用安全与数据安全的工作边界在哪;甲方如何管控对乙方的授权 | FB甲方群话题讨论

作为甲方,如何实现对乙方运维团队授权的各类高级权限(如服务器、数据库root权限、安全设备权限)管控、审计,以防范违规或未授权操作?...A12: 类似监管角色,定期做个人信息风险评估,建立风险隐患清单,持续跟进整改,这个特别需要领导的重视和支持。...A11: 我们之前就是乙方用的终端是公司的,开堡垒机,分配权限,定期审计包括终端和堡垒机操作。 A12: 整审计就行,看审计的细粒度能不能覆盖,能覆盖的话没啥问题。...Q:私有部署的数据库审计是不是等保三必须呢?哪家比较靠谱呀? A1: 等保没有必须的设备,都是基于风险来的,如果你的数据很特殊没有审计就是高风险才是必须上数据审计。...,所以搞个网络层的数据库审计最省事,也省钱。

27530

2022 IoTDB Summit:天谋科技刘海《Timecho:孵化于Apache IoTDB的开源商业化公司及其核心产品》

12 月 3 日、4日,2022 Apache IoTDB 物联网生态大会在线上圆满落幕。...02 TimechoDB:物联网数据库的 数据全生命周期管理 的,这是关于公司的一个非常简短的介绍。下面主要重点跟大家介绍一下我们公司的商业化产品,TimechoDB。...除了活、监控等等,我们在企业版中还增加了很多非常丰富的功能。比方说这里头举例的审计日志的功能和白名单的功能。...多数情况下,因为时序数据库的特点它有海量的写入,那么如果把每一个写入都做一个审计记录的话,信息会是海量的,审计日志会远远大于这个数据库大小了,多数情况下这是不经济的。...上面正好有一个图也可以看到,这里头也展示了我们活的一些元信息,IP 地址等等。 除了审计日志功能,我们也提供了数据库的白名单功能。

1.1K30

携程事件启发:监督和审计也是关键

刚刚开始是各种调侃,其中要求对运维人员一点的呼声最高、传播最广,然后是携程老板悬赏100万解决问题,到了晚间央视财经网、腾讯网、新浪网、地方电台等主流媒体都发表了该事件的看法,其中也有很多的负面信息。...可采用运维审计系统,实现运维人员实名制、因子认证、最小权限控制、运维过程审计等,让整个运维环节可控、可追溯。   ...建立安全策略的有效性审计措施,可通过上述数据库审计、运维审计、流量审计等日志审计系统,及时验证防火墙等访问控制设备的策略有效性,也可以辅以安全渗透测试、模拟攻击等手段来验证。...比如数据中心防火墙规定仅允许了192.168.1.100-110共10个IP地址访问数据库,那数据库审计系统上就可以设置相应的审计措施,来动态监测是否有查处这些IP地址范围的人来访问,如果有就进行实时告警...建立综合审计管理平台,能够收集数据库审计、运维审计、系统、安全设备、网络设备等各个方面的审计日志,然后分类进行展示,帮助审计部门全面掌握各个环节的状况。

1.6K40

数据库平滑拆库方案

,由于没有使用配置中心,业务的客户端多,分布广,并且业务连续性要求没办法停服做变更,没办法做到所有的客户端配置同时一把切到新实例,这就有带来数据写的风险,为了解决这个问题,我们整理相关的平滑拆库方案。...4、确认流量切分干净和实例A与实例B同步关系追平,就可以把后端的实例B的VIP重新绑定为自身实例的后端网关节点,并且中断同步关系(如果有些节点没办法排查到修改,为了避免写,可以把实例A的对应库权限回收...这个方案的关键难点在于,实际上数据库审计记录的是业务客户端的实际ip,这样通过审计没办法区分是通过实例A还是实例B过来的请求。 方案 经过验证后,有两种方案解决这个问题。...方案一:通过新账号和数据库审计的能力解决 因为同一个账号,抓包和审计都没办法区分哪个客户端通过实例B的VIP来访问拆分出来的库表。...点击数据库审计,选择未开启的审计实例,选定审计实例开启审计功能,默认选择全审计即可。

79830

TiDB 助力东南亚领先电商 Shopee 业务升级

2018 年 11 促销日,Shopee 单日订单超过 1100 万,是 2017 年 11 的 4.5 倍;刚刚过去的 12 促销日再创新高,实现单日 1200 万订单。...审计日志系统:审计日志数据库存储每一个电商订单的支付和物流等状态变化日志。 本文将重点展开风控日志数据库选型和上线的过程,后面也会约略提及上线后系统扩容和性能监控状况。...理论上,在写停掉之前,若新的 TiDB 集群遭遇短时间内无法修复的问题,则应用程序有可能快速回退到 MySQL。 除此之外,采用写方式也让我们有了重构数据库设计的机会。...Total 曲线] 图 5 风控日志 TiDB 数据库 QPS Total 曲线 风控日志数据库的日常 QPS(如图 5 所示)一般低于每秒 20K,在最近的 12...1. row *************************** Db_name: aaa_db Table_name: xxx_tab Update_time: 2018-12

3K00

【云顾问-混沌】腾讯云的云上容灾实践

在2023年11月12日,刚经过11的购物节大压力的阿里,却从17:44起发生了服务宕机,旗下的淘宝、闲鱼、饿了么等服务出现服务中断,甚至让高校学生宿舍的洗衣机都“宕机”了。...https://status.aliyun.com/#/historyEvent 开始时间 (GMT+8) : 2023-11-12 17:44 结束时间 (GMT+8) : 2023-11-12 21...大数据开发治理平台 DataWorks、智能媒体服务、媒体处理、视频点播、对象存储、文件存储NAS、表格存储、日志服务、云存储网关、文件存储 HDFS 版、块存储、混合云备份服务、密钥管理服务、云防火墙、数据库审计...、服务器迁移中心、运维编排、智能计算灵骏、云呼叫中心、交通云控平台、客服工作台、视觉智能开放平台、智能外呼机器人、智能语音交互、智能对话机器人、智能用户增长、运维事件中心、新零售智能助理、智能录质检、...物联网智能视频服务、物联网无线连接服务、CDN、云数据传输、数据语音、智能接入网关、全站加速、ChatAPP 消息、全球加速、安全加速 SCDN、边缘节点服务 ENS、访问控制、资源管理、云监控、配置审计

51271

从 Notion 分片 Postgres 中吸取的教训(Notion 工程团队)

对于任何迁移,我们的一般框架都是这样的: 写(Double-write):传入的写入同时应用于旧数据库和新数据库。 回填(Backfill):写开始后,将旧数据迁移到新数据库。...验证(Verification):确保新数据库中数据的完整性。 切换(Switch-over):实际切换到新数据库。这可以逐步完成,例如:读,然后迁移所有的读。...用审计日志双重写入 写阶段确保新数据同时填充新旧数据库,即使新数据库尚未使用。...写有几种选择: 直接写入两个数据库:看似简单,但任何一种写入的任何问题都可能很快导致数据库之间的不一致,从而使这种方法对于关键路径生产数据存储来说过于不稳定。...通过以任何顺序运行追赶脚本和回填,新数据库最终将聚合以复制整体。 验证数据完整性 迁移仅与底层数据的完整性一样,因此在分片与单体应用保持同步后,我们开始验证正确性的过程。

1.3K20

网络安全:堡垒机相关知识介绍

堡垒机,就是在一个特定的网络环境下,为了保障网络和数据不受来自外部和内部用户的入侵和破坏,采用各种技术手段监控和记录运维人员对网络内的服务器、网络设备、安全设备、数据库等设备的操作行为,以便集中报警、及时处理及审计定责...3、堡垒机的发展 工具时代主要是作为跳板机的运维工具 场景化时代自动运维、自动改密、工单、应用中心 云计算时代云资产平滑接入、VPC、数据库运维、AI运维推荐、云中心。...9、堡垒机的组成 常见堡垒机的主要功能架构: 目前常见堡垒机主要功能分为以下几个模块: 运维平台RDP/VNC运维;SSH/Telnet运维;SFTP/FTP运维;数据库运维;Web系统运维;远程应用运维...堡垒机的身份认证 堡垒机主要就是为了做统一运维入口,所以登录堡垒机就支持灵活的身份认证方式: 本地认证:本地账号密码认证,一般支持强密码策略 远程认证:一般可支持第三方AD/LDAP/Radius认证 因子认证...12、堡垒机其他常用功能: 文件传输:一般都是登录堡垒机,通过堡垒机中转。使用RDP/SFTP/FTP/SCP/RZ/SZ等传输协议传输。 细粒度控制:可以对访问用户、命令、传输等进行精细化控制。

3.1K20

一款比 JumpServer 更轻量、更牛逼的堡垒机!

在特定的网络环境下,它运用各种技术手段对网络内的服务器、网络设备、安全设备、数据库等设备的操作行为进行监控和管理,以便于集中报警、及时处理及审计定责。...堡垒机主要分为以下几种类型: 网关型堡垒机 运维审计型堡垒机 Jumpserver 是全球首款完全开源的堡垒机,交互界面美观、用户体验。...Next Terminal 简介 Next Terminal是一个简单、好用且安全的开源交互审计系统,也被称为轻量级堡垒机系统。...Next Terminal 功能丰富:包括授权凭证管理、资产管理、指令管理、批量执行命令、在线会话管理(如监控和强制断开)、离线会话管理(如查看录屏)、因素认证、资产标签、资产授权、多用户与用户分组、...docker 安装 Next Terminal 也支持MySQL数据库,这里使用 sqlite 存储数据。

1.6K11

终于等到你,Percona MySQL8.0 GA版本发布

Percona 在12月21日 发布对Percona Server 8.0 GA版本。 在支持MySQL8.0社区的基础版上。...Percona Server for MySQL 8.0版本中带来了许多新功能: 一、安全性和合规性: 审计日志插件:提供数据库活动的监视和日志记录。...基于PAM的身份验证插件:通过与PAM模块的基础,双重验证单登陆(SSO)和因素身份验证(2FA)系统集成。此功能与MySQL Enterprise Auditing相当。...增强加密:增强对二进制日志加密,临时文件加密,对所有innodb表空间类型和日志的机密支持,并行写缓冲区加密。此功能与MySQL Enterprise Auditing相当。...InnoDB引擎增加功能:通过并行写,多线程LRU刷新和单页去除,实现高度并发的IO绑定工作负载,从而显著提高性能。

2.1K50

Oracle在找死?No Zuo No Die !

数据库研究的也都知道SIGMOS和VLDB两大数据库的顶级会议。这两大会议年年开,正所谓年年岁岁花相似,岁岁年年人相同。...我们知道数据库领域的发展,尤其是互联网公司的出现,和大数据的发展,导致了一个在关系数据库的人看来很奇怪也很不爽的现象。以前的数据库,其实就是关系数据库,统治地球很多年。...大家要用数据库,就买关系数据库,关系数据库哪家最牛逼,当然是Oracle。...无论是看到数据,还是说权限管理,监控审计等,都有好处。坏处就是面面俱到的产品,也就是面面平庸的东西。弄不好成本还要更高。...但是要想服务阿里巴巴的双十一这种场景,多半够呛。当然,Oracle的用户也不需要伺候阿里巴巴,毕竟,伺候更多更有钱的企业就够了。 但我估计是不会用Oracle的。

3.1K50

拿了offer,为什么会觉得寒碜和丢人?

今天分享一下阿秀帮助一位阿秀的学习圈里的本科学弟选择offer的文章,这位学弟今年非大四在读,秋招期间阿秀还帮他修改过简历,他并没有拿到任何互联网大厂的offer,只拿到了两个普通公司的offer,但他的经历依然值得分享...1、学弟的提问 秀哥,本人某普通非大四,之前请秀哥帮修改过简历,我从9月5号到现在投了快60家公司的Java后端开发,目前拿到两家公司的实习offer,其余基本都挂掉了,目前只有广州一家公司的面试还在流程中...该公司的面试流程很简单,就一轮技术面,而且难度很低,就简单八股问点hashmap、数据库事务的那种,个人感觉不是很规范。...请秀哥指导一下哪家被坑几率可能要小些?我应该选择哪家会比较好(也确实没其他选择了有点寒碜哈哈哈) 2、阿秀的回答 学弟,你好。...A这个有点像是承包国企业务的乙方,B确实好点,但还是先去查查为;如果是B像我说的,就优先去A试试。

3.5K20

网络安全设备分类清单

在电力行业的网改造项目后,采用堡垒机来完成双网隔离之后跨网访问的问题,能够很好的解决网之间的访问的安全问题。...DAS(数据库审计系统) Database Audit System(简称DAS)是能够实时监视、记录网络上的数据库活动,对数据库操作进行细粒度审计的合规性管理系统。...DAS是一款专业、实时进行数据库访问监视与审计数据库安全设备。...1 - 多角度分析数据库活动,对异常的行为进行告警通知、审计记录、时候追踪分析功能 - 2 - 独立配置和部署, 在不影响数据库的前提下,达到安全管理的目的 DAS支持 3 - 灵活的部署模式,包括旁路和多级部署模式...5 - 达到细粒度访问审计配置的目的,直接对数据库用户权限进行细粒度划分,对于违反细粒度策略的访问行为进行审计、告警,从而确保数据库操作达到合规性要求。 9.

6.4K20

数据库的三大糟心时刻,你中招了吗

数据库发展至今,已经有许多人为的分类和产品,开发者使用最多的关系型数据库,包括MySQL、PG和SQL Server;为适应新的业务逻辑和场景而生的缓存数据库Redis、Memcached;顺应数据爆炸时代的分析型数据库...ClickHouse;以及一些其他的图数据库和时序数据库等。...当然有办法,以后测试,不妨加上这个:数据库智能诊断报告。 在测试环境中开启全量审计日志,记录运行过程中的各种行为,业务全量回归。...这时候,数据库则可以基于全量审计日志和智能诊断系统获得一份专属的数据库诊断报告,这个报告基于真实的运行情况,通过AI来提前发现潜在风险并进行规避。...最后,回归最本质最朴素的需求,数据库存在的意义就是存取和利用数据,这里面,数据库本身并不重要,就像自来水,什么源头的水,哪家公司的产品,什么样的管道,这些并不重要。

1.3K20

Python强势霸榜,彻底甩掉Java!2018 IEEE热门编程语言排行榜;苹果官方代码又泄密了;RxJava 2.2.0

static/interactive-the-top-programming-languages-2018 ‍ 【程序员头条】 1、又推亲儿子,苹果与国际权威机构推出 Swift 资格认证‍ 有资格认证就业...Ruby on Rails 是一个用于开发数据库驱动的网络应用程序的完整框架。Rails基于MVC(模型- 视图- 控制器)设计模式。...Harbor用于容器镜像管理,主要提供基于角色的镜像访问控制、镜像复制、镜像漏洞分析、镜像验真和操作审计等功能。...迄今为止,Harbor 在 GitHub 上已获得超过 4700 颗星‍ 7、iOS 12 Beta 5 官方泄密,iPhone 待将至‍ 有细心的开发者,在昨日更新的 iOS 12 Beta...5 的代码中发现新款 iPhone 支持 SIM 卡的证据。

1.5K10
领券