本文转载自云加社区 导语 | 虽然数据库上云解决了传统数据库很多问题,但如何让云数据库发挥最优的效能,依然充满极大挑战。为解决这一难题,高速发展的云数据库正在走向“自治”。本文是对腾讯云数据库高级产品经理刘迪在云+社区沙龙online的分享整理,为大家带来腾讯云在数据库自治服务领域的探索和实践,希望与大家一同交流。 点击视频查看完整直播回放 一、数据库自治的演进 上图所示是一张关于数据库自治的宏观视图。 业内普遍定义的石器时代大概是在十几、二十年前,刚刚进入数据库发展的快速轨道,当时的技术方案和对于
业内普遍定义的石器时代大概是在十几、二十年前,刚刚进入数据库发展的快速轨道,当时的技术方案和对于数据库的认知都处于一个初级的阶段。
12月14日,腾讯云与知数堂联合举办的3306π年会·深圳站在腾讯滨海大厦举行,腾讯云TDSQL首席架构师张文和腾讯云高级产品经理刘迪受邀分享,和与会者共同探讨数据库的行业应用和AI时代下未来数据库运维的发展趋势。 关注“腾讯云数据库”官方微信,回复“1214”即可下载本文分享的PPT。 张文在主会场分享了TDSQL在银行传统核心系统的应用实践。银行的核心系统相当于银行的大脑,所有和钱有关的交易都需要经过核心系统,完成资金的清算核算。换句话说核心系统需要和其他所有关于钱的系统打交道,因而它的业务逻辑也最
Tech 导读 VOP作为京东企业业务对外的API对接采购供应链解决方案平台,一直致力于从企业采购数字化领域出发,发挥京东数智化供应链能力,通过产业链上下游耦合与链接,有效助力企业客户的成本优化与资产效能提升。本文将介绍VOP如何通过亿级消息仓库系统来保障上千家企业KA客户与京东的数据交互。
当前,随着电商节日的增多(6.18、双十一、双十二)、平台拉新趋于频繁,大促活动也越来越普遍。作为一个电商平台,每年都会有一次,甚至几次的流量“大考”。数据库作为系统的重要节点,其稳定性和性能格外重要,数据库的全力保障是一个大的挑战。电商大促,这场没有硝烟的战争很多人已有体会,在此不再赘述。现在,我们直接切入主题--数据库如何 积极应对,全力保障 大促活动。这个题目分解为三个部分进行讲解: 第一部分,准备工作;第二部分,大促进行时;第三部分,大促后复盘。
背景:5月23-24日,以“焕启”为主题的腾讯“云+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展。 腾讯MySQL内核研发
腾讯MySQL内核研发专家张青林在腾讯“云+未来”峰会的「开发者专场」做了主题为“TXSQL:云计算时代数据库核弹头”的技术内容分享,本次分享从五个方面介绍TXSQL:
KEGG Reaction 是收录酶促反应相关信息的数据库,包含了所有代谢通路中的酶促反应和一些只在enzyme 数据库中有记录的酶促反应,每条记录用R Number 唯一标识。
618大促来临,在零点的时候,你打开购物车、点点点、清空,整个过程一气呵成。但背后,成千上万的数据在马不停蹄、加速流转,以保障消费体验流畅有序。 腾讯云和数据库服务是背后默默守护的“无名英雄”。电商订单、支付、物流等核心链路,都是以数据库为基础。一旦数据库成为瓶颈、或任何细微的疏忽,整个618大促将会变成一个大型“灾难现场”。 一场电商大促,涉及到的数据量有多大? 以一个消费者的购买过程为例,一次下单行为,对于后端数据库就有多次读写调用;如果是秒杀场景就会产生“热点更新”的问题,更是对数据库内核优化能力
Apache Doris 是一款开源的 MPP 分析型数据库产品,不仅能够在亚秒级响应时间即可获得查询结果,有效的支持实时数据分析,而且支持 10PB 以上的超大的数据集。相较于其他业界比较火的 OLAP 数据库系统,Doris 的分布式架构非常简洁,支持弹性伸缩,易于运维,节省大量人力和时间成本。目前国内社区火热,也有美团、小米等大厂在使用。
小红书使用 TiDB 历史可以追溯到 2017 年甚至更早,那时在物流、仓库等对新技术比较感兴趣的场景下应用,在 2018 年 5 月之后,我们就开始逐步铺开,延展到其他适合 TiDB 的场景中去。截止目前,小红书使用的 TiDB 节点数在 200+ 个,未来也有更大扩展空间。
这次为大家报道的是Nature Communiations 上一篇题为”Merging enzymatic and synthetic chemistry with computational synthesis planning” 的文章,来自美国马萨诸塞州麻省理工学院的Connor W. Coley团队。
每年 Shopee 会在五至十二月的每个大促节点举行电视直播活动。每次大促活动时,各市场的运营人员会与当地电视台合作,在节目直播过程中插入一段玩 Shopee 小游戏的互动环节。
官方MySQL 8.0 是非常大的版本,以前的版本号是 5.6、5.7,现在一下飞跃到 8.0,对于 Oracle MySQL官方来说也是非常大的版本,有很多的更新。
5.Reverse PPC(Professionally ProgramCoder)
作者介绍:黄潇 , TUG 北京区 Leader ,TUG 2020 年度 MOA。
每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。
在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!
一年一度的双十一又双叒叕来了,给技术人最好的礼物就是大促技术指南!而经过这些年的发展,大促早已不仅仅局限于电商行业,现在各行各业其实都会采用类似方式做运营活动,汽车界有 818,电商有 618 、11.11 等等,各种各样的大促场景,对包括数据库在内的基础软件提出了很多新挑战,同时也积累了诸多最佳实践。
科技的力量正在对抗新型冠状病毒肺炎疫情的战斗中扮演着不可替代的作用,上线仅三年的小程序,已然成为战“疫”中的核心武器之一,疫情查询、疫情防治、口罩购买、物资捐赠、线上买菜、在线教育、云会议……小程序不仅承载着守护公共卫生的安全,也成为企业复工的最佳拍档。 但全面爆发的小程序背后的安全风险不容忽视。疫情期间,各种各样的小程序集中开发,普遍需要在1-3天的极限时间完成上线,并快速进行服务功能的迭代和升级。而针对小程序的安全标准又十分严苛:确保“0”大型平台问题,“0”数据安全问题。尤其是政务、医疗等公共服务类
携程框架架构研发部技术专家,开源配置中心Apollo作者。2016年初加入携程,主要负责中间件产品的相关研发工作。 毕业于复旦大学软件工程系,曾就职于大众点评,担任后台系统的技术负责人。
随着微服务的流行,应用和机器数量急剧增长,程序配置也愈加繁杂:各种功能的开关、参数的配置、服务器的地址等等。 同时,我们对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境、分集群管理,完善的权限、审核机制等等。
Tech 导读 本文面向受众可以是运营,可以是产品,也可以是研发、测试人员,希望通过如下思路(知历史->清家底->明目标->定战略->做战术->促成长)帮助大家了解电商大促系统的高可用保障,减少那些高深莫测的黑话和高大尚的论调,而希望以体系化的知识让读者有所得。
“是的,你我从未谋面,但是你的一切我都知道,你喜欢逛的网站、爱看的电影、常叫外卖的那家餐厅......”
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
openGauss在部署完成后,实际上会有多个用户参与数据管理。除了管理员用户外,更多的是创建的普通用户直接进行数据管理。用户的多样性会导致数据库存在一些不可预期的风险。如何快速发现和追溯到这些异常的行为,则需要依赖审计机制和审计追踪机制。
|作者 陈松威,18年硕士毕业于华中科技大学,目前在CDB/CynosDB数据库内核团队担任TXSQL云数据库内核研发,开发过的功能包括企业级列加密函数、数据恢复工具、异步审计等。 ---- 第一部分 引言 一、什么是数据库审计 对于一个仓库,如果要防盗,常见做法是出入口全装上监控,一旦有问题了,调监控查找异常情况。对数据库来说也类似,数据库也有出入口,对所有连接出入口监控,可以记录下所有的动作,一旦有问题了,通过查询历史动作并进行分析,可以找到关键信息。故数据库审计可以理解为是记录用户访问数据库行为,定
在日渐火热的数据库安全领域,数据库审计应该是应用最为广泛,用户接受度最高的产品了,没有之一。
审计(Audit)用于监视用户所执行的数据库操作,审计信息可存储于数据字典表,称为审计记录。审计记录存储在SYSTEM表空间中的SYS.AUD表中,可通过视图DBA_AUDIT_TRAIL查看。审计记录也可以存储在操作系统文件中(默认位置为ORACLE_BASE/admin/ORACLE_SID/adump/)。若审计表不存在,则可以通过脚本ORACLE_HOME/rdbms/admin/cataudit.sql来创建。
随着《数据安全法》草案的审议通过,数据安全被提升到了国家安全级别的重要地位,数据变成如同水电一般重要的生产要素。保障数据安全发展和利用,是各个生产部门,监管单位的重要责任。数据安全能力建设也紧紧围绕着数据这一关键要素的生存周期来展开,以此理念而诞生的DSMM框架逐渐成为主流建设规范。数据库作为数据的核心载体,其安全防护是重中之重,而数据库审计则是数据库安全防御体系的重要组成部分。本文将尝试从“以数据为中心”的角度来重新梳理数据库审计的技术进化方向。
A. Auditing is active only when the database is OPEN.
从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。刚刚过去的 2021 年双 11,就有超过 8 亿消费者参与。
A)every update statement executed by scott that updates scott.emp
SQLServer默认开启着错误日志,在服务器-管理-SQL Server日志中:
点击上方蓝字关注每天学习数据库 【迪B课堂】为腾讯云数据库产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在为开发者解决数据库选择和使用过程中遇到的问题。《我说》为迪B课堂的答疑系列,3分钟帮您解决数据库日常运维过程中的小难题。搜索关注腾讯云数据库官方微信,立得10元云代金券,可移动端一键管理数据库。 本期解答的问题是:MySQL误删数据如何规避? 视频核心信息: 关于腾讯云数据库审计 审计策略 定义对哪些用户行为进行审计以及如何响应的策略。 【审核策略】=
数据库的审计功能是指对数据库访问行为进行监管,记录数据库里面发生了什么操作,是数据库系统安全功能的组成部分。
针对以上问题,光有日志审计是完全不够的,无法及时定位故障点和追溯。而使用专业的数据库审计产品又缺乏对运维人员的审计,于是数据库运维审计产品成为最佳选择。
随着越来越多的企业用户将传统的业务系统迁移至虚拟化环境或是云服务商提供的云平台,数据的泄露及篡改风险变的越发严峻,针对数据安全的防护以及事后审计追溯也变得越来越困难。究其原因,主要是传统的数据库审计解决方案是通过旁路分析目标被审计数据库镜像的流量,而虚拟化环境或者云平台由于内部的虚拟交换机(Vswitch)流量很难镜像或者无法镜像,因此传统的数据库审计解决方案不足以应对虚拟化和云平台的数据库审计需求。
随着越来越多的企业用户将传统的业务系统迁移至虚拟化环境或是云服务商提供的云平台,数据的泄露及篡改风险变的越发严峻,针对数据安全的防护以及事后审计追溯也变得越来越困难。究其原因,主要是传统的数据库审计解决方案是通过旁路分析目标被审计数据库镜像的流量,而虚拟化环境或者云平台由于内部的虚拟交换机(Vswitch)流量很难镜像或者无法镜像,因此传统的数据库审计解决方案不足以应对虚拟化和云平台的数据库审计需求。 首先我们对虚拟化及云平台环境中,传统的数据库审计解决方案在典型的几种场景下的优缺点进行解析:
进行数据库审计时会记录审计对象中发生的插入、更新和删除操作,但是不会捕获更改的实际值。要扩展数据库审计,可使用基于值的审计,利用数据库触发器(事件驱动的PL/SQL 构造)来捕获更改的值。
京东快速发展的同时,应用规模、数据中心以及机器的规模都同步倍增,在面对如此大规模的机器,应运而生了京东数据中心操作系统(JDOS,JingdongDatacenter OS)。历经多年时间的技术沉淀与发展,JDOS不仅仅作为京东数据中心操作管理资源,更作为京东统一的PaaS平台致力于支撑业务系统快速交付、稳定运行,基础中间件托管提升基础平台敏捷交付。尤其是线上运行的阿基米德系列系统,将应用于实现京东商城数据中心资源智能调度,支撑在线业务系统与大数据计算混合部署融合计算,并节约采购成本。而每一次的11.11都是对JDOS系统的一次检验和挑战,经过无数次的紧张演练,问题排查,系统升级优化,服务应用快速交付;从容支撑大促高峰流量,保障了业务的高速发展。
做为企业IT应用系统的基础,数据库系统的安全至关重要,它承载了企业运营的关键数据,是企业最核心的IT资产。在数据库安全的日常管理中,内部人员的违规操作和外部黑客对系统的入侵是其所面临的主要安全风险。而数据库审计在数据库安全管理中的重要性不言而喻,下面让我们通过陕西省某大学一则真实的案例来体会数据库审计在入侵行为审计中的作用。 1 事件起因 2015年1月15日16:50,安恒信息的技术工程师接到客户电话:发现业务系统可能被“拖库”,需要协助客户对越权拖库行为进行调查! 17:50,技术工程师到达客户现场的时
我们的项目要引入消息队列了,之前只是听说使用消息队列有什么什么好处,感觉挺高大上的,自己也只是看过各种消息队列的技术文章,流行的几种消息队列中间件也都自己搭建过,写过demo,所以现在要引入消息队列了,好激动啊,要用新技术了。出于大家都不了解消息队列,所以要在项目组内部对各位开发进行一个简单的科普。以下就是我自己整理的消息队列的科普知识,希望对大家有所帮助。
所谓三层体系结构,是在客户端与数据库之间加入了一个“中间层”,也叫组件层。三层架构隔离出两块区域,客户端到组件层之间称为应用层区域,组件层到数据库之间称为数据库层区域。
企业使用数据库,可能面临如下安全风险,该类风险需要完整的事后审计和追溯机制,数据库审计能力就由此诞生。
数据库审计平台(简称DB Audit),实时记录用户操作数据库的行为,对数据库操作进行细粒度审计的合规性管理,对数据库遭受到的风险行为进行实时告警。通过对用户访问数据库行为记录、分析和汇报,来帮助DBA事后生成合规报告、事故追根溯源,同时通过搜索技术提供高效查询审计报告,定位事件原因,以便日后查询、分析、过滤,实现加强内外部数据库网络行为的监控与审计,提高数据资产安全。
https://mp.weixin.qq.com/s/syM4ReAWpZ5d4KI87ogpiQ 作者|马超编辑|薛梁过去两年严选提出并设计了统一售后模型、最大可退金额、和多级退款引擎等概念,抽象出了销退支持、上门取件、极速退款、售后风控等通用能力,经过几次架构演变,有效的降低了业务逻辑耦合和复杂度,可以做到上层业务的快速搭建和服务接入。 作为电商产品,交易在严选的业务中承担着重要的角色。随着业务的不断发展,交易场景的定制化和差异化开始凸显,同时第三方支付合作方的接入也越来越多,如何在保证交易服务安全稳定
在电商大促时,为了能够合理地制定KPI、高效地商品备货和营销资源的安排,都通常都需要对这次大促的GMV和订单规模做预测,避免出现诸如产品断货或者过剩、人员效率不高等问题,导致客户流失未能成交。
今年是我的第6个618,因为入职的时间比较"合适",使得我经历了每年两次完整的大促备战。那年还在北辰,618的当晚,我记忆的很清晰,接近凌晨1点左右的时候,我们聚集在楼道里面,大家举杯相庆,来祝贺刚刚平稳度过的大促。从此这样的场景在每年的这个时候都会经历一次,激动一次。每一次大促备战都是一场全兵演练,我们在这个战斗过程中,团队合作、技术实战、用户意识上都有一个立体的提升。站在每年的这一刻往前看,一路走过来的却是好些个不平凡的白天和夜晚。正如我们国家的乒乓球队在每次国际比赛中都有一个完美的结局,但过程从来不缺乏紧张、风险和刺激。
领取专属 10元无门槛券
手把手带您无忧上云