从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...在此基础上,淘宝及天猫还在不断吸收来自消费者的反馈,优化功能,比如在 2021 年开始支持购物车实时显示券后到手价、搜索已经购买过的订单……应用上大量的操作请求流转到技术后台,给数据库带来了不小的压力。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...“那这背后对于一个新的数据库产品类型的要求,实际上整个业界大家都是在探索阶段。” 写在最后 双 11 双 12 背后的数据库技术支持远不止于此。
双11的羊毛党 薅走的营销资源竟相当于 150214台 iPhone X 恶意数据请求如何分布? 羊毛党们如何玩? 腾讯云如何做? 一张图带你了解
主要看点如下: 1.深入揭秘DBbrain智能优化引擎架构及原理 2.DBbrain推出业内首个SQL优化效果对比功能 为了便于大家理解DBbrain的SQL优化功能的使用场景和设计背景,先简单聊一聊...那么接下来就为大家揭秘,DBbrain的智能优化引擎是如何进行SQL优化的。 基于规则和代价估算的SQL优化建议 DBbrain的SQL优化引擎独立于数据库,避免对原生数据库引擎进行侵入。...在不更改用户数据库的前提下,DBbrain智能优化引擎能够对给出的SQL优化建议进行效果评估。SQL代价估算引擎在该功能中起到主要作用。...下面我们通过一个现网真实案例进行展示: 1、优化效果提前预知 DBbrain智能优化引擎通过代价对比,直观呈现出SQL优化后降低99.19%的效果,也可通过优化前后的执行计划比对进一步验证优化的效果...1.jpg 2、智能建议省时省力 DBbrain智能优化引擎给出的SQL重写+增加索引相结合的建议对SQL进行性能优化 1.jpg 3、辅助用户理解优化 为了辅助用户更好的理解优化,DBbrain
这是学习笔记的第 2084 篇文章 今天在圈子里面有一篇文章很火, 前沿 | VLDB 2019论文解读:大规模数据库智能参数优化的创新与实践 在智能运维方向上算是迈出了坚实的一步,而这篇文章对运维方向的感触很深的一个原因就是优化的切入点很准很实际...,而不是以模型先行的偏理论方向的优化。...智能运维方向在前期的投入是比较大的,而且本身智能方向的理论门槛较高,从我的理解来说,以一个具体的业务场景做深做透,融入智能方向,会有一些帮助,而以这个作为切入点,逐步延伸,使得前期的成本投入能够尽可能平摊出来...我特别赞成那种把一件事情做到极致的方式,很多事情都是触类旁通,我们运维的数据库环境也是如此,如果你能够像呵护你的孩子/宠物一样去管理一台数据库,那么你投入的精力和成本是不低的,但是按照这种思路,我们可以复制已有的经验...智能运维带给我们的是更多的补充,是我们通过常规运维难以发现和掌握的信息。
一、自适应查询优化 到目前为止,Oracle 12c数据库中最大的变化是自适应查询优化。...(图1:新的自适应查询优化功能的构成组件) Oracle数据库12c第二版默认启用的自适应功能与Oracle数据库12c第一版不同。详细信息请参见下面的“初始化参数”部分。...从Oracle数据库 12c第一版开始, 动态取样被强化为动态统计信息。...为了将对性能的影响减到最低,在Oracle数据库12c第一版中,动态取样查询的结果将会被保留在数据库的服务器结果缓存,从Oracle数据库12c第二版开始会保留在SQL计划指令的知识库中。...Oracle 12c数据库支持多种不同形式的重优化。
使用多列索引时主意顺序和查询条件保持一致,同时删除不必要的单列索引 查询SQL 可通过开启慢查询日志来找出较慢的SQL 不做列运算:SELECT id WHERE age+1=10,任何对列的操作都将导致表扫描,它包括数据库教程函数...12.我们在试试使用创建组合索引,使用性别和姓名 alter table employees_tmp add index idx_union (first_name,gender); 在执行sql查看sql...索引建的好真的一个好帮手,建不好就是费时的一个操作 目前还不知道为什么建立性别的索引会这么慢 二:sql优化注意要点,比如索引是否用到,查询优化是否改变了执行计划,以及一些细节 场景 我用的数据库是mysql5.6...但是1s的时间还是太长了,还能进行优化吗,仔细看执行计划: ? 查看优化后的sql: SELECT `YSB`.`s`.`s_id` AS `s_id`, `YSB`.`s`....,后续再分享其他的sql优化经历。
原文链接 http://www.oracle.com/technetwork/database/bi-datawarehousing/twp-bp-for-stats-gather-12c-1967354...这些必要的信息通常被称为optimizer statistics(优化器统计信息)。理解和管理优化器统计信息是优化SQL执行的关键。...在Oracle数据库11g之前,数据库管理员往往设置estimate_precent参数为很低的值确保统计信息能被快速收集。...这一点尤为重要,因为12C开始引入了新的直方图类型,混合和Top-Frequency,这些直方图只能在参数保持默认的auto_sample_size才能被收集。...所以当数据库升级到12CR2后,可以考虑使用preference_overrides_parameter参数覆盖手动统计信息收集使用的默认参数。或者直接修改统计信息收集脚本。
.pdf 译者 杨禹航 何时收集统计信息 为了选择最佳执行计划,优化器必须可以获得有代表性的统计信息。...有代表性的统计数据不必是最新的,而是一组能够帮助优化器确定执行计划中每个操作所能返回的行数。...出于这些原因,Oracle数据库12cR2包含了一个新的优化统计顾问,来帮助您提高数据库中的统计信息的质量。该优化统计顾问分析数据字典中的信息,评估统计数据的质量,并发现如何收集统计信息。...这些建议可以通过操作自动实现(立即或通过自动生成的脚本由数据库管理员执行)。 ? 图7: 优化统计顾问 优化统计顾问任务是在维护窗口中自动运行,但也可以按需运行。...图12显示了DBMS_STATS.GATHER_SCHEMA_STATS在不同级别创建作业。
2024年4月12日-13日, 第十三届数据技术嘉年华(DTC 2024)在北京落幕,腾讯云数据库受邀出席,与参会者深入探讨了数据库未来发展趋势和腾讯云数据库全面赋能企业创新的实战经验。...除此之外,还有完善的SaaS配套工具,包括数据迁移工具DTS-DBbridge和数据库智能诊断工具DBbrain等,助力用户高效智能运维。...聚焦国产化+智能化 在快速发展的数据库行业中,国产化与AI智能化正成为主导力量。其中,腾讯云自研数据库TDSQL因其卓越的性能和安全性,受到了众多客户的青睐。 为何TDSQL备受欢迎?...而保险、资管等非银行类金融机构要求国产数据库不仅要做到与Oracle相兼容,同时还要实现性能优化。...在4月12日下午的“数据库与人工智能”分论坛中,腾讯云高级工程师郑喜亮详细介绍了腾讯云向量数据库的技术先进性及其在大语言模型(LLM)应用中的关键作用。
性能指标和监控 对于任何数据库管理系统,尤其是MySQL,了解其性能指标以及如何监控这些指标是至关重要的。这不仅可以确保数据库的高效运行,还可以在出现问题时迅速定位并解决。...吞吐量:单位时间内数据库可以处理的查询数量。 缓冲池命中率:InnoDB缓冲池中缓存的数据页与请求的数据页的比率。 索引效率:使用索引进行查询与全表扫描查询的比率。...结合上述方法和工具,你可以获得关于数据库性能的全面视图,从而作出明智的优化和扩展决策。 优化查询和数据库结构 MySQL的查询优化和数据库结构优化是提高数据库性能的重要步骤。...数据库结构优化 示例1: 规范化(Normalization) 避免数据冗余和其他潜在问题。例如,如果有多个表存储相同的数据,应考虑合并这些表。...硬件和配置优化 MySQL的性能不仅取决于查询和数据库结构的设计,还与服务器硬件和配置设置密切相关。以下是一些建议和具体示例,帮助你优化MySQL的硬件和配置。 1.
keyword' )>0 5.FIND_IN_SET(str1,str2)方法 SELECT * FROM `person` WHERE FIND_IN_SET('apply',`name`); 总结 like优化大部分写法都是返回索引位置来提升查询效率
4分钟内,刘先生选购的商品被贴上了菜鸟电子面单,从仓库中发出;12分18秒,包裹就已经被送到他家门口。当快递员敲响刘先生的家门时,他甚至还在“血拼”。...在回顾菜鸟在双11的表现时,丁宏伟自豪地告诉DT君。 双11独特的业务场景其实只是菜鸟网络的一部分,丁宏伟说到,他计划的智慧物流体系可不仅只是“快”而已。...这个过程中,它要对多智能体协同、路径优化、图像识别、避免碰撞等各种数据问题的进行综合考量,从全局做出判断,这是智能物流比较大的一个应用场景。”丁宏伟说到。...在丁宏伟看来,智能物流的“智能”本质在于:通过各种技术能力获取全局的实时的高质量的各类物流要素的数据信息,来进行更合理更优化的决策。 大数据的“大”就在于一个“全局性”的把握。...正是有了这种全局的数据能力,菜鸟才能帮助物流合作伙伴在12分钟内把快递送到上海的刘先生家中。不过丁宏伟也强调,电子面单这样的基本信息化服务依然非常重要,因为物流数据的信息化是智能物流的基础要求。
让智能运维不只是概念,而是实践 要说2018年最火的前沿技术,“智能”乃首当其冲的关键词之一。...宋辉 新炬网络运维产品部总经理 讲师介绍:10年以上Oracle数据库技术支持、运维管理经验,支持过的数据库超1000套,长期为大型企业核心业务系统数据库提供方案设计、性能优化、故障处理、应急容灾、安装配置等技术服力...在15年的数据库项目管理实践过程中积累了丰富的实战经验。 张良 小米运维DBA负责人 讲师介绍:小米智能云运维部DBA负责人。八年数据库相关产品运维及开发经验,精通大规模数据库系统运维及架构优化。...目前负责小米智能云数据库架构优化及团队建议。...部分精彩议题 基于AIOps的无人运维 从可视化、自动化到智能化的企业级AIOps演进与落地 小米智能SQL优化与改写 更多干货议题持续更新中…… 希望能在讲解技术细节的同时多增加一些实用性的内容,提供更多大型互联网公司或是转型成功的传统企业的实践案例分享
他们说,最大的客户之一要求该公司在截止12月的第二财季“大幅减少出货量”。 于是业绩预测里,称可能会减少7000万美元。 ?...知名苹果分析师、天风国际证券(TF International Securities)的郭明錤周一发布研报,将苹果iPhone XR智能手机的出货量预期下调了3000万部。...即便在价格相对较低的美国,人们也开始选购价格更实惠的智能手机,比如中国的一加等。 而在中国,虽然iPhone此次拿下了双11的畅销冠军,但更重要的原因也是中国“土豪”不顾昂贵售价的“卖肾”支持。...其实原本10月底发布的新款全面屏iPad Pro,也是能赶上双11的。 ? 当时发布会上,中国是首发地区之一,而且最快发货时间还是11月7日。
2.中端用户 这里针对的是《守望先锋》和不追求极致特效的3A大作玩家,这种游戏一般优化较好,一般有4线程以上的优化,这里建议非超频用户选购i5-6500/Ryzen 5 1500X,超频用户可以选择i5...在显卡的选购方面依然没有什么很好的选择,型号可以选GTX 1060/1070,对于预算不够的可以考虑9开头的显卡比如GTX 960 970等。具体情况可以根据所玩的游戏进行选择。...显卡方面推荐单卡1080或者1080Ti,无论预算再高也是如此,目前各大游戏对双卡的优化参差不齐,双卡的体验很可能没单卡好,虽然帧数会高一些,但是帧生成时间太长,画面卡顿的情况会不时出现,尤其在这个显卡疯狂涨价的时候...,大家千万不要为了追求更强的游戏性能去选择双卡,那样做得不偿失,就好比之前XX游戏(这里不点名)4路泰坦都费劲的游戏。
2014年年底,NVIDIA 再为加速运算平台增添最新旗舰级产品,宣布推出全新 Tesla K80 双 GPU 加速器,专为机器学习、资料分析、科学和高效能运算 (HPC) 等广泛应用而设,提供多 2...全新 Tesla K80 双 GPU 加速器是 Tesla 加速运算系列的旗舰级产品,特别针对大型科学探索和深入分析的顶尖运算平台,结合最快的 GPU 加速器、 CUDA 平行运算以及完整的软件开发者、...效能方面, Tesla K80 双 GPU 加速器可透过一卡双 GPU 提供双倍传输量,内置 24GB GDDR5 存储器,每颗 GPU 有 12GB 存储器,比上代 Tesla K40 GPU 提供多两倍存储器处理更大的资料集分析...目前针对用户容易在选购中忽视的几个细节,特意整理如下: 1. 目前销售的Tesla K80为被动散热,适合装在机架式服务器上,不适合安装在工作站上。...如果您是使用工作站,就只能考虑选购Tesla K40C或者Tesla K20C。 2. Tesla K80是双GPU核的,因此您在编程的过程中要当作2颗GPU来使用。
图13:改变默认方式:从全局临时表不共享统计信息到共享统计信息 如果你是从11g升级到12c,但数据库应用没有被修改去利用全局临时表的会话统计信息,你可能需要保持全局临时表默认的方式与升级之前一致,通过设置...收集其他类型的统计信息 自从基于成本的优化器是现在唯一被支持的优化器,数据库中所有的表需要有统计信息,包括所有的字典表(owner是sys、system等等,且位于system、sysaux表空间中的表...exec dbms_stats.set_global_prefs('autostats_target','oracle') 内部对象统计信息 从oracle数据库12c开始,内部对象统计信息如果之前没有被收集过...在此版本之前,数据库是不会收集内部对象统计信息的。不像其他的数据库表,当统计信息缺失时动态采样不会自动应用于包含x$表的sql语句,此时优化器会使用预定义的统计信息默认值。...with Oracle Database 12c Release 2 Oracle白皮书:Database 12c Real Application Testing Overview
数据库容灾系统规划实施经验,各种疑难杂症问题处理经验,各种平台版本数据库维护、优化经验等,在性能优化、规划设计、故障处理、安装配置等技术领域有自己独到的见解和处理经验。...,对数据库的服务质量,运维效率,成本优化,数据安全等方面有丰富的管理经验 程参与vivo移动互联网高速发展的过程,带领团队在集群规模高速增长的前提下,通过技术更新流程优化等手段,有效的保障了数据库服务的可用性...演讲主题:《快手在NewSQL数据库的探索和实践》 应“云”而生的便捷与复杂,如何扬长补短 刘天斯 腾讯游戏 营销SRE负责人 腾讯游戏营销SRE负责人,腾讯T12级技术专家,国家工程实验室兹聘专家...个人著作:《python自动化运维:技术与实践》、《循序渐进学Docker》、《第一次使用Docker就上手》、《破解数据治理之谜》等,发明专利12个。...>>>> 更多同期精彩活动 DAMS中国数据智能管理峰会: 《京东OLAP云原生&存算分离落地实践》京东 OLAP团队负责人 李阳 《数据库故障分析&性能优化平台建设》美团 数据库自治服务团队负责人 沈裕锋
领取专属 10元无门槛券
手把手带您无忧上云