京东快速发展的同时,应用规模、数据中心以及机器的规模都同步倍增,在面对如此大规模的机器,应运而生了京东数据中心操作系统(JDOS,JingdongDatacenter OS)。历经多年时间的技术沉淀与发展,JDOS不仅仅作为京东数据中心操作管理资源,更作为京东统一的PaaS平台致力于支撑业务系统快速交付、稳定运行,基础中间件托管提升基础平台敏捷交付。尤其是线上运行的阿基米德系列系统,将应用于实现京东商城数据中心资源智能调度,支撑在线业务系统与大数据计算混合部署融合计算,并节约采购成本。而每一次的11.11都是对JDOS系统的一次检验和挑战,经过无数次的紧张演练,问题排查,系统升级优化,服务应用快速交付;从容支撑大促高峰流量,保障了业务的高速发展。
一年一度的双十一又双叒叕来了,给技术人最好的礼物就是大促技术指南!而经过这些年的发展,大促早已不仅仅局限于电商行业,现在各行各业其实都会采用类似方式做运营活动,汽车界有 818,电商有 618 、11.11 等等,各种各样的大促场景,对包括数据库在内的基础软件提出了很多新挑战,同时也积累了诸多最佳实践。
有时候要下个定义挺难的,那么就从具体来说吧。博主曾经在京东工作过,大家都知道京东是个大型网站,这点应该没有异议。那它有哪些特点呢?
云服务器控制台实例列表页面支持页签及列表视图,您可参考本文进行页面视图切换。 页签视图具备实例自助检测工具自动发起检测、可快速获取实例信息及高频操作入口等优势。建议您在拥有云服务器数量 ≤ 5台时,使用页签视图。
用户在咨询弹性伸缩服务时,觉得该产品挺好,但一经解释,发现不能用(软件架构不支持)。原因是,使用该产品,需要做到“应用无状态化”。
业务系统上云后,得益于丰富的云产品,让高并发的系统架构成为可以,如支持海量的用户访问、解决跨运营商的互联问题等以前私有云难以解决的问题。我们今天介绍一下简单的高并发系统设计案例。
在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!
2021 Gdevops全球敏捷运维峰会 - 广州站,将在5月28日盛大举办。Gdevops经过创办6年成功举行近20场大会的经验积淀,于本次峰会打磨精选出最贴合当下运维痛难点及运维转型趋势热点的议题,本文带大家先睹为快。 腾讯大讲堂·限时专属优惠 报名 福利一: 扫描下方二维码,关注腾讯大讲堂,回复“Gdevops全球敏捷运维峰会·广州站”,就有机会抽取免费门票 福利二: 限时特价优惠门票有限,码上报名 运维主题看点 讲师介绍:现任职新炬网络副总裁,多年跨国大型IT企业的团队管理、销售和市
2016年初,京东在印尼正式落地了第一个海外本土站点;今年11.11,京东印尼站当天单量同比增长845%,连续三年保持超高速增长。
最近小伙伴在讨论单体到微服务架构中数据这块如何演进,相信这篇能给大家带来启发。 ---- 来源:SphereEx 链接:https://segmentfault.com/a/1190000041107436 排版:悟空哥 京东白条的快速发展满足了当前人们日益增长的消费需求。在京东商城上用京东白条来支付,已经成为一大批用户的消费习惯,更是在某种意义上成为了京东对外的『标签』。而作为一家互联网金融消费平台,京东白条的后台技术团队更是不容忽视的存在。而其也正是支撑京东白条自 2014 年初上线伊始,至今服务数亿用
作者 | ShardingSphere官微 来源 | https://mp.weixin.qq.com/s/Rzr-aKFwmm71QNUs68WQNA 京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题,为大促活动奠定了基础。 2014 年初,“京东白条”作为业内互联网信用支付产品,数据量爆发式的增长,每一次大促备战都是对技术人员的考验,每一次的战略转型驱动着数据架构的成长。 --张栋芳,京东白条研发负责人 京东白条数据架构演进史 自 2014 年 2 月京东白条业务
《MySQL冲冲冲》是由 IMG 社区和爱可生开源社区联合举办的一款专门针对 MySQL 技术话题的节目,以下是第五期的直播内容。
通过 hxz.你的域名.cn 你就可以访问你的服务器啦, 以后想换台服务器,把记录值改成新的服务器IP就可以啦。
我是一只勤劳的小海豚,网名叫MySQL,出生于1995年5月23号,正宗95后,你们可别小看我,我现在可是全世界最流行的开源数据库,全球有800万个实例呢。
11月25日,由京东IT资源服务部联合京东CTO办公室、京东商城研发基础架构部共同举办的“京东技术——11.11基础架构峰会”,在国家会议中心盛大举办! 现场有超过1000+位来自中国TOP100的互联网企业研发技术骨干,架构师和CTO技术总监。大家与来自京东、曙光、Mellanox的技术专家,共同交流和探讨了关于基础架构领域的核心技术以及应用场景。截止到活动结束,在线直播观看此次峰会的人数已经超过100000+。 容器、分布式系统、弹性数据库、微服务、机器学习、链路压测机器人等精彩话题登场京东技
11.11云上盛惠 多款大数据产品年终钜惠 移动推送、商业智能分析BI 智能数据分析、Elasticsearch Service 云数据仓库for Apache Doris 首月秒杀 19.9元、新客首购 2.5折起 老客回购/新客复购 2.8折起 ←扫码立即参与活动 购后抽奖 100%中奖率 iPad Air 、Switch 游戏机 妲己机器人、虎年公仔、代金券 快速了解产品 1.移动推送:安全快速稳定的移动消息推送服务,支持 App 推送、应用内消息等多种消息类型,有效提升用户活跃度。 2.商业智能分
『目的』满足贯穿从商品展示、搜索、购买、支付等整个流程,电商对于精细化、精准化促销运营的需求,使多渠道(终端)、多区域化营销成为简单易行的配置操作,提升运营能力。
本文是腾讯云TDSQL首席架构师张文在腾讯云Techo开发者大会现场的演讲实录,演讲主题是《TDSQL在银行传统核心系统中的应用实践》。 ---- 我是TDSQL架构师张文,同时也是TDSQL的开发人员之一。今天的分享内容主要包含四个部分,分别为银行行业现状介绍、核心系统分布式改造、TDSQL最佳实践和改造效果。 张文演讲现场 搜索关注“腾讯云数据库”官方微信,回复“1106张文”即可下载本视频演讲PPT。 一、关于TDSQL 银行数据库系统被外企垄断超过99%。数据库的复杂程度比拟操作系统,作为基础
本文为「3306π」成都站系列专访,本期专访嘉宾为腾讯云TXSQL数据库研发工程师赖铮。 赖铮-腾讯 TXSQL数据库研发工程师 在即将举办的10月26日「3306π」成都站活动中,赖铮将分享腾讯云数据库TXSQL的内核新特性,诸如:异步删除大表,GTID复制功能扩展,隐藏列解决无主键表的复制延迟,新的事务调度算法等等,并详细介绍这些新特性的实现原理和使用方法。这些新特性极大的增强了腾讯云数据库的性能、稳定性和易用性,从而为腾讯云数据库的用户提供了更为完善的数据库服务。 以下是会前专访实录。 1、
项目创建完成后可以看到在工程创建的位置有了douban文件夹,打开以后包含了上述的组件,可以使用spyder,pycharm等ide打开项目
双11当天临近下班时间点,研发反馈出现应用定时JOB跑批任务卡死,导致数据没有及时计算出来,影响一次报表数据展示,这个功能跑了几个月基本上没有异常,双11业务增长几倍,数据量稍微有点大。主要包括如下内容:
在数仓ETL中,事实表和维度表在维度码值之上做join、或者若干表之间进行join做数据打宽十分常见。数仓中的join本质上是以空间换时间,范式降低,以便后续olap数据分析之用。但是看似简单的join操作,一旦在Flink的流式语义中实现,做到实时Join就不是一件轻松的事了!
Apache Doris 是一款开源的 MPP 分析型数据库产品,不仅能够在亚秒级响应时间即可获得查询结果,有效的支持实时数据分析,而且支持 10PB 以上的超大的数据集。相较于其他业界比较火的 OLAP 数据库系统,Doris 的分布式架构非常简洁,支持弹性伸缩,易于运维,节省大量人力和时间成本。目前国内社区火热,也有美团、小米等大厂在使用。
本文为2020年MongoDB应用案例与解决方案征集活动最佳创新案例:MongoDB在圆通速递的应用,作者徐靖。
NoSQL最常见的解释是“non-relational”, “Not Only SQL”。泛指非关系型的数据库。它们不保证关系数据的ACID特性。 NoSQL一词最早出现于1998年,是Carlo Strozzi开发的一个轻量、开源、不提供SQL功能的关系数据库。2009年,Last.fm的Johan Oskarsson发起了一次关于分布式开源数据库的讨论,来自Rackspace的Eric Evans再次提出了NoSQL的概念,这时的NoSQL主要指非关系型、分布式、不提供ACID的数据库设计模式。2009年在亚特兰大举行的"no:sql(east)“讨论会是一个里程碑,其口号是"select fun, profit from real_world where relational=false;”。因此,对NoSQL最普遍的解释是"非关联型的",强调Key-Value Stores和文档数据库的优点,而不是单纯的反对RDBMS。
User Agent中文名为用户代理,是Http协议中的一部分,属于头域的组成部分,User Agent也简称UA。它是一个特殊字符串头,是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识,用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计;例如用手机访问谷歌和电脑访问是不一样的,这些是谷歌根据访问者的UA来判断的。UA可以进行伪装。
2021 Gdevops全球敏捷运维峰会 - 广州站,将在5月28日盛大举办。Gdevops经过创办6年成功举行近20场大会的经验积淀,本次峰会结合行业趋势与技术热点,精选出最能破解当下运维、数据库、金融科技领域核心痛难点的干货议题,不容错过的精彩看点本文带大家先睹为快!
1.腾讯云BI:提供从数据接入到模型分析、数据可视化呈现全流程 BI 能力,帮助经营者快速获取决策数据依据。
云开发“双11”感恩钜惠震撼来袭!腾讯云“11.11”主会场及云产品会场将有云开发感恩钜惠秒杀活动,最高可享2折!锁定00:00~15:00秒杀场,来抢云开发基础版、专业版等多款爆品。云产品专场更有多款云开发资源包等你来抢购,包含CDN流量、数据库。云函数等多款爆品!
MySQL 8.0.19 开始支持对InnoDB引擎表数据进行采样以生成直方图统计信息。
mysql的"双1验证"指的是innodb_flush_log_at_trx_commit和sync_binlog两个参数设置,这两个是是控制MySQL 磁盘写入策略以及数据安全性的关键参数。下面从参数含义,性能,安全角度阐述两个参数为不同的值时对db 性能,数据的影响。
技术强的人,在互联网公司肯定负责过高并发模块,那夺取offer太简单了。可惜大部分初级工程师甚至高并发代码都没想过怎么写! 不是说只要用个redis缓存,用个mq异步削峰就搞定了!真实的要复杂很多倍。
Go 自带了一个 pprof 的性能优化和分析的工具,这个工具包括 cpuprof 、memprof ,并且还提供了 Lookup 功能用于获取堆状态信息、线程状态信息、 goroutine 状态信息等。官方的博客有一篇文章介绍用法:《Profiling Go Programs》[1]
作为一个毕业在数据库方向上的PhD,虽然毕业之后主要从事大数据的研发工作,我对数据库领域也一直保持了很大的关注。国产数据库这几年的发展取得了长足的进展。 最近,OceanBase在TPC-C的测试中,以60880800tmpC的成绩战胜了榜单上的Oracle,后者的成绩是30249688tpmC。这件事情又让业界对国产数据库的关注提到了一个很高的高度。 的确,这几年,国产数据库的进步也是有目共睹的,尤其是随着国内移动互联网的迅猛发展,给很多国产新型数据库的应用创造了全球独一无二的场景。这在很大程度上推动
本文是腾讯云数据库负责人林晓斌(丁奇)在腾讯云Techo开发者大会现场的演讲实录,演讲主题是《数据库智能时代和DBA的职责演进》。 林晓斌演讲现场 以下是上方演讲视频的内容纪要。 在我看来,数据库运维经历了四个大的阶段,前面三个我分别称为石器时代、工具时代、专家时代。 在2008年及之前,少有公司有专门的DBA团队,那时候都统一在OP范畴。 我记得那时候写应用,如果涉及到需要数据库, 我的发布步骤里面,还要包含数据库的安装步骤。然后op同学就按照安装命令一行行执行。数据库很多时候被当做应用程序的
京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题,为大促活动奠定了基础。
一 背景 金融行业的数据库市场,尤其是银行的核心交易系统,一直是Oracle、DB2这类传统商业数据库的天下,但是: 2014年,微众银行选用TDSQL作为其核心交易系统的数据库解决方案; 2015年,腾讯金融云正式推出TDSQL数据库解决方案,在公有云以及私有云上投入商用,覆盖包括银行、保险、互联网金融、物联网等多个行业领域。 这标志着TDSQL已经开始进入这个领域,虽然目前,金融、传统行业的核心数据库依然是Oracle、DB2们占主导,但是TDSQL对外开放仅两年,已经为40个金融政企机构提供数
“京东11·11全球好物节,90%仓配订单当日或次日达”,京东物流的快是众所周知的,作为京东供应链管理最重要的一环,背后都有哪些技术系统在支撑呢?它们在本次京东11·11全球好物节都做了哪些准备支撑呢?
刚刚过去的11.11,讨论最多的莫过于直播电商,无论是薇娅李佳琦惊人的销售额,还是抖音电商公布的2546万小时的直播总时长和395亿累计看播人次,这些都让品牌商家在面对直播电商有了更多的思考。
之前的文章中,我曾经多次提到一个用于数据分片的开源项目 ShardingSphere :
刚刚过去的11.11,京东创下了2044亿元的成交新纪录,电商历史由此翻开了崭新的一页。
作者:邵宗文,腾讯云数据库运营负责人。十余年数据库从业经验,2009年加入腾讯,曾负责腾讯网、新闻客户端、快报、视频、财经、体育等数据库平台,部署、规划及运维支持工作。06-09年曾任新浪数据库专家、数据库平台主管,有非常丰富的海量大数据经验。 本文为腾讯云数据库运营负责人邵宗文在〖2019 Gdevops全球敏捷运维峰会-广州站〗现场演讲实录。 分享概要 1、图数据库市场分析 2、图数据库应用场景 3、图数据库的优劣 大家好,非常荣幸今天跟大家分享图数据库的场景及展望,让大家知道图数据库到底是什么,
自2017年京东宣布全面向技术转型以来,以零售基础设施供应商为未来角色的京东,正在将多年积累的领先的技术能力进行工具化和平台化的转变,这些转变已经让越来越多的合作伙伴及行业享受到京东开放服务带来的效率的提升以及成本的下降。
本文是腾讯云高级工程师李巍在腾讯云Techo开发者大会现场的演讲实录,演讲主题是《腾讯自研HTAP数据库TBase的应用实践》。 ---- 今天给大家分享的主要内容包括两部分: TBase概述; TBase在保险公司的应用实践。 李巍演讲现场 搜索关注“腾讯云数据库”官方微信,回复“1106李巍”即可下载本视频演讲PPT。 TBase概述 TBase是腾讯自主研发的新一代分布式NewSQL国产数据库,具备业界领先的HTAP能力,在提供NewSQL便利性的同时还能完整支持事务并保持SQL兼容性,现已开
11月25日,由京东IT资源服务部联合京东CTO办公室、京东商城研发基础架构部共同举办的“京东技术——11.11基础架构峰会”,在国家会议中心盛大举办! 现场有超过1000+位来自中国TOP100的互联网企业研发技术骨干,架构师和CTO技术总监。大家与来自京东、曙光、Mellanox的技术专家,共同交流和探讨了关于基础架构领域的核心技术以及应用场景。截止到活动结束,在线直播观看此次峰会的人数已经超过100000+。 此次峰会经过近一个月紧锣密鼓的精心筹备,从主题的策划确认到讲师的申请,再到跟每位讲
将 字符串 转为 int 或 float 类型之前 , 首先要确保字符串的内容就是对应的类型 ;
鲍永成 京东商城基础架构部技术总监 京东技术11.11基础架构峰会讲师 2013年加入京东,负责京东容器集群平台研发,带领团队完成京东容器大规模落地战略项目,有效承载京东全部业务系统以及数据库和中间
| 导语 :你是否也曾被“快点儿吧,等到花都谢了”洗脑,为又爱又恨的欢乐豆决战到天亮,为何欢乐斗地主能风靡全国,经久不衰,还一直能平稳流畅运行?其背后究竟有哪些运维小妙招?可让整体研运效率显著提升,节省30%+人力成本?..... 作者简介:Leehom,腾讯游戏专家开发工程师,负责腾讯欢乐游戏大规模分布式服务器架构。有十余年微服务架构经验,擅长分布式系统领域,有丰富的高性能高可用实践经验,目前正带领团队完成云原生技术栈的全面转型。 背景 基本信息: 客户名称:腾讯欢乐斗地主 行业:IT服务/软件 游戏行业
领取专属 10元无门槛券
手把手带您无忧上云