本文为2020年MongoDB应用案例与解决方案征集活动最佳创新案例:MongoDB在圆通速递的应用,作者徐靖。
项目创建完成后可以看到在工程创建的位置有了douban文件夹,打开以后包含了上述的组件,可以使用spyder,pycharm等ide打开项目
双11当天临近下班时间点,研发反馈出现应用定时JOB跑批任务卡死,导致数据没有及时计算出来,影响一次报表数据展示,这个功能跑了几个月基本上没有异常,双11业务增长几倍,数据量稍微有点大。主要包括如下内容:
2021 Gdevops全球敏捷运维峰会 - 广州站,将在5月28日盛大举办。Gdevops经过创办6年成功举行近20场大会的经验积淀,本次峰会结合行业趋势与技术热点,精选出最能破解当下运维、数据库、金融科技领域核心痛难点的干货议题,不容错过的精彩看点本文带大家先睹为快!
最近小伙伴在讨论单体到微服务架构中数据这块如何演进,相信这篇能给大家带来启发。 ---- 来源:SphereEx 链接:https://segmentfault.com/a/1190000041107436 排版:悟空哥 京东白条的快速发展满足了当前人们日益增长的消费需求。在京东商城上用京东白条来支付,已经成为一大批用户的消费习惯,更是在某种意义上成为了京东对外的『标签』。而作为一家互联网金融消费平台,京东白条的后台技术团队更是不容忽视的存在。而其也正是支撑京东白条自 2014 年初上线伊始,至今服务数亿用
京东快速发展的同时,应用规模、数据中心以及机器的规模都同步倍增,在面对如此大规模的机器,应运而生了京东数据中心操作系统(JDOS,JingdongDatacenter OS)。历经多年时间的技术沉淀与发展,JDOS不仅仅作为京东数据中心操作管理资源,更作为京东统一的PaaS平台致力于支撑业务系统快速交付、稳定运行,基础中间件托管提升基础平台敏捷交付。尤其是线上运行的阿基米德系列系统,将应用于实现京东商城数据中心资源智能调度,支撑在线业务系统与大数据计算混合部署融合计算,并节约采购成本。而每一次的11.11都是对JDOS系统的一次检验和挑战,经过无数次的紧张演练,问题排查,系统升级优化,服务应用快速交付;从容支撑大促高峰流量,保障了业务的高速发展。
提到云数据库第一个想当然的问题不是云数据库本身,而是云数据库来了,DBA 都没饭吃了。期初我也是这个想法,因为见过不少云数据库的DBA的不专业和对数据库底层以及高可用,接近白痴的知识水平,对于他们,只有两个字,呵呵。
我想问的是,阿里那帮程序员,为了不用存储过程,做过的那些努力,你看到了吗?在去 SP 的过程中,所使用的技术与编程模式,你会吗?
每周六晚上我们几个小伙伴都会组织一个技术研讨会,就技术群里大家提出的几个有意思的问题做重点的讨论。主持人采用轮流主持的模式,本周由我负责组织和分享,这篇文章就是我们当时研习小组讨论的纪要。想要加入的小伙伴可以看文章最末尾的广告时间。
谛听是京东数科自行研发的一套主机监控系统。整套系统对所有业务进行主机性能采集和相应的告警。目前谛听覆盖10个地区、4个国家,每天产生数T级别数据,已成为公司日常,特别是大促前夕压测模拟必不可少的重要平台之一。 本文从谛听最初的开发目标,到后续所碰到的一些重要困难,从架构设计角度出发,讲述这过程中的演变历程。希望能够警示大家尽可能避开。没有一套监控系统是完全理想的,有自己见解的同学也欢迎一起共同探讨。
2016年初,京东在印尼正式落地了第一个海外本土站点;今年11.11,京东印尼站当天单量同比增长845%,连续三年保持超高速增长。
卖羊肉串首先就得有羊肉,于是我就联系了很多养殖场,我又是一个比较负责任的人,为了保证羊肉的质量,我就去考察了一家又一家养殖场,同时我也是个“小气”的人,所以我考察过程中,和对方谈判、比价,最终选了一个养殖场作为我的羊肉供应商,为我提供羊肉。
原文:http://www.enmotech.com/web/detail/1/758/1.html
Elasticsearch将其软件堆栈的核心由Apache 2改为一种限制性更强的许可证,再次提出了开源数据库有没有未来这个问题。但是,也许我们不应该太纠结于许可问题。
本文主要大概介绍一下响应式/反应式编程方式访问 redis,不能解决很多生产问题,只是帮助大家对响应式编程有一个认识。
墨墨导读:本文是近期ScaleGrid发布的2019 PG趋势报告,从不同的角度解读了PostgreSQL如何在众多优秀的RDBMS中脱颖而出,原文:https://scalegrid.io/blog/2019-postgresql-trends-report-private-vs-public-cloud-migrations-database-combinations-top-reasons-used/(可复制在浏览器打开或点击“阅读原文”)。
做数据库的用数据库的,都知道Oracle。作为去IOE的典范,Oracle在中国的形象一方面是被消灭的对象,另外一方面则是根深蒂固的代表。
一年一度的双十一又双叒叕来了,给技术人最好的礼物就是大促技术指南!而经过这些年的发展,大促早已不仅仅局限于电商行业,现在各行各业其实都会采用类似方式做运营活动,汽车界有 818,电商有 618 、11.11 等等,各种各样的大促场景,对包括数据库在内的基础软件提出了很多新挑战,同时也积累了诸多最佳实践。
京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题,为大促活动奠定了基础。
双十一将至,购物车装的怎么样了?每年一到这时候,各大商家都已开始密集部署活动,等你剁手。
通过 hxz.你的域名.cn 你就可以访问你的服务器啦, 以后想换台服务器,把记录值改成新的服务器IP就可以啦。
摘自谢朝阳《5G边缘云计算 规划 实施 运维》 运维是持久战 “三分建设,七分运维”,运维是持久战。 运维的终极目标 好的运维是多要素的融合,包括规范的流程和技术。因此,达到智能化的可靠性(Reliability)、可用性(Availability)、安全性(Security)、可扩展性(Scalability)、易管性(Manageability-Intelligence)—简称RASSM-I—是运维的终极目标(Nirvana)。 运维需要具备的能力
11月25日,由京东IT资源服务部联合京东CTO办公室、京东商城研发基础架构部共同举办的“京东技术——11.11基础架构峰会”,在国家会议中心盛大举办! 现场有超过1000+位来自中国TOP100的互联网企业研发技术骨干,架构师和CTO技术总监。大家与来自京东、曙光、Mellanox的技术专家,共同交流和探讨了关于基础架构领域的核心技术以及应用场景。截止到活动结束,在线直播观看此次峰会的人数已经超过100000+。 容器、分布式系统、弹性数据库、微服务、机器学习、链路压测机器人等精彩话题登场京东技
我是一只勤劳的小海豚,网名叫MySQL,出生于1995年5月23号,正宗95后,你们可别小看我,我现在可是全世界最流行的开源数据库,全球有800万个实例呢。
11.11云上盛惠 多款大数据产品年终钜惠 移动推送、商业智能分析BI 智能数据分析、Elasticsearch Service 云数据仓库for Apache Doris 首月秒杀 19.9元、新客首购 2.5折起 老客回购/新客复购 2.8折起 ←扫码立即参与活动 购后抽奖 100%中奖率 iPad Air 、Switch 游戏机 妲己机器人、虎年公仔、代金券 快速了解产品 1.移动推送:安全快速稳定的移动消息推送服务,支持 App 推送、应用内消息等多种消息类型,有效提升用户活跃度。 2.商业智能分
之前的文章中,我曾经多次提到一个用于数据分片的开源项目 ShardingSphere :
在数仓ETL中,事实表和维度表在维度码值之上做join、或者若干表之间进行join做数据打宽十分常见。数仓中的join本质上是以空间换时间,范式降低,以便后续olap数据分析之用。但是看似简单的join操作,一旦在Flink的流式语义中实现,做到实时Join就不是一件轻松的事了!
作者 | ShardingSphere官微 来源 | https://mp.weixin.qq.com/s/Rzr-aKFwmm71QNUs68WQNA 京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题,为大促活动奠定了基础。 2014 年初,“京东白条”作为业内互联网信用支付产品,数据量爆发式的增长,每一次大促备战都是对技术人员的考验,每一次的战略转型驱动着数据架构的成长。 --张栋芳,京东白条研发负责人 京东白条数据架构演进史 自 2014 年 2 月京东白条业务
Apache Doris 是一款开源的 MPP 分析型数据库产品,不仅能够在亚秒级响应时间即可获得查询结果,有效的支持实时数据分析,而且支持 10PB 以上的超大的数据集。相较于其他业界比较火的 OLAP 数据库系统,Doris 的分布式架构非常简洁,支持弹性伸缩,易于运维,节省大量人力和时间成本。目前国内社区火热,也有美团、小米等大厂在使用。
技术人员,最讨论和最惧怕的,莫过于接手别人的项目、维护历史的遗留项目。尤其是那种没有任何文档、没有工作交接、没有人员协作的项目。个中痛苦和酸爽,真的是“如人饮水,冷暖自知”。
在女票的影响下开始看咱们厂自制的综艺节目《创造101》,被里面充满才华和颜值的小姐姐们所吸引。在大饱眼福的同时,不仅萌生了深入了解小姐姐的想法。
云服务器控制台实例列表页面支持页签及列表视图,您可参考本文进行页面视图切换。 页签视图具备实例自助检测工具自动发起检测、可快速获取实例信息及高频操作入口等优势。建议您在拥有云服务器数量 ≤ 5台时,使用页签视图。
1.腾讯云BI:提供从数据接入到模型分析、数据可视化呈现全流程 BI 能力,帮助经营者快速获取决策数据依据。
云开发“双11”感恩钜惠震撼来袭!腾讯云“11.11”主会场及云产品会场将有云开发感恩钜惠秒杀活动,最高可享2折!锁定00:00~15:00秒杀场,来抢云开发基础版、专业版等多款爆品。云产品专场更有多款云开发资源包等你来抢购,包含CDN流量、数据库。云函数等多款爆品!
2021 Gdevops全球敏捷运维峰会 - 广州站,将在5月28日盛大举办。Gdevops经过创办6年成功举行近20场大会的经验积淀,于本次峰会打磨精选出最贴合当下运维痛难点及运维转型趋势热点的议题,本文带大家先睹为快。 腾讯大讲堂·限时专属优惠 报名 福利一: 扫描下方二维码,关注腾讯大讲堂,回复“Gdevops全球敏捷运维峰会·广州站”,就有机会抽取免费门票 福利二: 限时特价优惠门票有限,码上报名 运维主题看点 讲师介绍:现任职新炬网络副总裁,多年跨国大型IT企业的团队管理、销售和市
先秦时期,儒家、法家、道家、墨家等诸子百家,百花齐放百家争鸣,创造了灿烂的文化艺术,奠定了以后中国文化发展的基础,决定了其发展方向。在数据库领域内,以 Oracle、MySQL、SqlServer 为首的关系型数据库占据中国市场,在 db-engines 排行榜永据前三地位。
这一年里你参加了23场攻防演练,平均每场演练拿到了一万分,其中九千分都是靠fscan扫描爆破打下来的,你热衷于使用goby和shack2超级弱口令爆破,常常戏称自己是内网渗透大牛。
即将逝去的2013年,被认为是具有跨时代意义的“大数据元年”。在这一年,数据比以往任何时候都要宝贵,甚至成为可以与石油资源相媲美的新能源,大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。然而,大数据不是口号,需要更多的企业付诸实践,从单调的数据中挖掘出潜在价值。 年初的一项调查曾指出,28%的全球企业和25%的中国企业已经开始进行大数据实践。为了进一步了解中国企业大数据应用的真实情况,IT168近期联合ITPUB、ChinaUnix展开了一项有关大数据应用与趋势的专
技术强的人,在互联网公司肯定负责过高并发模块,那夺取offer太简单了。可惜大部分初级工程师甚至高并发代码都没想过怎么写! 不是说只要用个redis缓存,用个mq异步削峰就搞定了!真实的要复杂很多倍。
之前我写了文章简单的讲了一下最近非常热闹的由Databricks发起的和Snowflake的撕逼文章们:
在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!
随着使用数据库的深度和理解能力的提升,有一个问题硬件的提升,与数据量的变化是否对数据库底层的架构有冲击。 我们公认的BTREE B+TREE 是否还能面对现在的硬件的变化。
1:MongoDB的官方网址:https://www.mongodb.com MongoDB的中文社区:http://www.mongoing.com/(老外也很看重中国市场啊,知道大家英语不好
MongoDB是一款开源的分布式架构的NoSQL数据库管理系统。在前面的NoSQL和SQL对比学习中,我们知道了NoSQL数据库系统和传统的RDBMS的不同和优点
在 Linux 平台的 MongoDB 为解压版。我们只要解压 tgz 文件就可以使用。
MongoDB是一个键值对的数据库管理系统。当涉及到数据库管理时,诸如安全性、备份、对数据库的访问等重要方面都是重要的概念。
默认情况下,MongoDB的启动端口为27017。比MongoDB启动端口大1000的端口为MongoDB的web用户界面,你可以在浏览器中输入 http://localhost:28017 来访问MongoDB的web用户界面。
本篇文章是MongoDB数据库信息泄露漏洞复现,记录了实际中常见的MongoDB数据库未授权访问漏洞并如何使用,主要分为七个部分:MongoDB简介、MongoDB安装、MongoDB基本操作、MongoDB相关工具使用、MongoDB漏洞复现、MongoDB实战和MongoDB防御措施。 本篇文章由浅入深地介绍了MongoDB未配置访问认证授权导致的未授权访问漏洞。在学习MongoDB过程中也阅读了几十篇中英文MongoDB相关技术文章,最终按照作者我的思路进行总结,相关参考文章也在文末列出。 此外,文中
领取专属 10元无门槛券
手把手带您无忧上云