最近在看《从零开始学架构》,深入浅出通俗易懂,值得一看。作者将架构设计分为4个步骤,第一步:有的放矢-识别复杂度,解决复杂度带来的问题,是架构设计的本质。第二步:按图索骥-设计备选方案,利用备份冗余思维,多设计几套方案,不只是一种选择。第三步:深思熟虑-评估和选择备选方案,多维多角度的去比较方案的优劣,根据实际情况选择最合适的方案。第四步:精雕细琢-详细方案设计,落实方案的细节。
第一章:周介绍 1-1 介绍 需求指导设计,设计指导开发。无设计不开发。 服务端技术方案设计的方法 B端和编辑器基本功能API 技术方案设计文档 第二章:技术方案设计 2-1 技术方案设计-章介绍 领导技术方案设计、评审技术方案设计。 主要产出:server端技术方案设计 主要内容: 接口设计 选择Restful,而不是GraphQL 数据库设计 sever端整体设计 注意:正视技术方案设计,设计会节约时间。 2-2 接口设计-整理所有接口 接口设计应该是在需求后的第一设计,接口设
在我看来这整个步骤很完整了,很多相关的技术我仍未接触过,只有部分了解过,说明还有很多需要学习的内容需要自己掌握
今晚,我在知识星球:测试人员生存指南的线上会议里,与星球伙伴们进行了大数据测试主题的分享,此篇为《大数据测试实践之全量改增量》上半部分的文字版~
又到节假日,园子里面不少高人再次对12306网站的各种问题的各种分析和提出各种解决方案,我也看了这些讨论文章,出于也是一个买票难的“码农”,也来献计献言,把我跟其他人讨论的结果汇总发表一下,希望抛砖引玉,解决铁道部火车票的数据查询和存储问题。 现在,12306网站给人的第一感受就是购票过程网页很卡,不少人分析是由于数据库非常庞大,有复杂的查询和数据传输,并着重在数据库的设计方面大作文章,却很少有人在数据存储“量”上下功夫。或许大家都说现在磁盘那么便宜,还要刻意关注数据存储量的大小么?我觉得做
本文起源于有同学留言说,想了解下MySQL DBA面试时可能涉及到的知识要点,那我们今天就来大概谈谈吧。
在一个数据为王时代,数据安全视为一家企业命根子,因此如何保障企业数据安全尤为重要。本文主要从数据库容灾方案视角,基于当前客户业务并结合技术&产品,制定最佳容灾方案。主要从以下三个方面来介绍:
为了向铁路各部门用户提供高可用、整合的信息,受铁道部科技司委托,我单位承担了“信息应用集成的研究”这一项目的研究和开发工作。本人作为该项目的负责人之一,担任了方案设计师的职务。该项目的目标是实现现有系统中的数据共享,有机的结合相关联的数据,搭建统一的使用平台,为今后铁路信息化更大规模应用集成建立可行、可靠的依据。本文主要从以下三个方面描述作者在该项目中的工作:确立企业应用集成的解决方案;选择应用集成规范和平台;在现有的铁路信息系统中选择二至三个,对应用集成的方案进行实践,分析并改进方案。
【背景介绍】【知识剖析】【常见问题】【解决方案】【编码实战】【扩展思考】【更多讨论】【参考文献】
引言:设计数据存储方案时,Feed流、IM消息、订单等一些典型业务场景的,都有比较多的技术文章和教学课程;在线Excel场景下的文章却很匮乏,所以把自己近期对在线Excel存储选型的一些思考写下来,和大家一起交流。
摘 要:随着工业4.0时代的发展,物流装备领域的技术也在不断地迭代更新,各种新奇复杂庞大的物流方案设计频繁出现,而仅仅依靠二维视图已经很难对这些方案进行详细直观的理解。为便于深入讨论、充分交流、直观了解物流各个环节,山西迎才引入了高级影视三维制作软件Maya。本文介绍了Maya在物流装备领域中的应用,同时介绍了Maya和FlexSim仿真软件的搭配使用。
贾浩楠 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 自制一个电子墨水屏日历,需要几步? 是能自动刷新位置、天气情况,还能随机播放2000多条毒鸡汤的那种。 ▲就像这样:如果我的人生是一部电影,那你就是一个弹出来的广告。每10分钟会刷新一条。 配上相框,相比于网购平台上售价299元的这一款,你觉得能打几分? 这样的一款新“产品”,来自微博博主@张欣 | Kenn。 并且,他还把制作方法开源了。 不妨一起来看个究竟~ 硬件准备 @张欣 | Kenn决定制作这样一款电子墨水屏,缘起是看到了网
说到系统稳定性,不知道大家会想起什么?我想大多数人会觉得这个词挺虚的,不知道系统稳定性指的是什么。一年前的我看到这个词,也是类似于这样的感受,大概只知道要消除单点、做好监控报警,但却并没有一个体系化的方法论。经过一段时间的摸索,我对系统稳定性有了较为体系化的认识,于是迫不及待地希望和大家一起分享。所以今天,就让我跟大家简单聊聊系统稳定性建设这个话题吧!
开发环境: jdk:Jdk1.8 Scala:2.11.8 CDH6.2.1: zookeeper-3.4.5-cdh6.2.1、hadoop-3.0.0-cdh6.2.1,hive-2.1.1-cdh6.2.1、hue-4.3.0-cdh6.2.1 Sqoop:sqoop-1.4.7-cdh6.2.1 Mysql:5.7 Zeppelin:0.8.0
在日常开发中,老大经常要求我们给出一个完善并合理的技术方案之后才能进行开发。并且要求技术方案一定要细,要重点覆盖监控、异常处理、灰度、降级方案。同时要注重边界处理。最初,我的技术方案写的很粗,也没有理解老大说的边界处理到底是怎么一回事。于是乎,辛辛苦苦写了一周的方案,就会在技术方案评审的时候直接打回重做,甚至多次打回。 不过还好,在经历过几次大项目的方案设计后,我的方案设计越来越完善,直到最后老大非常认可并在组内进行参考。随着我的方案设计逐渐完善,也逐渐发现,不但编码效率越来越高,编码时思维更加清晰,而且方案中的每一个模块都贯穿了整个软件生命周期。
为什么采取分区,而不是分表,以及MySQL分区不仅能够提升数据库性能和管理效率,还能有效支持处理大规模数据的需求。
承接上一篇《理解分布式系统中的缓存架构(上)》,介绍了大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景,本文主要介绍缓存架构设计常见问题以及解决方案,业界案例。
大数据实战项目的知识点 1、大数据集群环境的搭建 CentOS 6.8、 hadoop-2.7.3、 hive-0.13.1 zookeeper-3.4.10 kafka_2.10-0.10.2.0、 flume-ng-1.7.0 日志采集流程、 Spark 1.6.3 2、企业级大数据项目的架构搭建 Java、配置管理组件、JDBC辅助组件(内置数据库连接池)、Domain与DAO模型 scala:只适合用于编写一些比较纯粹的一些数据处理程序(比如说一些复杂的数据etl) 真正的讲师本人做
从新手码农到高级架构师,要经过几步?要多努力,才能成为为人倚重的技术专家?本文将为你带来一张程序员发展路径图,但你需要知道的是,天下没有普适的道理,具体问题还需具体分析,实践才能出真知。
大家好,我是林宗霖,是一位测试工程师,也是全栈测开训练营中的一名学员。学习完全栈测开训练营的课程,让自己更加意识到:基础不牢,地动山摇的道理。近两年,行业的很多小伙伴都热衷于自动化、测试开发等方面的技术,而忽略了测试基本功的修炼!
目前CMDB使用RedisGraph存储各种关系映射数据,数据的重要性不言而喻,所以数据的防灾、高性能及高可用非常重要。目前现状RedisGraph是单节点运行,存在数据防灾、高可用、性能不易扩展的缺陷在CMDB系统中RedisGraph应用流程图📷现状改进为了解决数据防灾、高可用、高性能的需求,RedisGraph设计为主从(1主2从)、读写分离架构改进后RedisGraph架构设计📷高可用主要通过主从模式实现,当主redis数据变动时,实时同步到从redis当主redis出现问题不能继续提供服务时,哨兵
1. 分层缓存架构设计2. 缓存带来的复杂度问题数据一致性缓存穿透缓存雪崩缓存高可用缓存热点3. 业界案例技术挑战Feed缓存架构图架构特点参考
据说谷歌AI中国研究中心,最近内部有个项目是针对建筑方案设计、施工图设计,到施工现场管理的AI解决方案。 方法原型来源于建筑师习惯使用的grasshopper(即参数化设计)。只是所有的过程将有AI掌控。 当然,谷歌的产品离发布,还早着。 说起参数化设计,早些年我的毕业论文研究的就是参数化设计。 国内比较快速上线的人工智能建筑师是XKool,小库。 这类产品有个特点,延续了参数化设计的快速生成多方案的能力。 也可以说是人工智能应用在设计上的一个最核心的优势:多方案生成能力。 比如阿里的鲁班,也以多取胜;
【什么是分库分表】 顾名思义,分库分表就是对数据库进行拆分以一种方式或策略。但是在实际场景中,分库和分表并不是要一起出现的。有可能只是需要分表,有可能只是需要分库,如果在大流量高并发的情况下,会出现分库分表同时出现的情况。那么什么时候需要分库分表呢? 我们可以考虑一个问题,比如我们所负责的业务线是全新的而且非常有潜质的,那么我们设计系统的时候,通常并不会上来就做分库分表的设计,因为对于系统上线之后的发展,没有人可以预测出来。所以,都会中规中矩的按照单库单表的方式去设计。忙碌了好几个月,系统上线了,最初每天
为加强产学研深度融合,促进教育链、人才链与产业链、创新链有机衔接,推动高校毕业生更高质量创业就业。腾讯公司参与第七届中国国际“互联网+”大学生创新创业大赛产业命题赛道,并正式发布了10 个命题方向。命题方向聚焦国家“十四五”规划战略新兴产业方向,倡导新技术、新模式的创新。 欢迎感兴趣的高校团队关注并申报。关于命题要求、命题内容解读、以及各命题咨询联系方式,可以下载附件文档。 命题发布及报名请扫码登录大赛官网: (在企业名称中搜索“腾讯”)。预祝大家在本届大赛中取得优异的成绩,赛出风格,赛出水平。 命
|导语 涂川,北辰时代信息技术有限公司技术总监,腾讯云最具价值专家(TVP),荣获“2019 TVP生态合作突破奖”。有14年从业经验,曾在高校任教多年,教学人数超5000人,现任多家公司特邀技术顾问。多年服务于政府、企业用户,致力于提供数据中心整体方案方案设计与交付,累计服务百家以上政企客户。技术特长偏向虚拟化、私有云、混合云、信息安全,对政/企数据中心建设、信息化系统建设、系统安全有较为丰富的经验。本文是云加社区对涂川的采访整理而成。
在传统数据大集中的环境下,银行核心系统很容易发生故障,而且一旦发生故障,影响面将特别广,带来很大的舆论压力和监管压力,历史上大型商业银行核心系统故障的例子不在少数。而且传统的集中式架构不易扩展,各模块间高度耦合,最终造成核心系统体量太过庞大、业务太过繁重。
针对当前远程容灾备份系统普遍造价高昂的缺点,技术人员提出了一种通过基于Linux系统下的Rsync(Remote Synchronize)远程同步框架进行改进,采用节点间数据复制技术实现数据库远程备份方案。 根据容灾备份系统对备份类别的要求程度,数据库备份系统可以分为数据级备份和应用级备份。数据备份是指建立一个异地的数据备份系统,该系统是对原本地系统关键应用数据实时复制。当出现故障时,可由异地数据系统迅速恢复本地数据从而保证业务的连续性。应用级备份比数据备份层次更高,即在异地建立一套完整的、与本地数据库系统
为加强产学研深度融合,促进教育链、人才链与产业链、创新链有机衔接,推动高校毕业生更高质量创业就业,腾讯公司参与第七届中国国际“互联网+”大学生创新创业大赛产业命题赛道,并正式发布了10 个命题方向。命题方向聚焦国家“十四五”规划战略新兴产业方向,倡导新技术、新模式的创新。 命题解读视频 欢迎感兴趣的高校团队关注并揭榜。观看命题解读视频进一步了解命题要求,也可点击“阅读原文”下载命题解读文档,并获取各命题专家咨询方式。 命题出题团队微信支付交易欺诈识别微信支付数据中心「虚拟IP」的“智”造创新腾讯广告
导读 高可用可以说是分布式系统中最常谈到的词之一,那么我们在聊高可用时,我们其实在聊什么?本文将通过问答的形式抛砖引玉,其中不会涉及过多的技术细节,旨在为企业的系统高可用建设提供一些参考思路和启发。 作者介绍 崔凯 腾讯云 CSIG 微服务产品中心产品架构师 多年分布式、高并发电子商务系统的研发、系统架构设计经验,擅长主流微服务架构技术平台的落地和实施 目前专注于微服务架构相关中间件的研究推广和最佳实践的沉淀,致力于帮助企业完成数字化转型 概念篇 什么是高可用性 什么是高可用性?可能
五年前,香河大厂村,开张大吉。我和弟兄们雄心壮志,坐公交车去面试,谁知道求职不到半个月,每天平均1.3个人挂在八股文造火箭,一年内6个兄弟去了外包。
1.业务调研 明确需求并经过需求评审后,调研相关系统的功能模块及系统运行流程,生成业务调研报告。
昨天发布的《缓存架构,到底设计些什么?》一文,评论里问“究竟啥时候用memcache,啥时候用redis”的比较多。
大家好,我是老猫。今天和大家分享一下程序员日常的绘图思路,以及一些老猫日常使用的绘图工具。
UbiSQL 这个词对大家来说可能比较陌生,UbiSQL 是平安集团内部打造的分布式数据库产品,代码基于 TiDB,完全兼容 TiBD 4.0 版本。在 TiDB 的特性之上,UbiSQL 在稳定性、安全性和应用性上面都做了提升,打造出一个金融级且内核源码自主可控的分布式数据库,提供一栈式 HTAP 解决方案。
随公司业务不断发展,营销活动、广告、页面改版等需求日益倍增,靠纯人工撸代码已经无法跟上需求增长速度。加班?招人?显得不够明智,也不够前端,提效也就成为了关键。如何提效?从何入手?那不得不提的就是前端提效神器 —— 搭建系统,下文将从多个方面,向大家简单介绍政采云前端团队 ZooTeam 的可视化搭建系统 —— 鲁班。
OceanBase 是蚂蚁金服自研的分布式数据库,在其 9 年的发展历程里,从艰难上线到找不到业务场景濒临解散,最后在双十一的流量考验下浴火重生,成为蚂蚁金服全部核心系统的承载数据库。这一路走来的艰辛和故事,蚂蚁金服高级研究员、OceanBase 团队负责人阳振坤将为你娓娓道来。
2004年10月,我参加了某车站综合信息平台项目的开发,承担项目的方案设计任务。该项目力图通过対车站现有信息子系统的集成,以达到共事各子系统的数据,优化企业运输作业流程,提高企业经营管理水平之目的。 本文结合笔者的实践,以该综合信息平台建设项目为例,讨论了企业应用集成技术。在本着集成、开放标准、管理配套的原则下,提出了基于Java技术的J2EE应用服务器作为统一的应用集成平台,以集成适配器作为系统集成架构模式的总体设计思路,并着力介绍了该项目关键部件一一集成适配器的构建过程。还就项目的具体实施作了详细叙述。最后,提出了企业应用集成的持续性,并确定了下一歩集成的目标。
第45篇原创好文,共2200字|阅读用时5分钟 1 什么是伪中台? 正所谓树大招风,作为互联网圈内顶级流量话题的中台,最近又因为一篇阿里要开始拆中台的文章,走上了舆论的巅峰。 于是乎各家企业对于中台的看法又开始出现了反对的声音,大家都在谈论还要不要继续建设中台,一时间似乎中台变成了万恶之源。 但是我想说很多时候之所以感觉中台建设并没有达到预期的效果,是因为我们在企业内部建设的实际是伪中台。 什么叫做伪中台呢? 所谓伪中台的概念,只是学习了中台思想的部分,例如为了收口而将企业内部原各业务线对于该功能的内容全部
前段时间接手了一个还处于方案设计阶段的工作,我重新做了设计。觉得新方案比旧方案业务清晰明朗、解决了旧方案的缺陷。我就很高兴,跟同事聊这个事情。同事就问我是怎么想到这些的呢。
不造有没有朋友发现,我的公众号改名儿了!Pair Programming,也就是:结对编程~
如今非常多企业都在搭建自己的私有PAAS平台,当然也有非常多大型互联网公司搭建共同拥有PAAS平台(比如SAE/BAE/JAE(jae.jd.com))。那么使用PAAS平台来部署SAAS应用有哪些优点呢?除了大家都知道方便部署管理,节约资源和成本,今天我主要给大家介绍还有一个优点就是让部署在PAAS平台上的应用非常easy做到7×24小时不server执行(哪怕须要又一次部署和更新应用),这个对于一般的企业和普通开发人员来说是非常难办到的。当然假设要在PAAS平台做到事实上也不是那么简单的。须要非常强的技术力量。以下就主要介绍一下在PAAS平台如何实现让部署在PAAS平台上的应用达到7×24小时执行的方案。
软件架构的出现是为了解决系统规模增加后出现了系统耦合严重,开发效率低,逻辑复杂,扩展困难等问题。所以架构设计是为了解决软件复杂度而存在的,所以架构设计的目地是识别出需求的复杂点然后针对性的解决。系统设计时需要考虑:性能,系统的可扩展性,安全性,高可用,成本。 架构师的工作并不神秘,成熟的架构师需要对已经存在的技术非常熟悉,对已经经过验证的架构模式烂熟于心,然后根据自己对业务的理解,挑选合适的架构模式进行组合,再对组合后的方案进行修改和调整。
服务器中的数据库密码定期修改是一个好习惯,这里记录下MySQL和Redis数据库的密码修改步骤。
刚刚过去的21世纪的第二个十年,是消费互联网蓬勃发展的十年,也是云计算、大数据、人工智能等新一代信息技术,即“数字化技术”快速崛起的十年。
最近在和研发同学聊天的时候发现他们有一套数据库开发环境,严格的说这是一套混合环境,算是开发和测试环境的合体。其中负责管理这套环境的研发同学已经受不了了,不禁发出了感叹:什么事情都找我,我又不是DBA.
本篇文章主要介绍 DBLE LOAD DATA 大规模数据导入功能的实现,包括方案设计、源码解读。
领取专属 10元无门槛券
手把手带您无忧上云