首页
学习
活动
专区
工具
TVP
发布

ThoughtWorks

专栏作者
905
文章
726763
阅读量
113
订阅数
数据库迁移:从 SQL Server 到 PostgreSQL
在这个数字化时代,企业的复杂业务逻辑运转需要依赖复杂的业务服务来完成。这些业务服务通常会经历变更、拆分、合并和上云等过程,最终与一些商业软件和云平台深度融合。
ThoughtWorks
2023-11-30
2020
一个非教条式的TDD例子
问题背景 数据分批器这个名字是我临时起的一个名字,源于我辅导的客户团队开发人员在当时的核心系统中要解决的一个实际业务问题 —— Oracle的数据库删除每次只支持1000条。这个问题更确切的讲是因为Oracle对下面这句SQL语句的支持约束: delete from t_table where id in (ids) 问题就出在这个where id in ...上,后面传入的集合参数ids最大支持1000条。而实际业务场景中存在大于1000条数据,所以需要进行分批处理。 针对这个问题,我暂时不去探究这个SQ
ThoughtWorks
2022-09-28
2700
Google Cloud Spanner的实践经验
Cloud Spanner是Google Megastore系统的继承者,Spanner表现出远超前辈的能力。Spanner首次是在Google内部数据中心中出现,而在2017年才对外发布测试版并加入了SQL能力。如今已经在Google云平台上架并拥有大量各个行业的用户。Cloud Spanner数据库是全球范围分布式的关系型/事务数据库,并且Google承诺Cloud Spanner拥有高吞吐量、低延迟和99.999%的高可用性。 接触Cloud Spanner 第一次接触到Google Cloud Sp
ThoughtWorks
2022-08-26
1.3K0
遗留系统的服务拆分
最近一年来,我所在的项目为一个传统行业客户的 IT 核心系统做遗留系统改造,我参与了该系统一个业务模块的拆分和服务化,在这过程中落地了一些有意思的实践,特此记录下来和大家分享。 项目背景 这是一个运行了至少 15 年的单体系统,采用的技术栈是 JDK8、Servlet、JSP、Oracle、JDBC、存储过程、Weblogic,从这些关键词就能感受到它的沧桑感。整个系统都在一个代码仓库中,或按业务或按功能划分成了 30 多个 maven 模块,模块间可以任意调用彼此的方法,也可以随意访问彼此业务的数据库表。
ThoughtWorks
2022-07-12
3220
聊聊通用的架构设计
前言 Thoughtworks作为一家全球软件及咨询公司,每天需要面对各行各业的客户,接触各种各样的系统,因此我们经常需要对新的系统进行架构的设计、对遗留系统进行架构的分析和改造,本文就架构设计这一块,聊一聊架构设计通常都包含哪些内容,并通过一些示例分享,方便大家更加直观的感受。 架构,又名软件架构,是有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个方面的设计,通俗一点说就是“构建一个架子”。 一个架构是系统的基本结构,它由多个组件以及它们彼此间的关系而组成,并且在一定环境和原则下进行设计和演变
ThoughtWorks
2022-03-09
2.4K0
性能优化那些事儿(2)
『不管项目大小,一旦上线,或多或少都会遇到性能问题』性能问题就像是魔咒一般藏绕着我们。 性能优化应该什么时候开始 有些性能问题是随着时间的积累慢慢产生的,比如系统一开始数据量很小的时候,没有什么问题,等到数据积累到一定程度,问题就暴露出来了;有些问题是由于访问量的过大造成的,比如系统平时没问题,一到搞活动时就挂;也有些问题是遗留系统经过太多人去维护修改,导致各种坏代码味道性能问题仿佛到处存在。性能问题就如同一颗定时炸弹,只要数据量访问量一上来,或者各个团队在开发迭代中没有注重性能的意识,早晚会炸。既然迟早会
ThoughtWorks
2022-03-04
2360
数据库拆分实战
对遗留系统的微服务化改造,从整体上来说,整个过程包含两个部分:一,通过某一种方法论将系统进行微服务划分,比如DDD倡导的限界上下文划分方法。根据系统的特点和运行状态,又分为具体的两种实施策略,绞杀者模式和修缮模式。二,数据库的拆分,只有在数据层面也拆分开,才能真正达到服务化的目的。具体也可以分为,与业务服务拆分同时进行,或者等业务服务拆分后再单独进行两种策略。
ThoughtWorks
2021-11-15
8000
MPP架构与Hadoop架构是一回事吗?
计算机领域的很多概念都存在一些传播上的“谬误”。MPP这个概念就是其中之一。它的“谬误”之处在于,明明叫做“Massively Parallel Processing(大规模并行处理)”,却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比,这实在是让人困惑——难道Hadoop不是“大规模并行处理”架构了?很多人在对比两者时,其实并不知道MPP的含义究竟是什么、两者的可比性到底在哪里。实际上,当人们在对比两者时,与其说是对比架构,不如说是对比产品。虽然MPP的原意是“大规模并行处理”,但由于一些历史原因,现在当人们说到MPP架构时,它们实际上指代的是“分布式数据库”,而Hadoop架构指的则是以Hadoop项目为基础的一系列分布式计算和存储框架。不过由于MPP的字面意思,现实中还是经常有人纠结两者到底有什么联系和区别,两者到底是不是同一个层面的概念。这种概念上的含混不清之所以还在流传,主要是因为不懂技术的人而喜欢这些概念的大有人在,所以也并不在意要去澄清概念。“既然分布式数据库是MPP架构,那么MPP架构就等于分布式数据库应该也没什么问题吧。”于是大家就都不在意了。不过,作为一个技术人员,还是应该搞清楚两种技术的本质。本文旨在做一些概念上的澄清,并从技术角度论述两者同宗同源且会在未来殊途同归。
ThoughtWorks
2021-10-22
2.3K0
如何在代码中处理时间
在国际化应用中,对日期/时间的处理远比你想象中的更难,特别是当涉及到时区的时候。为什么会这么难?我们该如何解决它?请听我为你一一解析。几乎所有的系统都离不开“时间”的概念,以至于大多数语言(及其默认库)都定义了日期/时间等类型。但是,我们日常所说的“时间”这个词实际上包含了多个相似却有微妙差异的概念。如果不能分清它们,会给你的开发工作带来很多烦恼。
ThoughtWorks
2021-09-15
1.4K0
使用函数式语言实践DDD
长期以来我都在实践OOP,进而通过OOP来实现DDD,通过面向对象的技巧来建立一个领域模型。OO的一些特性在建立领域模型时显得恰如其分,能否掌握OO的技巧,对创建领域模型有着至关重要的作用。这篇文章为大家介绍一种常见的函数式架构,特别是如何通过函数式语言实现DDD,进而利用函数式组合的特性,创建函数pipeline。软件架构是围绕着领域模型而做的若干设计,如果按照C4模型的定义,软件架构由下面四个级别的架构组成的:
ThoughtWorks
2021-09-15
4120
如何做好大型遗留系统的数据迁移
历史悠久的大型企业,都会存在遗留系统。这些系统运转着重要的业务,但使用到的技术已经跟不上时代潮流。因此有着维护成本高、难以扩展、用户体验差等缺陷。最终,企业一定会下决心开发一套全新的系统来替代遗留系统。除了完成新系统的开发,还有一项重要的工作,是将老系统中存留的数据迁移进新系统,也就是我们常说的数据迁移。如果你没有数据迁移的经验,很容易低估其难度。数据迁移看起来只是把数据从一个 DB 转移到另外一个 DB,select + insert + 转换逻辑就可以轻松搞定。如果带着这个想法开始数据迁移项目,你的团队很快就会坠入深渊,举步维艰。数据迁移是一项看似简单,实而复杂且繁琐的工作,想要做好并不容易。
ThoughtWorks
2021-09-15
1K0
那些数据工作中的角色
数据工作中有一类非常重要的角色,那就是数据分析师。为什么这个角色这么重要呢?因为要是没有这个角色,不管一个企业中的数据管理做得有多么好都没用,都无法带来实际的价值。这些数据就像是藏在海底的石油,而数据分析师就是开采海底石油的油井设备。要想让石油用于汽车轮船,需要通过这些设备先将海底的石油抽取出来,经过加工处理,提纯。
ThoughtWorks
2021-07-02
4310
测试用例的一些“真相”与“事实”
测试用例存在一些真相与事实,有些广为人知,有些却很隐蔽。正是基于这些真相与事实,可以对我们的手工测试、自动化测试、甚至规模化的自动化测试(数以万计的用例)带来不同的启发。
ThoughtWorks
2021-05-20
3680
数据仓库项目中的数据建模和ETL日志体系
数据仓库项目跨功能需求开发不够完善,导致的各种问题,就我个人经验来说,主要体现在数据建模不够标准和ETL日志体系不够完善两个方面,本文会详细介绍一下,如何从跨功能需求的角度,构建标准的数据建模和完善的ETL日志体系。
ThoughtWorks
2021-01-12
6880
健壮的数据仓库项目搭建
数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。
ThoughtWorks
2020-12-08
7350
更好的开卡,来聊聊非功能性需求
工作这么几年来,见得最多的场景是 QA 小伙伴满办公室追着开发报 bug,有时候开发会不乐意,“当时可没说要 XXX,要做 XXX。”
ThoughtWorks
2020-02-18
9260
日志中的用户隐私安全
对于敏捷团队,安全卡应该提到比业务卡更高的优先级,同样需要放在backlog里面进行track,需要kick off、deskcheck,需要一个正经的流程或者仪式感强化成员的意识:安全卡和业务卡、Bug卡都是项目交付中的一等公民。
ThoughtWorks
2020-02-18
8790
一个黑客的自白书
我将坦白当我准备入侵一个目标时,我是如何收集信息并入侵的。最重要的是,我会给你们一些有用的忠告。
ThoughtWorks
2019-12-26
1.4K0
后端开发实践系列之四——简单可用的CQRS编码实践
20多年前,Bertrand Meyer在他的《Object-Oriented Software Construction》一书中提出了CQS(Command Query Seperation,命令查询分离)的概念,指出:
ThoughtWorks
2019-10-14
1.1K0
关于性能测试
性能测试已经是一个老生常谈的话题了,不同的项目或多或少都会涉及到,但是每个人的经验肯定有所不同。今天我想从以下几个方面分享一下我认为关于性能测试需要重视的要点。
ThoughtWorks
2019-09-16
1.1K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档