首页
学习
活动
专区
工具
TVP
发布

杨建荣的学习笔记

公众号:jianrong-notes
专栏成员
1678
文章
1666698
阅读量
250
订阅数
关于数据质量的思考
最近和几个同事聊了下关于数据的一些问题,有一个问题引起了我的好奇。那就是数仓体系和大数据体系的数据质量差异。
jeanron100
2020-09-10
5180
一个MySQL数据需求的引导
今天和同事聊一个需求,大概就几分钟的时间,突然发现这个过程还是值得总结的,后期也会把这样的一些需求讨论过程记录下来,能够提炼成一套方法论。
jeanron100
2019-05-20
5320
运维开发里程碑的小结
说实话,截止目前,五个功能实现了四个,所以算是基本达标了。后续的改进点依旧有很多,突然发现这样的设计和贯穿,有了一种豁然开朗的感觉。只要行得通,改进也有了方向。
jeanron100
2018-07-26
4450
几类历史数据沉淀的方案过渡
从数据层面来理解,数据可以分为几个维度,比如流水型数据,状态型数据库,配置型数据。流水型数据的依赖最低,基本就是时间维度的扩展,所以从数据的安全角度来说,如果丢数据对业务的影响还是有限的,配置型数据是数据字典级别的,影响范围更是小很多。关键的就是状态型数据,这是非常核心的,因为只是标识状态的变化,如果换做一个场景,比如是金额,那这个维度的影响是很大的。 从数据架构的角度来说,尽可能希望把一些状态型数据的变化,通过流水数据的方式来做一个历史沉淀,我们暂且成为历史数据吧。 比如 更新状态数据,余额为200
jeanron100
2018-04-17
1.3K0
数据访问层的优化思路(r10笔记第80天)
对于数据访问层的优化,我简单总结了一下,其实里面有很多的点子现在想起来有一种灵光一现的感觉,但是真真切切的,里面有不少是之前公司已经做到了的,所以一个做产品的公司真心很伟大,而能够沉淀下来如此多的东西
jeanron100
2018-03-21
5870
快速定位隐蔽的sql性能问题及调优(r5笔记第38天)
在前几天,有个开发同事问我一个问题,其实也算是技术救援,他说在有个job数据处理的频率比较高,在测试环境中很难定位出在哪有问题,而且速度也还能接受,但是在生产环境中总是会慢一些,希望我能在测试环境中协助他们,看看是不是sql语句出什么问题了还是其它相关的问题。 这种类似实时监控的语句,从第一印象来说,很可能通过awr捕获不到,如果通过ash来捕获,因为测试环境中有几十套测试环境在运行,就算得到某个时间点的一些sql语句,直接在报告中映射到语句对应的schema信息还是有一些困难的。因为测试时间确实很短,有很
jeanron100
2018-03-15
7050
使用logon trigger完成动态的session跟踪(r4笔记第29天)
在之前讨论过 关于oracle中session跟踪的总结,可以参见链接 http://blog.itpub.net/23718752/viewspace-1150568/ 基本的session跟踪方法都做了讨论,但是在实际应用中场景可能要复杂一些,比如我们可以对指定的session开诊断事件,如果session中运行的某个环节出现问题,可以根据诊断事件得到比较明细的递归sql来逐步查看排除,知道问题的根源。 但是如果不确定session的情况,因为每次连接进来的session都是不固定的,这样就很难开诊断事
jeanron100
2018-03-15
6510
融会贯通学习trigger(r2笔记第4天)
很多的东西在工作中用到的时候才能理解深刻,有些东西停留在理论层面而不去实践,就不会真正理解。 昨天写了一个很简单的trigger,但是中间也费了一些周折。 系统中碰到一个很严重的问题,一个数据处理引擎是基于表驱动设计的,里面的一个表中已经pending了很多的事务信息,对系统造成了严重的影响,为了第一时间排查这个问题,同事为了避免对目前的事务处理的进一步影响。讨论最后决定,我们需要修改一个字段的值,把它改为一个不被系统设别的值,这样新的事务信息就不会对目前的问题排查工作所影响。 这个时候需要dba要做的就是
jeanron100
2018-03-14
6660
关于操作失误的数据修复(r2笔记48天)
在系统升级的过程中,准备了大量的脚本,分成几个窗口来分别执行。 在碰到问题的时候,一定要很细心和冷静,不经意的错误可以需要几倍,几十倍的努力来挽回。 准生产环境中有一个表。TREATMENT_ACTI
jeanron100
2018-03-14
5990
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档