杨建荣的学习笔记-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

杨建荣的学习笔记

公众号：jianrong-notes

专栏成员

1678

文章

1667348

阅读量

250

订阅数

从1.0到2.0：民生银行数据库智能运维的探索升级与实践

运维数据库数据分析 sql

首先介绍一下我做的这样一个智能运维平台，在这个智能运维平台里面，大致分为这样4个部分：

2021-11-16

5990

MyCAT和MySQL服务能力的对比梳理

运维数据分析数据库 sql 云数据库 SQL Server

今天下午对比了下MyCAT，MySQL和其他数据库的能力项对比情况，梳理了一个列表，因为篇幅原因，主要包含如下的一些能力项。

2021-10-14

1K0

图表分析2020年和2018年北京积分落户数据

一年一度的积分落户工作马上要开始了，刚好对于2020年的分数情况还做了一些统计，总体的感觉就是：水涨船高。

2021-04-22

8640

迁移至MySQL的数据流转流程优化

大数据文件存储数据库 sql 数据分析

数据流转在很多公司都有实践和落地的场景，如果说关系型数据库/NoSQL是在分，则在数据仓库体系中就是在合，数据分分合合，各取所需。一般来说，数据消费主要有两种渠道，一种是通过报表等形式交付，数据精确度高，实时性要求相对不高，也就是我们常说的统计方向，另外一类是重在数据分析，通过分析过往历史的数据设计相应的模型，发挥数据更深层次的价值，这种一般都是数据工程类项目，基于大数据体系。如果两种体系并存彼此独立，那么就会是如下的数据通道.

2020-12-31

5780

Oracle Sharding: 云端分布式关系型数据库

oracle TDSQL MySQL 版数据迁移数据分析

Oracle Sharding现已正式登陆OCI Marketplace！支持云端全自动部署！感兴趣的小伙伴们快来抢先体验！

2020-10-10

2.3K0

近期的状态小结和最近要做的一些事情

数据库 sql 数据分析

说下最近在做的一些事情吧，也算是对自己做下进度复盘，同时对于需要的人也有一些借鉴。

2020-09-01

4010

一个诡异的MySQL慢日志问题

今天和同事处理了一个MySQL慢日志的问题，从这两天开始频繁收到一些报警信息，但是查看数据库端却没有任何异常。

2020-01-17

5320

使用Python分析北京积分落户数据，分析完我陷入了深思

北京积分落户制是北京市政协建议推行积分落户政策，以科技贡献、专业技能、在京时间等指标为考核项，计算非京籍人才的“积分”，积分达标即可落户北京。也给了我们一众北漂希望，毕竟随着时间的增长，有些不太明显的问题会逐步摆在我们面前，从幼儿园开始到走入社会的教育，是让我们尤其关注的层面，积分落户算是开了一个口子，在现在大多数城市完全开放户籍政策，相比算是开放中的高冷了。

2020-01-17

9270

用python重新定义【2019十大网络流行语】

爬虫 github git 开源数据分析

12月1日，《咬文嚼字》编辑部以一首“顺口溜”发布2019年度十大流行语。“文明互鉴”、“区块链”、“硬核”、“融梗”、“××千万条，××第一条”、“柠檬精”、“996”、“我太难/南了”、“我不要你觉得，我要我觉得”、“霸凌主义”十条流行语入选。

2019-12-24

7290

我用python算出了同事的身份证号码！

github git 开源数据分析

可以用来验证身份证号合法性、获取身份证号信息、生成可通过校验的假数据、身份证升级。

2019-11-24

1.4K1

业务双活的数据切换思路设计（下）

在完成数据迁移，数据同步之后，目前的流量是在“已有数据服务”侧，如果要实现服务的平滑迁移，我们可以按照这个流程来进行设计。

2019-10-15

1K0

一个MySQL连接问题的优化过程

云数据库 SQL Server 大数据数据分析编程算法数据库

今天有一个开发同事反馈说通过sqoop在大数据和MySQL之间同步数据的时候，报了一个连接失败的错误。

2019-06-18

5530

通过可视化了解我们的生活

其实有时候我们的信息是不对称的。以公众号为例，其实关注者之间是彼此不通晓的。我们先来简单看一看公众号的一些读者信息。

2018-12-29

3300

将数据自助服务做深做精

今天和同事脑洞大开聊了下以后的生活，我说简直不可想象啊。假如我们都保持现在的状态，时间轴推进到30年以后，公司还在，我们还在公司，公司还需要我们，我们六十岁的时候生活会是一番什么样的景象，可能开会都得用大喇叭了，

2018-12-29

6880

百倍性能的PL/SQL优化案例(r11笔记第13天)

sql 数据库数据分析

我相信你是被百倍性能的字样吸引了，不过我所想侧重的是优化的思路，这个比优化技巧更重要，而结果嘛，其实我不希望说成是百倍提升，“”自黑“”一下。有一个真实想法和大家讨论一下，就是一条SQL语句如果原本运行20秒，优化到了1秒，性能提升该说是20倍还是提高了95%。当然还见过一种说法，一条SQL语句每次运行20秒，每天运行100次，优化后每次运行1秒，运行还是100次，那么性能提升是说成优化累计时间为100*20-100=1990秒？好了，我们来看看PL/SQL的优化，前期自己分析了一些信息，可以参

2018-03-21

8230

基于报警处理的思考（r9笔记第88天）

自动化运维数据分析数据库 oracle

晚上在琢磨怎么把报警的处理实现自动化的功能，想来想去，发现其实很多内容都是相通，在纸上写写画画，简单理了理自己的思绪。人嘛，有时候不逼着自己，只会更加懒惰，而一旦迈开了步子，可能就停不下来了，问题也

2018-03-19

6560

通过sql语句分析足彩(第三篇）(r3笔记第91天)

sql 数据分析存储

在之前写过两片关于sql语句分析足彩的。都从不同的角度提供了一些思路，之前是基于500场比赛的数据分析，为了数据分析的更加有说服性，我抽取了7000多场比赛的数据来作为分析的基础。自己是在世界杯的时

2018-03-15

6560

通过sql语句分析足彩（r2笔记55天)

sql 数据分析游戏数据库

老是做工作中的数据分析，最近也在看足球彩票，竞猜游戏有输有赢，但是里面还是有不少的数据分析的乐趣，关于足球彩票的分析，自己写了如下的程序，可以参考。当然了，最好能带有主观的分析，这样可能准确率要高一些。以下是仅根据赔率做的一个分析。比如我们目前计划投资100块买单场竞猜，胜平负的赔率就有很大的差别，可以考虑有赔率大的部分来弥补赔率小的部分，这样能够基本达到中和（但是话说过来，竞猜公司的计算更是精准，通过自己其他的公式和计算，数据的范围都牢牢控制在它们的制定范围内）。可以直接运行一下的脚本，假设数据库用

2018-03-14

7530

insert的不同场景性能比较（97天)

数据库数据分析

关于Insert的问题，可能在一些场景中会有完全不同的期望和结果，在日常工作使用的库中，需要表在Logging模式，必要时需要一些索引但在数据迁移中，可能为了提高速度，索引就需要考虑重建了。我做了一些场景的测试，并且做了详细的数据比对。第一种场景：table在nologging模式下。并且表中没有索引，在插入不同数据量的时候，生成的redo和响应时间都有一定的幅度提升。比如插入13240331条记录时，响应时间为63秒，生成323219520bytes(300多M)的redo. nologgin

2018-03-14

6800

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态