腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

杨建荣的学习笔记

公众号：jianrong-notes

专栏作者

1678

文章

1605583

阅读量

250

订阅数

搞会这个索引添加法，十亿级时延敏感集群想抖动都难

mongodb shell 数据库 sql 云数据库 MongoDB

杨亚洲，前滴滴出行专家工程师，现任OPPO文档数据库mongodb负责人，负责数万亿级数据量文档数据库mongodb内核研发、性能优化及运维工作，一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研发。

2021-09-02

4600

如何基于Python实现MySQL查询的API设计,附上完整脚本

http 云数据库 SQL Server python shell

我们在平时的工作中不可避免会有连接到数据库的操作，通常来说我们会使用基于Shell的方式，或者基于数据库驱动的连接方式，比如JDBC,ODBC,PyMySQL,MySQLdb等。

2019-10-21

1.2K0

磨刀不误砍柴工-流程梳理

昨天开始写一个数据逻辑，整体来说就是对于数据生命周期的管理，如何做到系统化管理，而且对于数据库的侵入性最小。通常来说，我们会投入较多的时间来逻辑开发部分，然后不断的迭代，得到一个初版的内容，但是不可否认，流程梳理是一个很关键的部分。

2019-06-19

3940

运维开发体系梳理

运维 python shell 架构设计

今天把运维开发的体系做了一层梳理，基本把一个整体的脉络理清楚了，这部分的内容也会不断萃取和整理，希望能够给大家一些参考。

2019-03-07

1.4K0

梳理博客的启示

运维 shell python go 数据库

今天下午整理了近一年来的文章情况，发现运维开发的文章比重偏高。在侧重整理这部分的内容时，发现了两个比较突出的问题，首先发现很多运维开发的总结比较零散，侧重的比例没有预期的那么均匀，另外一方面则是一个重要的问题，很多知识点没有成为体系，没有成为体系就很难看到一个全景图。

2018-12-18

3130

我们所看重的DBA方向的能力

我们所看重的DBA方向的能力，可以分为两个维度，那就是高能和高潜，不能一概而论。

2018-12-14

4140

通过shell脚本抽取MySQL实例信息

shell 云数据库 SQL Server bash grep

先来为自己吹的牛来打脸，昨天计划今天要做15件看起来复杂的事情，一天完成15件复杂的事情，截止现在完成了7件，勉强一半的节奏。

2018-09-29

1.4K0

任务调度的并行算法

编程算法数据迁移 shell 自动化运维

如果串行是肯定不行的。我们可以考虑并行策略，但是开了并行，怎么能够充分利用资源比较好呢。

2018-07-26

9240

shell的参数和脚本流程改进

今天痛下决心，把事务的工作一定要使用平台来做，时间短，任务紧，之前的运维开发是铺了一个面，每个面都做一些相关的事情，所以工作整体看都有进展，但是最后没有一个专注的功能。

2018-07-26

6140

使用shell脚本得到MySQL实例列表

shell 云数据库 SQL Server 运维

之前从主机，实例，业务，集群几个维度来完善了运维平台的元数据信息，把流程贯穿起来，也确实看到了一些好处，但是有一个点很重要，也是我们容易忽略的：有些元数据我们也无法确认是不是完整，准确。大体有三个维度：

2018-07-26

9790

运维开发流程梳理和思考

运维自动化 shell python

记得之前梳理过一个运维开发流程，也做了一些实践，从我的认识和理解来看，其实这更适合一个团队内的协作。

2018-07-26

1.1K0

关于MySQL极限值的初步验证纠错

云数据库 SQL Server shell sql 数据库

晚上从珠江边回来之后，看到一篇文章说，MySQL有几个极限值，一个表的字段最多只有1017个，我看了以后表示怀疑。怎么快速验证呢，我看到文章的时候已经11点了，只有不到1个小时的时间来验证了。我想不能通过手工的方式来做，写个简单的脚本，能实现功能即可。于是三下五除二，我写了下面的简单shelll脚本，跑一个循环，批量生成表结构信息。首先我尝试的是int数据类型，脚本如下： new=$1 echo 'drop table if exists test_new;' > aaa.sql echo 'creat

2018-03-22

6450

通过shell脚本模拟MySQL自增列的不一致问题

shell 云数据库 SQL Server 数据库

MySQL的自增列问题其实很有意思，在重启数据库之后，会按照max(id)+1的方式来计算，这样一个看起来有些别扭的实现方式在早期版本就饱受诟病，在MySQL 5.7都没有解决掉，终于在8.0松口了，计划在这个版本中修复。而重启会带来自增列一类的潜在问题，而如果不重启其实也有可能会有自增列的不一致问题。和两个参数table_definition_cache和table_open_cache还是密切相关的。主要的原因是什么呢，引用阿里数据库内核团队的解释（https://www.kancl

2018-03-21

1.4K0

MySQL Shell的简单介绍(r12笔记第95天）

云数据库 SQL Server shell sql

MySQL Shell是在官方版本5.7.12推出，工具的初衷本身都是为了解决一类问题，想必官方从很多方面了解到工具的使用情况，支持的开发语言太多，众口难调，所以这么个命令行工具就出来了，从它的推出，足以看到MySQL的格局，它是把很多能做不能做得都揽过来自己做了。根据官方的shell,python,原生SQL,Javascript等，格式都是清一色的JSON. 如果对这个工具还是有一些疑惑的话，在最新版本的InnoDB Cluster可以作为其中的一个标准组件，如果你想搭建这个环境，里面的标准

2018-03-21

5.2K0

使用shell自动化诊断性能问题(一)（r11笔记第41天）

shell 自动化数据库 sql

一直以来要做性能分析的自动化工作，但是久久没有动笔，今天索性来更新一版。首先我希望得到的一个基本效果就是后台去扫描数据库的DB time，如果超出了阈值，比如这里我设置的为400（即DB time为400%），则会开启自动诊断的任务。时间范围是提前一个小时和当前时间。我对已有的脚本做了一些改动，加了一些逻辑，后续还会不断完善。 DBTIME_THRESHOLD=400 DATE=`date '+%Y%m%d'` BEGIN_HOUR=`date -d"1 hour ago" +"%H"` END_HOU

2018-03-21

6140

ssh免密码登录设置及问题总结

ssh shell 运维

前几天写了一篇文章关于ssh命令的几个使用小技巧(r11笔记第27天)，很多朋友给了不少的建议，其中郭亮同学整理了一篇文章发给我在此表示感谢。关于ssh免密码登录，总结了3种方法， # 一种推送的方式，也就是在服务器端操作，前提是知道所有免秘登录的服务器用户密码，通过脚本可以读取用户名密码。我写过一个telnet自动登录的脚本，详见附件。 ssh自动登录也可以采用expect语言实现，这个暂未撰写脚本文件，待写中。 # 一种拉取的方式。也就是在客户端进程操作，前提只要知道服务器端一个用户密码即可，弊端是需

2018-03-21

1.4K0

Oracle 12c里的几点补充（一）(r11笔记第7天)

oracle shell sql 数据库

今天看了一些12c的内容，有几点需要补充一下，以后也会不定期来推送一些12c使用中的总结。是对于PDB的信息抓取，比如当前有哪些PDB，什么时候启动，容量大小等每个PDB对应的会话连接有多少查

2018-03-21

8040

使用shell脚本检测数据库连接访问情况(r10笔记第98天)

shell 数据库 oracle 云数据库 SQL Server

最近要迁移几套环境，涉及的数据库有Oracle,MySQL,数量还不少，能够达到的目标就是整合后的服务器缩减幅度达到70%，这样一种迁移场景，就涉及到很多的网络连接情况，如果本身业务优先级高，涵盖的是全局业务，那么这个影响就会无限放大。所以对于网络连接情况的监控也尤为重要。其实对于这方面的内容，严格来说，DBA能够根据防火墙信息列表筛查到对应的应用服务器IP，然后交由负责的专人来负责跟进就可以了，但是这个时候因为重重原因，我要ipositive一些。这件事情就希望我能够有自己的信息，不至于到了后

2018-03-21

7270

初识Python （r10笔记第52天）

python 自动化运维 shell

现在的技术发展，海量服务器，批量任务，让原本精细化，几台服务器上的维护工作一下子有了指数级的提升，于是很多人就提出了自动化运维，而Python似乎也是“应运而生”，当然Python语言其实历史已经很悠久了，这是很多运维，很多开发人员来说没有逐渐渗透到这个领域而已。很多系统管理员可能对Perl情有独钟，或者经典的shell,百八十台的服务器都可以轻松维护。不过有时候感觉和预期还是有一些出入，Python总是被提起，但是自己从来没有细细了解过。当然任何工具都是媒介，语言也是如此，能够实现需求，改进需

2018-03-20

5960

Linux命令ssh-copy-id （r10笔记第21天）

linux ssh oracle shell

在N多年前，搭建Oracle RAC环境的时候，其中有一项非常艰巨的任务就是配置节点服务器的互信关系，每次到了这个部分的时候就有点晕，因为文件需要在两个节点间拷过来，拷过去。每次到了这个部分，就需要打开我的攻略笔记，然后严格按照上面的步骤来完成。到了OCM考试的时候，当时Oracle是提供了一个建立互信关系的脚本，直接运行即可。搭建的过程省事不少。到了11g的RAC搭建中，在检查项中有一个就是建立互信关系，只需要在界面上点击即可完成。可见互信关系的建立过程是越来越简化了。当然回到工作环境中

2018-03-19

1K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态