这是学习笔记的第 2409篇文章 最近在琢磨一个问题,那就是我们每天上下班的路上会接收大量的信息,但是经过时间的沉淀之后,能够留下来的信息是少之又少,这一点让我很焦虑。 像开车上下班的路上,我有时候会听一些访谈和解读,带给我最大的收获是听起来有道理,但是要让我说个一二三,就感觉词穷了,而过了一段时间之后,其实这种听的效果跟没听没什么差别。 对此我做过一些尝试,比如我在路上听《冬吴同学会》,会听个大概,等到公司之后的时候就会找一下相应的文字版,从大段的文字中找到要点和观点,但是这种
备份与恢复⼯具BR:https://docs.pingcap.com/zh/tidb/stable/backup-and-restore-tool
至少前天接触了有致于做物联网平台的某鞋业集团,发现对MongoDB文档数据库理解还是不够深刻。今天再次在两台Linux CentOS主机安装了MongoDB数据库,对其高级特性进行了验证。有以下经验。
INODB和MyISAM有区别;(engine=innodb和engine=myisam)
我们平时做项目开发。一开始,通常都先用一张数据表,而一般来说数据表写到2kw条数据之后,底层B+树的层级结构就可能会变高,不同层级的数据页一般都放在磁盘里不同的地方,换言之,磁盘IO就会增多,带来的便是查询性能变差。如果对上面这句话有疑惑的话,可以去看下我之前写的文章。
按照我个人理解的商业模式优劣排序,挑选杭州本地几家典型ToB技术公司的商业模式分析如下:
对于商业数据库而言,数据库升级是一个优先级很高的事情,有版本升级路线图,有相应的补丁,而且对于方案还有一系列的演练,显然是一场硬仗。而在MySQL方向上,升级这件事情就被淡化了许多,好像只能证明它的存在而已,当然正是由于这种不重视,也让我今天走了不少弯路。
下列不属特性品的主要质量于食。标悬置为将E1端道化的命令是非信方式口设。新中国成0年立7来,上的式特色民主协商中国局面)的成(已形,特色提供中国主义制度障要保为建完善立和了重社会。…
试想在1M大小的文件中搜索一个词,可能需要几秒,在100M的文件中可能需要几十秒,如果在更大的文件中搜索那么就需要更大的系统开销,这样的开销是不现实的。
经常会有一些朋友咨询我一些数据库的问题,我注意到一个很有意思的现象,凡是数据导入的问题,基本上都是Oracle类的,MySQL类的问题脑子里想了下竟然一次都没有。
MySQL 的慢查询日志是 MySQL 提供的一种日志记录,它用来记录在 MySQL 中响应时间超过阀值的语句,阈值指的是运行时间超过 long_query_time 值的 SQL,则会被记录到慢查询日志中。long_query_time 的默认值为 10,意思是运行 10秒 以上的语句。默认情况下,MySQL 数据库并不启动慢查询日志,需要我们手动来设置这个参数。 慢查询需要知道的 “点” 企业级开发中,慢查询日志是会打开的。但是这同样会带来一定的性能影响。 慢查询日志支持将日志记录写入文件,也支持将日志记录写入数据库表 默认的阈值(long_query_time)是 10,这个显然不可用,通常,对于用户级应用而言,我们将它设置为 0.2 慢查询相关的变量 查看变量的 SQL 语句
金磊 Alex 发自 凹非寺 量子位 | 公众号 QbitAI 朋友,治疗新冠这事,马上口服药片就行了。 你没听错。 国家药监局最新发布的一条重磅消息表明: 首个国产抗新冠口服药获批上市了! 但更令人意外的一点是—— 这个口服药,阿兹夫定片,原本竟然是用来治疗艾滋病的药物(每片售价25.86元)。 并且从公布的临床试验结果来看,这款口服药可以在5天左右的时间内,达到清除病毒的效果。 那么问题来了: 为什么用艾滋病的药可以治新冠? 阿兹夫定是一种口服双靶点核苷类抗病毒药物。 起初,它是作为一种艾滋病治疗新药
说到ETL,很多开发伙伴可能会有些陌生,更多的时候 ETL 是用在大数据、数据分析的相关岗位;我也是在近几年的工作过程中才接触到ETL的,现在的项目比较依赖 ETL,可以说是项目中重要的一部分。
有人从网上搜集了52 条 SQL 语句性能优化策略,在各大技术网站和公众号广为流传, 我对其中的一些观点有不同看法(其中一些规则本身就没有描述清楚,或者是自相矛盾), 下面内容黑色部分是原文,以tiger开头并标红的内容是我的点评,大家可以参考一下:
没有模型很难做好分析,希望记住这句话。 1. 概念含义 1.1.基本概念 决策树分析法又称概率分析决策方法,是指将构成决策方案的有关因素,以树状图形的方式表现出来,并据以分析和选择决策方案的一种系统分析法。它是风险型决策最常用的方法之一,特别式勇敢于分析比较复杂的问题。她以损益值为依据,比较不同方案的期望损益值(简称期望值),决定方案的取舍,其最大特点是能够形象地显示出整个决策问题在时间上和不同阶段上的决策过程,逻辑思维清晰,层次分明,非常直观。 2. 主要内容 2.1. 结构 决策树是由不同结点和方案枝构
对于自动驾驶来说,建图是必不可少的,目前主流厂商技术都在从HD到"无图"进行过渡筹备中,不过想要最终实现真正的"无图"还是有很长的一段路要走。对于建图来说,包含了很多的道路元素,车道线,停止线,斑马线,导流属性,道路边缘以及中心线(包含引导线)等。这里,中心线的预测通常是根据轨迹,通过数学公式进行拟合,目前学术上逐渐采用模型进行预测,但是对于下游(PNC)来说,还是存在不够平滑,曲率不够精准等问题,不过这个不在本次方案讨论范围内,先忽略,以后有空可以写一写。道路边界对于PNC来说也是至关重要,约束车辆行驶范围,避免物理碰撞发生。通常道路边界的生成有几种方法,一种是当做车道线的一部分,跟着模型一起输出,但是没有车道线的特征明显,容易漏检,而且道路边界是异形的,基于分割的方案会比基于Anchor的方案效果稳定一些。另一种是HD的方法,根据处理后的车道线,按照距离和规则等虚拟出道路边界线。本文给出一种新的解决方案,略微繁琐,但是优点是可以延用已有的公开数据集进行处理生成,快速落地验证,缺点是本方案不具备时效性,是离线的方法。
密码喷洒攻击属于一种自动化攻击的方式,为了避免只针对一个用户进行密码爆破而造成账户锁定,密码喷洒攻击是对所有用户进行爆破,既避免了用户被锁定,同时也提高了用户破解密码的效率。同时,不同于固定用户名对密码进行爆破,密码喷洒攻击是固定密码对用户名进行爆破。
本文内容来自 http://docs.fedoraproject.org/zh-CN/Fedora/12/html/Virtualization_Guide/chap-Virtualization_Guide-Managing_guests_with_virsh.html
CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
这是学习笔记的第 2300篇文章 最近在听得到头条的时候,有一篇内容感觉很不错,是《怎样当好一名外卖骑手》,本来是的带着一丝的娱乐意味来听的,没想到确实让我有了新的认识。 我整理了下思路,打算和大家简单聊聊。 我会按照两个维度来聊关于外卖骑手这件事,分别是: 1)打破认知思维,重新看待外卖骑手 2)如何在长期,持续的跑单工作中提效。 首先是打破认知思维,重新看待外卖骑手,这里我没有职业歧视,偶尔会和外卖小哥聊一下,发现他们全年几乎无休,总是在争分夺秒。换了一个思路来看,外卖骑手这个职业只要勤劳
前面说了MySQL Linux平台和Windows平台的安装 下面开始是MySQL的一些学习笔记 前面我们说了如果构造数据 这节开始说MySQL 的备份 环境为MySQL 5.7.25 在解释命令之前
对于节假日,难得的假期,尤其是外出的时候碰上几个数据库报警,那些报警又属于不得不处理的时候,真是让人上火,所以也想了一些办法来尽可能杜绝和避免这种情况。
Maxwell是开源产品,相比Canal的体量也小很多,综合考虑下,在短期内选择了Maxwell.
GPS校时装置系统,应用于整个时间频率体系中,若要搭建一套完成的系统,就必须满足于系统的产生性和受检性,存在及监查性。本文主要基于GPS校时装置系统所输出的时间接口协议,对相对的接口协议产生的时间测试问题进行说明
这是学习笔记的第 2431篇文章 赶个晚集,OceanBase发布会也有些天了,现场的感觉还是蛮好的,把整理的照片也发上来,供参考。 有组织和甲方站台。 有兄弟单位捧场 CEO站台 三地同时发布 现场压测,这个感觉很刺激。 阳振坤老师站台。 最喜欢这种情怀。 各大平台都可以找到我 微信公众号:杨建荣的学习笔记 Github:@jeanron100 CSDN:@jeanron100 知乎:@jeanron10
MySQL索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度。
2021年9月30日国家发改委官网发布两则通知: 1、国家发展改革委关于向社会公开征求对《关于严格执行招标投标法规制度进一步规范招标投标主体行为的若干意见(征求意见稿)》意见的公告; 2、国家发展改革委关于向社会征求对《关于进一步规范公共资源交易平台服务行为的若干意见(征求意见稿)》意见的公告。 文件要求: 落实招标自主权 1、依法保障招标人确定中标人等环节自主权。 2、招标人有权自行选择招标代理机构,任何单位和个人不得以任何方式为招标人指定招标代理机构。 严格执行强制招标制度 1、严禁随意改变招标程序,禁
翻译稿(文末有原文链接)网络安全研究组织最近开始在端口 3306/TCP 上扫描可访问的MySQL服务器实例。惊讶的是,发现大约230 万个 IPv4地址响应了扫描请求。更令人惊讶的是,发现超过130 万台 IPv6设备也做出了响应。 所以,IPv4 和 IPv6 扫描一共发现了全球360 万个可访问的 MySQL 服务器。 虽然不检查可能的访问级别或特定数据库的暴露程度,但这种风险是应该提前规避,从而避免更大的损失。 扫描方式 通过在端口3306/TCP上发出 MySQL 连接请求并收集以MySQL
-e 代表添加环境变量 MYSQL_ROOT_PASSWORD是root用户的登陆密码
今天脑海里蹦出了一个词“周期”,对的,周期。我觉得好像是一只无形的手,像是路口的红绿灯,路边的指示牌,能够通过这些规则的变化让交通秩序稳中有序。
根据实验结果来看,研究有效验证了星地链路高精度光频标比对的可行性,向建立广域光频标网络迈出重要一步。
对于第一个问题,目前个人发现只能通过重新建库解决,建库的时候,选择UTF-8字符集。我试过修改现有数据库字符集为UFT
MySQL的优化主要分为结构优化(Scheme optimization)和查询优化(Query optimization)。本章讨论的高性能索引策略主要属于结构优化范畴。本章的内容完全基于上文的理论基础,实际上一旦理解了索引背后的机制,那么选择高性能的策略就变成了纯粹的推理,并且可以理解这些策略背后的逻辑。
往期专题请查看www.zhaibibei.cn 这是一个坚持Oracle,Python,MySQL原创内容的公众号 前面说了MySQL Linux平台和Windows平台的安装 下面开始是MySQL的一些学习笔记 前面我们说了如果构造数据 这节开始说MySQL 的备份 环境为MySQL 5.7.25 MySQL 5.7 Windows平台安装 MySQL 5.7 Linux平台安装 Part 1 MySQL 5.7.21 Linux平台安装 Part 2 [周末往期回顾]MySQL 5.7 常用命令
大家好,我渣渣烟。我曾经写过一篇《面试官:讲讲mysql表设计要注意啥》,当时写完后,似乎效果还行!
在Oracle中,使用分区表是一种很自然的事情,数据库容量基本都是500G起,大小在5T以上都是很常见的。
索引用于快速找出在某个列中有一特定值的行。不使用索引,MySQL必须从第1条记录开始然后读完整个表直到找出相关的行。 表越大,花费的时间越多。如果表中查询的列有一个索引,MySQL能快速到达一个位置去搜寻到数据文件的中间,没有必要看所有数据。 大多数MySQL索引(PRIMARY KEY、UNIQUE、INDEX和FULLTEXT)在B树中存储。只是空间列类型的索引使用R-树,并且MEMORY表还支持hash索引。
这是学习笔记的第 2411篇文章 今天和同事在聊天的时候,我们谈到了一个有意思的问题,那就是对于工作的业务价值和技术价值的衡量。具体的维度和考量就不细说了,大体的意思有两点:首先是不要什么事情都需要上纲上线,时间长了难免会焦虑,都想往价值上去靠,挖空心思包装自己的说法,会更让自己陷入迷茫之中;第二是得有一个轴,也就是我们在一段时间里做事情,一定是有轻重缓急,那么这个核心的轴我们得把握中,而且得把握平衡,否则就是撒芝麻,没有轻重,全是碎片化。 同时在我的观察中,我发现很多职场老鸟都在如下的几个方面存在或多
这是学习笔记的第 2417篇文章 今天和研发团队沟通一个数据存储方案的设计和改造,大体的背景是在数据库中有些id类数据,如果数据类型是int,则存在一定的溢出风险,在程序层面需要提前考虑修改为int64,在MySQL中可以简单理解为bigint. 我们假设这个id字段为uid,如果是用户业务,则很多业务逻辑都是和这个uid强相关的,那么就会存在大量的业务梳理和研发代码的接入,如果底层数据存储的压力和风险过大,则这个事情的改进周期和影响范围就会更难以评估和控制。 所以这个问题从长期来看是未
其实这下面每个问题,我都可以讲一篇文章出来!而且这些问题,不是我凭空编的。如下图所示(注意看第三题)
最近将公司的solr集群升级到了最新的6.5版本。 之前用了N年的是3点多的版本,那个时候solr还不支持自带的集群,集群方式都是自己实现的。 公司里用的最多的数据库就是mongodb了,大数据量存储,天生集群支持,分片更简单。 mongodb唯一不足的就是全文检索的能力,不过大部分公司都是用的搜索框架来单独提供搜索服务的。 下面介绍下mongodb怎么结合solr或者es来做搜索。 建索引方案一 solr或者es部分只存储需要搜索的索引和数据的主键ID。比如根据标题搜索,那么只建立标题索引。存储部分只存主
这是学习笔记的第 2423篇文章 关于职级晋升的ppt内容,自己也看过不少同学和行业内朋友的,也提供了一些改进的建议,自己这两天做了下总结,还是希望能够对大家也有一些帮助,当然提出问题容易,实际情况和我所说的会有一些差别,大家也不要对号入座,本质上是希望能够提供一些改进建议。我的改进建议分为基本规则、内容格式、内容形式和锦上添花四个类别。 一、遵守基本规则 1. 不使用统一的ppt模板 除非自选的模式效果很突出 2. 随意调整目录结构内容 比如目录结构包括4部分,自己调整为3部分 3. 答辩超
这是学习笔记的第 2432篇文章 首先来说下让人绝望的熵增定律, 引用混子哥的解读。 我们的生活和工作是如此,个人知识库和总结也是如此,最初是缺少一些素材,所以没有分类的烦恼,想怎么弄怎么弄,算是从0到1,而随着数量和质量的积累,会发现原来的玩法不行了,如果要搜索一些关键字,对于目录结构在脑子里得记个大概。我现在有近4000多的笔记和零零散散整理收集的内容,这个数量其实是比较庞大的,如何管理和归类这些内容就是摆在我面前的一个重要挑战,否则个人知识库就好像一潭死水一样,没有活力。 我也参
user”命令建立一个名为“developer”,密码为“123456”的mysql用户。
一、堆排序介绍 来源百度百科: 堆排序(Heapsort)是指利用堆积树(堆)这种数据结构所设计的一种排序算法,它是选择排序的一种。可以利用数组的特点快速定位指定索引的元素。堆分为大根堆和小根堆,是完全二叉树。 前面我已经有二叉树入门的文章了,当时讲解的是二叉查找树,那上面所说的完全二叉树是怎么样的一种二叉树呢??还有满二叉树又是怎么的一种二叉树呢??甚至还有完满二叉树?? 完全二叉树: 除了最后一层之外的其他每一层都被完全填充,并且所有结点都保持向左对齐。 满二叉树:除了叶子结点之外的每一个结点都有两个孩
很多时候我们看到一些表字符串类型的字段定义为varchar(255),开始以为varchar只能定义为255这个长度值,其实不然。
这是学习笔记的第 2430篇文章 最近一段时间解决了两个持续了多年的问题,想起来感觉自己还是挺蠢的。 第一件事情是关于邮件的,之前公司都是使用Outlook来管理邮件,我一般会把邮件归档下来,生成.pst文件,时不时能够回味下工作中的一些事情,也是一种难得的回忆。我们现在一直在用Foxmail,所以要把Outlook中的.pst文件导入到Foxmail就好像是一座大山摆在我面前,首先我尝试下载Outlook,结果因为版权的事情而无奈放弃了,其中还有很大的一部分原因是我尝试安装貌似和WPS冲突而导
领取专属 10元无门槛券
手把手带您无忧上云