本来这个公众号的交流消息中间件相关的技术的。这周去上海参加了QCon，第一次参加这样的技术会议，感受挺多的，所以整理一下自己的一些想法接公众号和大家交流一下。
作者：赖铮（Allen Lai），前 MySQL 官方团队成员，专注数据库内核开发近二十年，先后就职于达梦，Teradata，北大方正以及 MySQL InnoDB 存储引擎团队，是达梦数据库内核，方正 XML 数据库，以及 MySQL InnoDB 的 GIS 支持，透明加密功能的主要开发者。现任腾讯 TEG 云架构平台部数据库团队专家工程师，负责腾讯云 CDB 数据库内核的研发。 面试 2012 年的春天，阳光明媚，鸟语花香，我正在张江的一栋橙黄色的大楼里跟我的小伙伴们一起奋力
| 作者 赖铮（Allen Lai）前MySQL官方团队成员，专注数据库内核开发近二十年，先后就职于达梦，Teradata，北大方正以及MySQL InnoDB存储引擎团队，是达梦数据库内核，方正XML数据库，以及MySQL InnoDB的GIS支持，透明加密功能的主要开发者。现任腾讯TEG云架构平台部数据库团队专家工程师，负责腾讯云MySQL数据库内核的研发。 ---- Part1 相遇 2012年的春天，我正在张江的一栋橙黄色的大楼里，窗外的阳光很好，我跟我的小伙伴们正在一起奋力地敲打着键盘，随着
金秋暖阳，岁月流光。国庆节当天，腾讯多媒体实验室与上海广播电视台融媒体中心分别通过微博、新闻、视频号、公众号等一系列官方渠道发布了一条内容为“老片修复影像带你看1949年上海国庆大游行”的作品，引发了热烈关注和讨论，成效斐然。 视频 老片修复影像带你看1949年上海国庆大游行 10月2日，该话题达到顶峰，收获了微博全网热搜前十、微博要闻第四和上海同城榜第一的成绩。截至目前，微博话题#1949年10月2日的上海什么样#阅读量则高达1.7亿，视频播放量仅微博端也有280w+，各项数据皆十分亮眼。
饿了么技术团队花了1年多的时间，实现了业务的整体异地多活，能够灵活的在多个异地机房之间调度用户，实现了自由扩容和多机房容灾的目标。本文介绍这个项目的整体结构，还简要介绍实现多活的5大核心基础组件，为读者建立基本的概念模型，后续会有系列文章陆续介绍每个组件的实现细节。读者能够从中了解到做异地多活的大方向，为实现自己的异地多活，或者是容灾备份提供参考。
最近，国产剧《三十而已》大火，最有名的片段要属女主顾家杀入的”太太圈“了，其中的一张照片——一群上海豪门”名媛“的合照也引发了网友各种热议：上海名媛真的这么穿吗？
本文提供视频讲解，详细见地址：https://www.bilibili.com/video/BV1Xr4y1c77T
在生活充满互联网应用的今天，我们每一次点击的背后可能都是个庞大且复杂的系统，像是抢票系统如何确保大家可以有快速地抢到票，而且不会重复出售同一张票，或是银行系统如何确保你的余额，不会因为连到不同的机房就显示不同的数字等等，这些系统为了同时服务大量的客户，都需要依靠分布式系统以突破单机的瓶颈。
上海经济7月份开始陆续恢复，一些在上海做APP项目的客户开始了一系列的营销推广和发展，在众多渠道推广下，用户下载安装APP的同时，一些安全上的漏洞频发，并被高级黑客给盯上，具体的数据泄露攻击的症状为：用户刚注册好的手机号、姓名、身份证号等信息就被泄露，不一会就会收到境外香港的电话推广和网络诈骗，并且有些用户的数据被恶意篡改，导致APP运营平台损失较大，比如一些用户借贷额度被篡改成20w的额度，APP项目方发现问题后立即找了APP安全应急响应服务团队Sinesafe进行了全面的安全应急响应服务，要求尽快找出漏洞问题的原因以及攻击进行溯源。
3月1日晚上10点半，已经停摆一周的微盟发出公告：“截止到3月1日晚8点，在腾讯云团队协助下，经过7*24小时的努力，我们数据已经全面找回。”微盟平台上的商家和用户们，终于松了口气。
2月24日，微盟集团发布公告称，SaaS 业务生产环境和数据遭到一名员工“人为破坏”，已向上海警方报案，该员工已被刑事拘留。
ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型，它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，并协助人类完成一系列任务，因此有望成为提高办公、学习效率的工具。以前的人工智能AlphaGo打败了柯洁，但只是在围棋领域，而ChatGPT则已经进入了日常工作领域和生活世界。
会控为整个会议最为核心的业务，由于海量请求的高性能要求，后台存储全部为 Redis。在业务飞速发展期，各模块边界不够清晰，大家对存储的使用处于失控状态，随着 PCU 的不断上涨，逐步暴露出存储和架构的诸多问题，同时也对系统容灾能力有了更高的要求。会控业务历史包袱重，存储改造伤筋动骨，要做到平滑迁移需要考虑的细节较多。有幸作为 owner 负责(2022.12-2023.08)了会控存储的优化改造，本文主要从业务、个人和企业数据分库、异地容灾和多活（下一步目标）层面总结了会控存储治理的成功实践，目的是形成一套方法论，沉淀下来一套可以复用的工具，以供大家后续工作中参考。
dual表是一个伪表。在有些特定情况下，没有具体的表的参与，但是为了保证select语句的完整又必须要一个表名，这时候就使用伪表。
只听到产品又开始口若黄河：我需要要查询到city是“上海”的所有人的name，并且还要按name排序返回前1000人的name、age。
Extra的 Using filesort 表示需要排序，MySQL会给每个线程分配一块内存（sort_buffer）用于排序。
羊年春晚，微信收发总数为10.1亿次红包，高峰期出现在00:00~00:02，瞬间峰值达到每分钟55万个红包被发出，165万个红包被拆开(更多数据请参考羊年春节微信数据大解析)，这么大的数据量几乎
编者按：经过2014年一年的酝酿，2015微信红包总量创下历史新高，峰值1400万次/秒，8.1亿次每分钟，微信红包收发达10.1亿次，系统整体运行平稳, 在这里我分享下微信红包背后的技术。 讲师：jeri 核心功能&目标 首先，了解下微信红包的4个逻辑：摇/发/抢/拆。看似简单，实现可不简单再review下微信红包要实现目标： 摇：摇的流畅 快：抢的要快 爽：拆的爽 稳：能分享出去 系统难点 1.中国运营商网络环境复杂，覆盖面广，春节期间网络吃紧，容易出现网络故障 2.在尖峰摇时如何避免服务雪崩 3.
2、 union两边的select语句的字段名可以不一致，最终按第一个select语句的字段名。
微盟集团的的SaaS产品主要分为商业云、营销云及销售云三种云服务产品。商业云主要为微商城、客来店及智慧餐厅。营销云主要为微站（及其前身）、广告助手及微盟表单。销售云主要为销售推。
2月25日，微盟集团（2013.HK）发布公告称，SaaS业务数据遭到一名员工“人为破坏”，已向上海警方报案，该员工已被刑事拘留。
本文介绍了如何通过修改配置项和代码的方式，实现在不重启Redis服务器的情况下，动态修改Redis的配置项。同时介绍了如何实现通过Redis的配置文件来修改Redis的配置项。最后通过一个具体实例，演示了如何通过修改配置项来实现不同的功能，并总结了整个实现过程。
在软件开发领域，「异地多活」是分布式系统架构设计的一座高峰，很多人经常听过它，但很少人理解其中的原理。
本文由作者：孙培培 原创投稿 声明：本文所公布代码及数据仅作学习用，若别有用途则后果自行承担。 提到上海，不得不提上海的高房价，最近一篇上海各市辖区均价的文章引起了我的注意，6月上海各辖区甚至各小区的房价到底处于一个什么样的水平呢？ 我打算自己动手研究一下（本文主要研究2016年6月上海二手房房价水平，读者如果有研究房价变动的兴趣可以等到7月末的时候再研究下，然后对比看看上海房价在这一个月的变动情况），数据来源为6月30日的安居客二手房信息。 首先要进行的数据的收集，然后进行数据的清洗、整理以及最后的分析
在日常数据库操作中，经常会遇到需要批量更新数据的场景。MySQL提供了多种方法来实现这一需求，包括REPLACE INTO、INSERT INTO ... ON DUPLICATE KEY UPDATE以及UPDATE ... CASE WHEN等。本文将详细介绍这些方法的使用方法、适用场景及其注意事项。
爬取链家网、贝壳网的各类房价数据（小区数据，挂牌二手房, 出租房，新房）。 支持北京上海广州深圳等国内21个主要城市；支持Python2和Python3; 基于页面的数据爬取，稳定可靠; 丰富的代码注
依托于阿里云高速通道专线、事件总线EventBridge和MSHA（Multi-Site High Availability）多活容灾平台，消息队列RocketMQ版提供异地双活功能，通过跨实例间数据的双向同步和业务切流能力，实现业务恢复和故障恢复解耦，保障故障场景下的业务连续性。本文介绍异地双活的概念、应用场景、功能优势、使用限制和计费说明。
语法：insert into 表名 (字段名, 字段名,…) values (值1, 值1,…)
在软件开发领域，异地多活是分布式系统架构设计的一座高峰，很多人经常听到过他，但很少人理解其中的原理;
昵称：院长 性别：男 爱好：羽毛球，乒乓球，嗨歌，钻研技术 技能：在下方 职位：落魄技术
12个城市的接力狂欢——MindCon极客周活动，今天正式启动啦！ 12月14日 上海 首棒开跑的城市是上海，点Star通道已开启，今天（12.14）7:00-24:00在Gitee和GitHub上MindSpore新增的Star数将算入上海城市积分，每个Star为10积分。 上海场我们邀请到亚马逊上海人工智能研究院应用科学家王敏捷，通过线上分享的方式，为大家带来主题为Building Efficient Systems for Deep Learning on Graphs的演讲。微信扫描上方二维码
每周六晚上我们几个小伙伴都会组织一个技术研讨会，就技术群里大家提出的几个有意思的问题做重点的讨论。主持人采用轮流主持的模式，本周由我负责组织和分享，这篇文章就是我们当时研习小组讨论的纪要。想要加入的小伙伴可以看文章最末尾的广告时间。
4月8日15点23分，腾讯云团队收到告警信息，云API服务处于异常状态；随即在腾讯云工单、售后服务群以及微博等渠道开始大量出现腾讯云控制台登录不上的客户反馈。
火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。
具体报错如下： Table '.\tablename' is marked as crashed and should be repaired 提示说论坛的帖子表posts被标记有问题，需要修复。我记得以前也出现过类似的问题,但是只要点击Phpmyadmin上的repair按纽就自动修复了,但是这次很绝,什么都没有.于是赶快上网查找原因。最终将问题解决。解决方法如下： 找到mysql的安装目录的bin/myisamchk工具，在命令行中输入： myisamchk -c -r ../data/tablename/table.MYI 然后myisamchk 工具会帮助你恢复数据表的索引。好象也不用重新启动mysql，问题就解决了。 问题分析： 1、 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都有可能导致 MYSQL数据库表被损坏而无法读取数据。总之就是因为某些不可测的问题造成表的损坏。 2、问题解决办法。 当你试图修复一个被破坏的表的问题时，有三种修复类型。如果你得到一个错误信息指出一个临时文件不能建立，删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的。 这三种修复方法如下所示： % myisamchk --recover --quick /path/to/tblName % myisamchk --recover /path/to/tblName % myisamchk --safe-recover /path/to/tblName 第一种是最快的，用来修复最普通的问题；而最后一种是最慢的，用来修复一些其它方法所不能修复的问题。 检查和修复MySQL数据文件 如果上面的方法无法修复一个被损坏的表，在你放弃之前，你还可以试试下面这两个技巧： 如 果你怀疑表的索引文件(*.MYI)发生了不可修复的错误，甚至是丢失了这个文件，你可以使用数据文件(*.MYD)和数据格式文件(*.frm)重新生 成它。首先制作一个数据文件(tblName.MYD)的拷贝。重启你的MySQL服务并连接到这个服务上，使用下面的命令删除表的内容： mysql> DELETE FROM tblName; 在 删除表的内容的同时，会建立一个新的索引文件。退出登录并重新关闭服务，然后用你刚才保存的数据文件(tblName.MYD)覆盖新的(空)数据文件。 最后，使用myisamchk执行标准的修复(上面的第二种方法)，根据表的数据的内容和表的格式文件重新生成索引数据。 如果你的表的 格式文件(tblName.frm)丢失了或者是发生了不可修复的错误，但是你清楚如何使用相应的CREATE TABLE语句来重新生成这张表，你可以重新生成一个新的.frm文件并和你的数据文件和索引文件(如果索引文件有问题，使用上面的方法重建一个新的)一 起使用。首先制作一个数据和索引文件的拷贝，然后删除原来的文件(删除数据目录下有关这个表的所有记录)。 启动MySQL服务并使用当初的CREATE TABLE文件建立一个新的表。新的.frm文件应该可以正常工作了，但是最好你还是执行一下标准的修复(上面的第二种方法)。
https://mp.weixin.qq.com/s/2e2ovuwDrmwlu-vW0cKqcA
表被水平切分后，每个分片表所在的数据库就是一个分片节点。一个分片节点对应一个数据库（mysql数据库）。一个分片节点只能保存每个分片表的一个分片，因为db中不允许出现同名的表。 例如：
曾修复100年前老北京原声录像的up博主 @大谷Spitzer 再次用AI复原了百年前的上海时装秀！通过人工智能完成了上色、补帧、扩大分辨率的步骤。
具体报错如下： Table '.\Tablename\posts' is marked as crashed and should be repaired 提示说论坛的帖子表posts被标记有问题，需要修复。我记得以前也出现过类似的问题,但是只要点击Phpmyadmin上的repair按纽就自动修复了,但是这次很绝,什么都没有.于是赶快上网查找原因。最终将问题解决。解决方法如下： 找到mysql的安装目录的bin/myisamchk工具，在命令行中输入： myisamchk -c -r ../data/tablename/posts.MYI 然后myisamchk 工具会帮助你恢复数据表的索引。好象也不用重新启动mysql，问题就解决了。 问题分析： 1、 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都有可能导致 MYSQL数据库表被损坏而无法读取数据。总之就是因为某些不可测的问题造成表的损坏。 2、问题解决办法。 当你试图修复一个被破坏的表的问题时，有三种修复类型。如果你得到一个错误信息指出一个临时文件不能建立，删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的。 这三种修复方法如下所示： % myisamchk --recover --quick /path/to/tblName % myisamchk --recover /path/to/tblName % myisamchk --safe-recover /path/to/tblName 第一种是最快的，用来修复最普通的问题；而最后一种是最慢的，用来修复一些其它方法所不能修复的问题。 检查和修复MySQL数据文件 如果上面的方法无法修复一个被损坏的表，在你放弃之前，你还可以试试下面这两个技巧： 如 果你怀疑表的索引文件(*.MYI)发生了不可修复的错误，甚至是丢失了这个文件，你可以使用数据文件(*.MYD)和数据格式文件(*.frm)重新生 成它。首先制作一个数据文件(tblName.MYD)的拷贝。重启你的MySQL服务并连接到这个服务上，使用下面的命令删除表的内容： mysql> DELETE FROM tblName; 在 删除表的内容的同时，会建立一个新的索引文件。退出登录并重新关闭服务，然后用你刚才保存的数据文件(tblName.MYD)覆盖新的(空)数据文件。 最后，使用myisamchk执行标准的修复(上面的第二种方法)，根据表的数据的内容和表的格式文件重新生成索引数据。 如果你的表的 格式文件(tblName.frm)丢失了或者是发生了不可修复的错误，但是你清楚如何使用相应的CREATE TABLE语句来重新生成这张表，你可以重新生成一个新的.frm文件并和你的数据文件和索引文件(如果索引文件有问题，使用上面的方法重建一个新的)一 起使用。首先制作一个数据和索引文件的拷贝，然后删除原来的文件(删除数据目录下有关这个表的所有记录)。 启动MySQL服务并使用当初的CREATE TABLE文件建立一个新的表。新的.frm文件应该可以正常工作了，但是最好你还是执行一下标准的修复(上面的第二种方法)。
特别注意：在SQL语句中，除了数字，其他类型的值，都需要使用引号引起来，否则插入时会报错。
今年国产数据库在国际舞台上大放异彩相信大家都有目共睹，更多国产数据库加入到数据库市场的队列，对于企业来说也就有了更多的选择。根据2019 DeveloperWeek上的数据库趋势调查，企业的数据库选型已趋向多元化，其中使用率最高的虽然是MySQL，但紧跟其后的MongoDB、PostgreSQL等占比也不容小觑。 从调查中还可以了解到，将近一半的受访者正在使用多数据库类型的组合，因此数据库的兼容性无疑也越来越受到企业的重视。 *以上调查结果来源自：https://scalegrid.io/blog
我知道TiDB比较早了，大概在TiDB 3.0的时候就在自己的测试环境安装过，当然是浅尝辄止，哈哈。然后是21年，好像是8月份，TiDB在望京举行的大会，有幸打酱油式的听了一些讲座。然后是22年在上海参加了上海的社区活动。算下来，tidb的活动参加的不少，战利品就是2件T恤。衣服的质量挺好，穿着很舒服。
SQL审核工具 SQLE 1.2207.0 于今天发布。以下对新版本的 Release Notes 进行详细解读。
在经历了惨痛的黑天鹅事件以及激烈的数据恢复过程后，作为微盟DBA的我们进行了深刻的反省和自查，作为公司的核心资产，数据库也得到了前所未有的重视。如何保证数据安全以及用户服务的高可用性是我们要解决的首要问题。
由于写入不完整，空间不足，MySQL守护程序被杀或崩溃，电源故障等原因，MySQL表可能因各种原因而损坏。 如果MySQL检测到崩溃或损坏的表，则需要先修复它才能再次使用。 本指南将引导您检测崩溃的表以及如何修复MyISAM表。
时序数据库厂商「格睿云Greptime」已于近期完成天使轮融资。据介绍，本轮融资金额在数百万美金级别，由耀途资本领投，九合创投跟投。Greptime成立于2022年4月，是一家时序数据库厂商。公司CEO 庄晓丹曾在蚂蚁集团带领智能监控团队自研超大规模时序数据平台并实践 AIOps 智能运维，CTO 孙宁及技术 VP 冯家纯分别来自滴滴与蚂蚁集团。
然而，由于我国金融机构对开源软件的管理尚不完善，不具备较成熟的开源治理体系，金融机构在引入和管理开源软件时总会遇到种种困难，这也带来了一定程度的开源风险。
前几天因为mysql数据库部分数据损坏原因，我尝试了下恢复数据，之后整理以下文档，供各位参考,
上海交通大学溥渊未来技术学院万佳雨副教授团队，提出了名为部分贝叶斯协同训练的半监督学习技术，使用有限数据预测电池寿命，预测精度提升 20%。
本文由公众号“水滴与银弹”号主Kaito原创分享，原题“搞懂异地多活，看这篇就够了”，为使文章更好理解，有修订。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
