python的to_sql那点儿事

Python：dataframe写入mysql时候，如何对齐DataFrame的columns和SQL的字段名？

innodb实例损坏情况下恢复数据及相关工具的开发

作者介绍：谢浩，现任职于云和恩墨（北京）信息技术有限公司，具有多年oracle数据库企业级运维经验，擅长结合业务、硬件系统制定各种项目方案，具有丰富mysql相关的工作经验。 假设你在使用MySQL中的InnoDB驱动，由于遇到了驱动程序错误，内核错误，电源故障或某些罕见的MySQL错误，而在InnoDB ibdata1文件损坏，实例不能启动。你该怎么办呢？ 案例描述 某门户mysql innodb数据库实例损坏，数据库服务无法启动，使用文件系统上的数据库frm及bid文件恢复数据库内的业务数据。 相关知识

tableau入门简介和常用操作

1、tableau的介绍 1）tableau的优势 2）维度和指标 3）展现形式 4）设计形式 5）设计流程 2、数据导入、数据浏览 3、调整tableau中表格样式的常用四大按钮 1）田字格按钮的作用：分别对单元格、区、标题，进行线条颜色、线条粗细的设置 2）填充格按钮的作用：为整张表的标题、区、单元格设置填充色 3）A按钮的作用：专门针对表中的文本进行字体颜色、字体大小、字体格式、是否斜体等操作 4）对齐按钮的作用：专门设置表中文本，是左对齐，还是右对齐，还是居中对齐这些操作 4、tableau保存操作文本的两种格式说明 1）“.twbx”格式和“.twbx”格式 2）将tableau导出为任意版本的tableau文件

解析MySQL8.x binlog错位了，差点裂开了！！

MySQL是互联网行业使用的最多的关系型数据库之一，而且MySQL又是开源的，对于MySQL的深入研究，能够加深我们对于数据库原理的理解。自从开源了mykit-data之后，不少小伙伴试用后，反馈mykit-data无法正确的解析MySQL8的binlog。于是我测试了下，mykit-data在解析MySQL5.x的binlog时，没有啥问题，能够正确的解析出结果数据。然而，在解析MySQL8.x的binlog时，总是与binlog日志位数相差12位而导致解析失败。

两行代码修复了解析MySQL8.x binlog错位的问题！！

作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：

C++ 连接数据库的入口和获取列数、数据

【数据库评测报告】MyRocks VS MySQL57

本文介绍了MySQL 5.6中InnoDB存储引擎的压缩特性，通过对比非压缩和压缩状态下的性能表现，展示了压缩特性对数据库性能的提升。同时，文章还介绍了MySQL 5.7中InnoDB存储引擎的新特性，包括JSON支持、Full Text Search、InnoDB Cluster等，并探讨了这些新特性对MySQL 5.7性能的影响。

golang面试

在这里记录一下我最近的面试(倒序排列,分公司记录，123面记录在一起) 字节跳动(2021-4-01) go gpm是如何调度的，channel是如何收发消息 mysql 对数据库表设计的原则 三大范式 脏读、不可重复读 你们分库分表是数据量达到多少考虑分的 redis hashtable 如何扩容 算法&数据结构 23. 合并K个升序链表 知乎（2021-3-30） 操作系统

基于Flink+State开发的实时订单

实时订单开发，说实话，最近开发，掉了一半的头发，复杂度，我就点到为止，还是希望大家多看看flink，这个可是开发利器。写这篇文章的目的，就是给大家分享一下实时订单的开发思路和遇到问题如何去解决。我就写的比较简单点，很多花里胡哨的业务逻辑我就隐藏了，以及给下游提供数据，给策略提供数据这些我就不追溯了。

mysql客户端的--quick选项

MySQL 客户端默认采用第一种方式，而如果加上–quick 参数，就会使用第二种不缓存的方式。采用不缓存的方式时，如果本地处理得慢，就会导致服务端发送结果被阻塞，因此会让服务端变慢。

python科学计算之Pandas使用(二)

Pandas 是基于 NumPy 的一个非常好用的库，正如名字一样，人见人爱。之所以如此，就在于不论是读取、处理数据，用它都非常简单。昨天介绍了 最常见的Pandas数据类型Series的使用，今天讲的Pandas的另一个最常见的数据类型DataFrame的使用。

ApacheFlink深度解析-FaultTolerance

本系列文章来自云栖社区，对Flink的解析兼具广度和深度，适合对Flink有一定研究的同学学习。

打造你的专属云开发环境：支持任意 IDE，任意云服务 | 开源日报 No.215

devpod 是一个开源的、仅限客户端的、不受限制的工具，可以与任何集成开发环境（IDE）一起使用，并允许您在任何云端、Kubernetes 或本地 Docker 上进行开发。

Qt编写项目作品35-数据库综合应用组件

一、功能特点 同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。 一个数据库类即可管理本地数据库通信，也支持远程数据库通信等。 数据库线程支持执行各种sql语句，包括单条和批量。 组件中的所有类打印信息、错误信息、执行结果都信号发出去。 集成数据库通用翻页类（负责具体处理逻辑），搭配分页导航控件（负责外观），形成超级牛逼的翻页控件。 集成数据库自动清理类，设定最大记录数后台自动清理早期数据。 集成自定义委托类，支持复选框、文本框、下

项目实战：如何构建知识图谱

作者丨徐阿衡 学校丨卡耐基梅隆大学硕士 研究方向丨QA系统 实践了下怎么建一个简单的知识图谱，两个版本，一个从 0 开始（start from scratch），一个在 CN-DBpedia 基础上补充，把 MySQL，PostgreSQL，Neo4j 数据库都尝试了下。自己跌跌撞撞摸索可能踩坑了都不知道，欢迎讨论。 1. CN-DBpedia 构建流程 知识库可以分为两种类型，一种是以 Freebase，Yago2 为代表的 Curated KBs，主要从维基百科和 WordNet 等知识库中抽取大量的实

prettytable：格式化输出表格的 Python 库

内容展示的非常漂亮，而 Python 有一个第三方模块叫 prettytable，专门用来将数据以上面这种格式输出，喜欢记得收藏、关注、点赞。

聊聊 MySQL 网络缓冲区、net_buffer_length、max_allowed_packet 那些事

本文是 MySQL 简单查询语句执行过程分析 6 篇中的第 6 篇，第 1 ~ 5 篇请看这里： 1. 词法分析 & 语法分析 2. 查询准备阶段 3. 从 InnoDB 读数据 4. WHERE 条件 5. 发送数据给客户端

用C语言撸了个DBProxy 顶

笔者在阅读了一大堆源码后，就会情不自禁产生造轮子的想法。于是花了数个周末的时间用C语言撸了一个DBProxy(MySQL协议)。在笔者的github中给这个DBProxy起名为Hero。

B+Tree索引原理

如果要查“mysql”这个单词，我们肯定需要定位到m字母，然后从下往下找到y字母，再找到剩下的sql。如果没有索引，那么你可能需要把所有单词看一遍才能找到你想要的。

​kubernetes部署筹备

K8s集群文件中对资源管理和资源对象编排部署都可以通过声明样式yaml,文件来解决，也就是说可以把需要对资源对象操作编辑到yaml,文件中。

自古以来，同步/异步都是八股文第一章

好久没上线了，今天记录编程中老掉牙的几个关键术语，一个言简意赅的术语定义包含主谓宾定状补， 我们应从貌似雷同的术语中体会到不同术语的表象行为、侧重点。

随机笔记

​ 表格 ​ 加粗 ​ ​ 倾斜 ​ ​ 删除线 ​ ​ 下划线 ​ ​ 盒子 ​

​ 图像 ​ ​ 超链接 ​ targrt="_blank""_self" ​ <href=""> ​ 属性介绍 ​ 标签属性 ​ <id ="two"> 属性介绍 ​ 注释标签 ​ ​ 字符 ​ 空格符 ​   ​ < ​ < ​ > ​ > ​ & ​ & ​ ￥ ​ ¥ ​ © ​ © ​ ® ​ ® ​ ° ​ ° ​ -+ ​ ± ​ * ​ × ​ ​ 表格标签 ​ ​ ​ 展示/显示 数据 ​ 定义表格的标签 ​ ​ 定义表格行 ​ html表头部分 ​ ​ ​ ​ 定义表格行 ​ 定义单元格/内容 加粗 ​ 定义单元格/内容 ​ ​ </tobdy> ​

……
……	……

​ ​ ​ left ​ center ​ right ​ border 边框 ​ 1 ​ "" 默认没有边框 ​ 像素值 ​ cellpadding 默认1像素 <-> ​ cellspacing 默认2像素 >-< ​ width 宽度 ​ height 高度 ​ 合并单元格 ​ rowspan 跨行合并 数量 最上侧 ​ colspan 跨列合并 数量 最左侧 列表标签《布局》 ​ 有序 ​ ​

​
1. ​
​
2. ​
​

​ ​ 无序 ​ ​

​
• ​
​
• ​

  ​

  ​
​

​

03

log4j 详解

日志信息的优先级从高到低有 OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL，但只建议使用 ERROR、WARN、INFO、DEBUG 四种级别。

Python内置数据结构之字符串

字符串 今天跟大家来说一说Python中的字符串数据结构。 上文回顾 让我们回顾一下可变类型及不可变类型: 不可变数据类型：str、int、tuple 可变数据类型：dict、list 今天讲解的

[772]python使用mysqldb模块通过ssh隧道连接mysql(密码|密钥)

主要出于安全考虑，数据库服务器只允许堡垒机通过ssh访问，这对日常的使用带来了麻烦。问题是这样的，MySQL数据库放在了服务器A上，只允许服务器B来访问，而我在机器C上，可以通过ssh连接服务器B。为了解决在机器C上连接mysql这个问题

mysql学习总结07 — 优化(存储层)-存储引擎与缓存

mysql作为最流行的数据库，在开发过程中仍然有较多优化的空间，mysql的优化主要有4个方向：

技术分享 | MySQL 创建表后神秘消失？揭秘零宽字符陷阱

在 MySQL 的使用过程中，有时候一个小小的字符也能带来大麻烦，在未发现真相时，以为这问题是见了鬼了，而发现真相时，却没想到是一个字符带来的问题，零宽字符像个幽灵隐藏在 IT 行业的各个方面，今天分享一个关于 MySQL 中“消失的表”的复现案例。

高性能MySQL之架构与历史

MySQL逻辑架构 MySQL逻辑架构.png 优化与执行 MySQL会解析查询，创建内部数据结构（解析树），对齐进行优化（重写查询、决定表的读取顺序、选择合适的索引）； 使用explain，可以解释

MySQL优化

索引分为主键索引和辅助索引，辅助索引又分为唯一性索引，普通索引，复合索引，覆盖索引。

【说站】Python利用prettytable实现格式化输出内容

Python有一个第三方模块叫 prettytable，专门用来将数据格式输出。本文将通过示例为大家详细讲讲prettytable的用法，感兴趣的可以了解一下！

mysql学习总结07 — 优化(存储层)-存储引擎与缓存

mysql作为最流行的数据库，在开发过程中仍然有较多优化的空间，mysql的优化主要有4个方向：

简单却强大：MySQL ZEROFILL让编号管理变得更轻松

在MySQL中，ZEROFILL是一种用于在数字字段上进行填充零的属性。该属性通常用于确保数字达到指定长度时，左侧用零进行填充。这在某些特定场景下非常有用，例如确保订单号或者其他标识符具有固定的长度。

干货 | 时间序列数据的对齐和数据库的分批查询

在机器学习里，我们对时间序列数据做预处理的时候，经常会碰到一个问题：有多个时间序列存在多个表里，每个表的的时间轴不完全相同，要如何把这些表在时间轴上进行对齐，从而合并成一个表呢？尤其是当这些表都存在数据库里，而且超级超级大的时候，怎样才能更高效地处理呢？

FA7# 异地多活实践与设计思考点归纳

在异地多活项目整体推过程中的一些注意事项和设计点归纳和整理，抛砖引玉，其中一些点还有待深入探讨和优化。

云上如何不停机更换关键大数据服务？

大家在日常工作中可能会经常遇到系统更新迭代与集群重建等需求，不可避免会涉及到服务的迁移更换操作。针对不同场景和诉求，具体的处理方式会不太一样，但大致的思想和方法还是具有一定的普适意义。本文主要想和大家分享一下团队最近经历的在保障大数据高并发、低延时、高吞吐读写的同时，如何不停机地在 AWS 上更换关键大数据服务的实践，供感兴趣的同学参考。

MySQL数据恢复的一些补充

如果一个线上数据库发生了问题，需要做数据恢复，作为DBA应该给自己留一些改进的余地，否则陷入两难的境地，只会让自己更加被动。

数据库使用中一定掉过的坑：大小写敏感

数据库大小写问题可以说让很多用数据库的人感受是：建表时，哇建出来了；使用时，我去，怎么找不到表，怎么找不到字段。没事，这是小场面。

Flink（二）

流处理系统由于需要支持无限数据集的处理，一般采用一种数据驱动的处理方式。它会提前设置一些算子，然后等到数据到达后对数据进行处理。

CDH安装

vim /etc/cloudera-scm-server/db.properties

最新字节跳动面试题与岗位层级，绩效考核制度介绍

3.算法题三： 给一数组，让你找一对满足i<j<k && a[i]<a[j]<a[k] 的i和j和k (O(N)时间复杂度 O(N)空间复杂度)

MySQL的B+树索引和hash索引的区别

如果使用覆盖索引就可以不回表扫描。 索引类型：InnoDB引擎，默认B+树（O(logN)）、Hash索引 B树索引 O(1)

如何提升存储性能之IO模型和AIO大揭秘

如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。

由 B-/B+ 树看 MySQL索引实现，深入思考两个面试题背后的设计思路

B 树是一种多路自平衡搜索树，它类似普通的二叉树，但是 B 树允许每个节点有更多的子节点。B 树示意图如下：

建议收藏——Mazur 的 SQL 风格指南

您好！我是Matt Mazur ，是一名数据分析师，曾在几家初创公司工作过，帮助公司利用数据发展业务。本指南记录了我对格式化 SQL 的喜好，希望对其他人有一些用处。如果您或您的团队还没有 SQL 风格指南，那么它可以作为一个很好的起点，您可以根据自己的喜好来采用和更新它。

HBase学习和使用

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

MySQL常用字符串函数

字符串函数是最常用的的一种函数，在一个具体应用中通常会综合几个甚至几类函数来实现相应的应用：

Navicat for MySQL定时备份数据库及数据恢复

在做数据库修改或删除操作中，可能会导致数据错误，甚至数据库奔溃，而有效的定时备份能很好地保护数据库。本篇文章主要讲述Navicat for MySQL定时备份数据库和数据恢复等功能，同时可以定时播放电影等设置，希望对您有所帮助，如果文章中存在错误或不足之处，还请海涵~

微众银行AI团队开源联邦学习框架，并发布《联邦学习白皮书1.0》

【导语】2019年，联邦学习成为业界技术研究与应用的焦点。近日，微众银行 AI 项目组编制并发布了《联邦学习白皮书1.0》，并开源了自研的联邦学习框架。白皮书中对联邦学习的背景、概述、分类、研究、应用案例与发展路径进行了全面的介绍，总结了联邦学习技术发展至今取得的成果以及对未来的展望。

啊？排序字段的大小也会影响排序性能？？？面试官都惊了！！

假设我们要搜索年龄在18到24之间的女生，同时要求按年龄排序，如果平台注册用户达到千万级，那么，我们一般会对这个搜索结果分页，避免结果页加载很慢，所以，为了实现这个功能，基于用户表，我们会写这样一条SQL：

BI工具之metabase的应用场景与生产环境下的部署

Metabase 是一个开源的数据可视化工具，其引入的question概念使得非技术人员能够轻松地创建和共享自定义数据仪表板。Metabase 同时还支持用户通过简单的拖放界面连接到任何数据源，并使用直观的图表和图表来可视化数据。Metabase 还提供了丰富的分析功能，例如聚合、过滤和分组，使数据能够更加高效便捷的展示出来，便于用户更好的了解数据。