首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Nginx+lua+mysql实时日志

    通过lua脚本在日志生成阶段获取信息,然后将数据插入mysql。nginx有一个限制,无法在log阶段访问socket即无法访问mysql,所以无法在log阶段直接将数据存入mysql。...通过lua + ngx.time.at + lua_mysql + lua.share.dict 解决问题。整个过程如下所示: 在nginx启动阶段,ngx.time.at启动一个延时任务。...在任务中,每隔一段时间取出nginx内存共享区的log数据,将数据合并,存入mysql,同时再一个相同的延时任务,递归调用。这样就与crontab命令相似。...当定时器到期,定时器中的 Lua 代码是在一个“轻线程”中运行的,它与创造它的原始请求是完全分离的,因此不存在大量线程同时运行的情况。 在日志生成阶段,将数据封装并存入nginx的内存共享区。...Mysql 访问权限的问题 不但访问MysqlMysql用户需要有操作对应数据库的权限,还需要调用Mysql命令的用户具有访问mysql的权限。

    2.3K70

    MySQL怎么文本不乱码?

    导读 MySQL里怎么存储那些看起来会乱码的字符? 我在“UTF8字符集的表怎么直接转UTF8MB4”一文中介绍了如何把表字符集由UTF8直接转换成UTF8MB4的几种方法。...如果是通过WEB接口存储数据,则建议在browser端、server端全都采用UTF8字符集,MySQL Server端采用UTF8/UTF8MB4均可(针对大多数文本,其实UTF8字符集就足够存储的了...其中,MySQL端的字符集设置比较让人头大,涉及到的字符集有好几个: character_set_server,server端默认字符集; character_set_database,database...MySQL采用UTF8MB4字符集时,存储文本实际消耗字节数是由文本内容的字节数决定的,并非总是需要4字节,列举几种情况: 输入字符集任意,且存储ASCII字符时,每个字符需要1byte; 输入字符集是...开发这个接口时,发现钉钉中的个别表情符是由2个4字节编码组成的,也就是说一个emoji表情符,其实是需要8个字节的。

    1.7K20

    MySQL 怎么文本不乱码?

    导读 MySQL里怎么存储那些看起来会乱码的字符?...如果是通过WEB接口存储数据,则建议在browser端、server端全都采用UTF8字符集,MySQL Server端采用UTF8/UTF8MB4均可(针对大多数文本,其实UTF8字符集就足够存储的了...其中,MySQL端的字符集设置比较让人头大,涉及到的字符集有好几个: character_set_server,server端默认字符集; character_set_database,database...MySQL采用UTF8MB4字符集时,存储文本实际消耗字节数是由文本内容的字节数决定的,并非总是需要4字节,列举几种情况: 输入字符集任意,且存储ASCII字符时,每个字符需要1byte; 输入字符集是...开发这个接口时,发现钉钉中的个别表情符是由2个4字节编码组成的,也就是说一个emoji表情符,其实是需要8个字节的。

    1.9K10

    CDB for MySQL 8.0列引擎CSTORE介绍

    CDB for MySQL 8.0是腾讯TEG云架构平台部推出的新一代MySQL产品。...CSTORE作为一个引擎,架构上有一些明显区别于INNODB的特点。首先,CSTORE的所有数据都按列组织,同一列的数据中每固定行(称之为DataGroup)组织为一个逻辑页面。...CSTORE的查询引擎吸收了MySQL查询引擎的优点,又针对列的特点做了优化。因此,MySQL原生支持的大部分查询都可以不修改而继续运行,并且带来性能的提升。...(5)全面兼容MySQL生态 CSTORE引擎作为MySQL一个内置引擎,全面兼容原来的MySQL生态,应用程序可以继续使用之前的开发接口和大部分功能而无需修改。...架构参考如下,虚线部分为一个CSTORE实例(Node),数据分片存储采用哈希、随机等方式: ? 「 总结 」 至此,对列引擎CSTORE,我们都有大概的了解。

    2.2K72

    MySQL 开源工具集合

    mydumper是多线逻辑备份工具,一些自研产品常用的工具,myloader是sql语句导入工具 ,同一个软件包,跟mydumper结合使用。 ?...压测工具 TPCC测试模拟了一个比较复杂的 OLTP应用环境,是一个在线零售公司。此公司对10万种商品进行销售,业务模型:批发零售系统,订单处理下的数据库的表现。 ?...sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具,可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。...但对于DBA来说是一个潜在的风险,长时间使用这些工具,命令行易忘记。 从上到下推荐: Navicat SQLyog HeidiSQL:采用 Delphi 开发,支持 Windows 操作系统。...擅长MySQL、Redis、MongoDB数据库高可用设计和运维故障处理、备份恢复、升级迁移、性能优化。自学通过了MySQL OCP 5.6和MySQL OCP 5.7认证。

    1.1K70

    MySQL | VARCHAR(200)能200个汉字吗?

    不同字符集不同编码每个字符占用的磁盘空间是不同的: ASCII使用一个字节(8 bits)表示一个字符,最多只能表示256个字符; GB2312使用2个字节表示一个中文字符; Big5使用2个字节表示一个中文字符...; UTF-16编码使用用两个字节或四个字节表示一个字符; UTF-32编码使用用四个字节表示一个字符。...user(name) VALUES ('壹贰参肆伍陆'); INSERT INTO user(name) VALUES ('壹贰参肆伍陆柒'); 果然,VARCHAR(6)是可以6...从字符编码角度看,在utf8mb4编码中,英文字符通常只需要一个字节,而中文字符可能需要三个字节。但是在MySQL中,VARCHAR类型的长度限制是按照字符数来计算的,而不是字节数。...最多可以16383个字符。

    1.8K10

    你好奇过 MySQL 内部临时表了什么吗?

    MySQL 使用临时表的场景很多,下面列举出部分场景: order by 和 group by 字段不一样。 join 语句中,order by 或 group by 字段不属于执行计划中第一个表。...对于为单个聚合函数服务的临时表,SQL 语句执行过程中,只会把聚合函数中的字段写入到临时表,以一个 SQL 为例说明。...第 4 步,分组数据发送给客户端之后,清空临时表中的所有记录,为下一个分组写入 i1 字段值到临时表做准备。...如果因为超限问题,不能为 group by、distinct 字段建立唯一索引,MySQL 会在临时表中增加一个哈希字段(字段名 ),并为这个字段建立非唯一索引(因为不同内容计算得到的哈希值有可能重复...内部临时表使用情况统计 MySQL 每创建一个临时表,状态变量 created_tmp_tables 的值就加 1。

    1.6K20

    C-Store:一个数据库

    于是作者提出了一个新的列数据库 C-Store,这篇文章里包含很多内容,是个大杂烩,其中有几个新的特点:(1)write-optimized 和 read-optimized 混合架构 (2)存储模型...一个模型适用两个场景是很难的,因此本文的架构是搞两个模块。...为了实现简便,C-Store 用同一套列引擎来管理 WS 和 RS,只不过在 WS 中多一些索引信息用来快速定位数据。...下图就是一个示例: join index:为了重建一行完整的数据,需要将这些按不同顺序的记录映射到同一个顺序上,也就是 join index 的作用。...总结 C-Store 应该是第一个将各种列技术在实际系统中实现出来的,并且对查询进行了优化,通过数据冗余和按需排序优化了查询性能。

    87320

    MySQL InnoDB 是怎么使用 B+ 树数据的?

    这里限定 MySQL InnoDB 存储引擎来进行阐述,避免不必要的阅读歧义。 首先通过一篇文章简要了解下 B 树的相关知识:你好,我是B树 。...Page Row Page 是 MySQL 最小的存储管理单元,默认的大小为 16KB。最大行数据需要稍微小于 Page 大小的 1/2,超过的化作额外存储处理。...Page B+ 树 MySQL InnoDB 表会使用一种特殊的索引聚簇索引来存储行数据,索引中会包含主键数据。 索引的底层数据结果为 B+ 树(其它特殊此处不做赘述)。...如下图: 一个节点对应一个 Page,MySQL 每次读取的基本操作单元。 B+ 树的高度与表数据存储量大小 I:索引节点,每个节点可存储的指针数。 H:树的高度。

    17810

    VARCHAR 最多多少个字符?|mysql系列(3)

    |mysql系列(2)》分享了VARCHAR(M) 占用多少个字节,那VARCHAR 最大能多少个字符呢?以及了解这些对我们平时的开发工作中有什么帮助呢?...|mysql 系列(1)》一文中讲到,MySQL服务器上负责对表中数据的读取和落盘(即写入磁盘)工作是由存储引擎 完成的。InnoDB是一个将表中的数据存储到磁盘上的存储引擎 。...这也是mysql 持久化的保证。插入的数据记录在磁盘上的存放方式被称为行格式或者记录格式。Mysql 目前有4种行格式:Redundant、Compact、Dynamic、Compressed....真实数据内容是就是的具体的值。那么对于占用的字节数该怎么表示呢?...假设我们的字符集用一个字节表示一个字符。 设置name的值 为douglea. 那么name 的实际存储的字节为7. ‍

    1.8K20
    领券