1、配置文件参数my.cnf tmp_table_size=64M max_heap_table_size=64M tmpdir = /data/mysql/tmp 2、优化Tips: 如果Created_tmp_disk_tables/ Created_tmp_tables应该小于20%,如果比值较高,就需要适当调高tmp_table_size或者max_heap_table_size的值,让Mysql在内存中完成临时表的操作,减少使用硬盘对性能和响应时长的影响。 在调高tmp_table_size或者m
突然接到线上Zabbix告警信息,报MYSQL所在的主机/分区不足15%,内容如下:
作者:孙绪宗,新浪微博 DBA 团队工程师,主要负责 MySQL、PostgreSQL 等关系型数据库运维。
作者:徐文梁,爱可生 DBA 成员,一个执着于技术的数据库工程师,主要负责数据库日常运维工作。擅长 MySQL,Redis 及其他常见数据库也有涉猎;喜欢垂钓,看书,看风景,结交新朋友。
Mysql占用CPU过高的时候,该从哪些方面下手进行优化? 占用CPU过高,可以做如下考虑: 1)一般来讲,排除高并发的因素,还是要找到导致你CPU过高的哪几条在执行的SQL,show processlist语句,查找负荷最重的SQL语句,优化该SQL,比如适当建立某字段的索引; 2)打开慢查询日志,将那些执行时间过长且占用资源过多的SQL拿来进行explain分析,导致CPU过高,多数是GroupBy、OrderBy排序问题所导致,然后慢慢进行优化改进。比如优化insert语句、优化group by语句、
抱着学Flink的心,没想到先试水最基本的mapreduce了。由于项目不便于公开,所以这里故事描述会进行一些演义,尽量不影响看官们理解。
我有一个数据表,记录一个QQ号加好友的活跃天数、加好友次数、加好友的toUin数等信息。数据表的建表语句如下:
我在slelect一个数据量很大的merge表时,并同时将select结果集insert到另外一张表中,报了如下错误:
Mysql tar包 安装 本文转载自:https://blog.csdn.net/qq_21137441/article/details/89925584。作者:林中静月下仙 1. 下载tar包放在Linux系统中,笔者存放的位置为/opt tar -zxvf mysql…… mv mysql…… mysql 2. 创建mysql组和用户 groupadd mysql #创建用户组 useradd -g mysql mysql # 创建用户 3. 更改所属的组和用户 chown -R mysql my
在执行一个有1000万条记录的MySQL查询语句时,出现了上面的错误。百度折腾了很长时间,终于解决,特此记录。
Ubuntu 16.04,Hadoop版本是2.7.2 ,选择Hive版本为 hive-2.1.17
报错信息中不难看出来,是写入数据到/dev/shm这个目录的时候报错。报错信息也很明显,No space left on device;没有额外的空余磁盘空间。
Zabbix 和 MySQL 在大型的 Zabbix 环境中,遇到的挑战大部分是 MySQL 以及更具体的说是 MySQL 磁盘 IO。 考虑到这一点,我将提出一些优化,这将有助于你的 MySQL 最好的使用磁盘(必然的将帮助你的 Zabbix 最好的利用 MySQL)和可用的硬件资源。 SSD 是一个转折 “MySQL 在 SSD 上是否会运行的更好?”我已经一次次的在公共场合或私人场合听到这个问题。 我可以毫不怀疑的告诉你,如果 IO 是你当前的瓶颈 - 要么因为一些查询花费了太多时间和直到查询完成(
墨墨导读:MySQL临时表在很多场景中都会用到,比如用户自己创建的临时表用于保存临时数据,以及MySQL内部在执行复杂SQL时,需要借助临时表进行分组、排序、去重等操作。下面将会对MySQL临时表的一些概念、分类和常见问题进行整理。
登录到服务器,看了下发现100GB的根目录,居然使用了差不多90GB。这台服务器上只跑了一个MySQL,应该不是日志未清理等其它原因造成的。
[mysqld] #MySQL启动用户 user = mysql #设置mysql的安装目录 basedir=/usr/local/mysql #mysql.sock存放目录 socket=/var/lib/mysql/mysql.sock #设置mysql数据库的数据的存放目录 datadir=/usr/local/mysql/data #日志文件输出 log-error=/var/log/mariadb/mariadb.log #pid文件 pid-file=/var/run/mariadb/maria
这两天事情稍微有点多,公众号也停止更新了几天,结果有读者催更了,也是,说明还是有人关注,利己及人,挺好。
解决问题固然重要,但是好奇心驱使我又看向了 系统错误编码 13(OS errno 13),很熟悉的一个编码。当时很快就想到了mysql的perror命令。所以,现在回顾下,也想来说说这个命令。
虽然云上的数据库已经有了高可用的报障功能了,但是对于某些业务需要更加灵活的数据处理以及其他需求外,需要搭建一个线下的从库来实现,这里实际上腾讯云也给出了一份maridb自建从库的文档,大家也可以按照这里去配置
某个夏日的午后,窗外知了在大声鸣叫。而我却在睡梦中跟基友一起吃鸡,正准备抢空投时 。手机突然铃声响起,惊醒后一看是领导电话,一下子回到了现实中。心想又得去公司吃 "机" 了。
某项目上出现 MySQL Crash,相关 errorlog 日志如下,从日志可以看出是 binlog error 导致的问题,但是无法确认具体原因,网上大部分资料都说是由于空间已满导致,后来在系统日志( /var/log/message)中确实找到了 / 分区空间已满的信息,所以基本可以确认 binlog error 是由于磁盘空间已满导致,进而造成 MySQL Crash。
备份 首先,进入数据库并找出数据文件存放目录: mysql> show variables like '\%dir\%';+-----------------------------------------+----------------------------+| Variable_name | Value |+-----------------------------------------+-------
备份 首先,进入数据库并找出数据文件存放目录: mysql> show variables like '\%dir\%';+-----------------------------------------+----------------------------+| Variable_name | Value |+-----------------------------------------+--------
11月末和这个12月都在折腾flask,想的是能够用web框架去从后端写一个网站出来,当中学习积累的时间有点多,我又不怎么喜欢学到哪儿写到哪儿,所以就慢慢写好了。应该会分成几个系列写。
本文是Aurimas Mikalauskas在参加Zabbix2014年大会之后根据演讲内容整理而成。
To remove an instance of MySQL from your macOS or OSX installation you need to delete a number of files via the command line, but first ensure that you have database dumps of your databases and that then the database server is not running.
首先,需要从 MySQL 官方网站或其他可靠来源下载 MySQL 5.7 的安装包。确保选择与你的 CentOS 系统架构(如 x86_64)对应的版本。
可以从 http://hive.apache.org/downloads.html 下载你想要的版本,在这我们使用的是2.3.7版本
tar xivf apache-hive-3.1.2-bin -C /opt/hive/
最近在做数据流转的自动化项目,经常要用到一个模块 -- os模块,而这个模块在自动化运维开发过程中,经常要用到,索性今天就对这个模块的相关内容做一个学习和分享。该模块也是自动化运维开发的必备技能,也是DBA的必备技能哦!学之受用无穷;
备份并清空 /var/lib/mysql (也就是mysql的数据目录),不清空在之后的恢复过程中会报错
在Python自动化运维开发过程中,经常会有查找各种文件的需求;那么,本文将介绍如何使用Python查找特定类型的文件,包括使用字符串匹配文件名的标准库fnmatch和glob,还会介绍遍历目录树的函数os.walk通过这些函数以及前面介绍的获取文件的属性,可以做很多有用的事情。
在MySQL中,存在各种各样的临时文件,其存放位置是五花八门,且不同版本也不尽相同,主要包括以下:
MySQL理论上使用的内存 = 全局共享内存 + max_connections×线程独享内存。
查询语句:SELECT table_schema AS "Database", ROUND(SUM(data_length + index_length + data_free) / 1024 / 1024, 2) AS "Size (MB)" FROM information_schema.TABLES GROUP BY table_schema;
原文标题:You Should Be Aware of These 10 Most Prevalent MySQL Mistakes,作者: mark dc
在生产环境处理故障的过程出现了java服务连接mysql,由于连接数太多被拒绝连接的故障,那么下面来看看怎么优化一下吧。
实现整个复制操作主要由三个进程完成的,其中两个进程在Slave(Sql进程和IO进程),另外一个进程在 Master(IO进程)上。
作者:李彬,爱可生 DBA 团队成员,负责项目日常问题处理及公司平台问题排查。爱好有亿点点多,吉他、旅行、打游戏…
Mysql5.7.22主从部署,既然是主从那肯定是需要至少2台服务器了,2台的安装都是一样的,请看下面!
上传安装包 apache-hive-2.3.4-bin.tar.gz 解压 tar -xzvf apache-hive-2.3.4-bin.tar.gz -C /hd/ 重命名 ln -s apache-hive-2.3.4-bin hive 修改环境变量 vim /etc/profile export HIVE_HOME=/hd/hive export PATH=$PATH:$HIVE_HOME/bin 环境变量起效果 source /etc/profile 修改配置文件 拷贝驱动mysql-conn
安装步骤(新装) 安装步骤(在同一台MYSQL服务器上安装) 生产数据库配置(仅供参考) 安装步骤(新装) 配置添加yum源文件 vim /etc/yum.repos.d/mariadb.repo # MariaDB 10.0 CentOS repository list - created 2016-05-30 02:16 UTC# http://downloads.mariadb.org/mariadb/repositories/ [mariadb] name = MariaDB #baseurl
Mysql 是最流行的关系型数据库管理系统,尤其是在Web应用方面。 Mysql,由瑞典MySQL AB公司开发,目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。 Mysql是开源的、免费的、支持大型的数据库 Mysql使用标准的SQL数据语言形式。
[mysqld] #Mysql服务的唯一编号 每个mysql服务Id需唯一 server-id = 1 #服务端口号 默认3306 port = 3306 #mysql安装根目录 basedir = /usr/local/mysql #mysql数据文件所在位置 datadir = /usr/local/mysql/data #pid pid-file = /usr/local/mysql/mysql.pid #设置socke文件所在目录 socket = /tmp/mysql.sock #设置
我们知道,在MySQL中,redo log是一个文件组,一般是3个文件,循环写入,写满的时候会做redo log层面的checkpoint,然后覆盖之前的redo log;而binlog是有归档功能的,每个binlog写满之后,都会重新开启下一个binlog开始写入,这也是为什么可以使用binlog来进行数据恢复的一个原因,就是因为它的归档功能。
Centos7 YUM安装MariaDB 10.0 安装步骤(新装) 配置添加yum源文件 vim /etc/yum.repos.d/mariadb.repo # MariaDB 10.0 CentOS repository list - created 2016-05-30 02:16 UTC# http://downloads.mariadb.org/mariadb/repositories/ [mariadb] name = MariaDB #baseurl = http://yum.mariadb.
无论是homebrew等方式,在Mac下都是不会生成my.cnf文件,因为已经使用了最优默认值,如果需要也可以自行新建或配置/etc/my.cnf
领取专属 10元无门槛券
手把手带您无忧上云